[HADOOP] hadoop을 사용한 이미지 처리

hadoop을 사용한 이미지 처리

hadoop에서 비디오 프레임을 읽는 방법?

해결법

1. ==============================

   1.Hadoop에서 특수 파일 형식 (예 : 비디오)을 처리하려면 비디오 파일을 스플릿 (InputFormat)으로 변환 한 다음 스플릿을 값 (RecordReader)으로 읽는 방법을 이해하는 사용자 지정 InputFormat 및 RecordReader를 작성해야합니다. 이는 중요한 작업이 아니며 Hadoop이 데이터 분할을 처리하는 방법에 대한 중간 지식이 필요합니다. 나는 O'Reilly의 Tom White의 Hadoop Definitive Guide 책과 http://www.cloudera.com의 비디오를 강력히 추천한다. (전체 공개 : 나는 Cloudera를 위해 일한다.)

   Hadoop에서 특수 파일 형식 (예 : 비디오)을 처리하려면 비디오 파일을 스플릿 (InputFormat)으로 변환 한 다음 스플릿을 값 (RecordReader)으로 읽는 방법을 이해하는 사용자 지정 InputFormat 및 RecordReader를 작성해야합니다. 이는 중요한 작업이 아니며 Hadoop이 데이터 분할을 처리하는 방법에 대한 중간 지식이 필요합니다. 나는 O'Reilly의 Tom White의 Hadoop Definitive Guide 책과 http://www.cloudera.com의 비디오를 강력히 추천한다. (전체 공개 : 나는 Cloudera를 위해 일한다.)

   비디오 포맷은 보통 InputSplits (InputFormat에 의해 생성 됨)가 파일에 대한 간단한 바이트 오프셋 (일반적으로)이므로 더 복잡해집니다. http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/mapred/InputFormat.html에서 시작하십시오.

   요약하면 : InputFormat은 (보통) 64MB에서 128MB 사이의 InputSplit 객체 목록을 생성하는 방법을 알고 있고 프레임 개념을 존중하지 않습니다. 그런 다음 RecordReader를 사용하여 InputSplit에서 프레임을 읽어 맵 축소 작업에서 처리 할 수있는 값 개체를 만듭니다. 비디오 출력을 생성하려면 사용자 정의 OutputFormat도 작성해야합니다.

   희망이 도움이됩니다.

from https://stackoverflow.com/questions/3044050/image-processing-with-hadoop by cc-by-sa and MIT license