[HADOOP] Hadoop과 같은 분산 컴퓨팅을 사용하여 이미지를 Jpeg2000으로 인코딩
HADOOPHadoop과 같은 분산 컴퓨팅을 사용하여 이미지를 Jpeg2000으로 인코딩
Hadoop을 사용하여 큰 이미지를 JPEG2000 형식으로 인코딩 / 압축하는 작업에 대해 알고 계신지 궁금한 점이 있으십니까? 지도 축소를 사용하여 이미지를 처리하는 http://code.google.com/p/matsu-project/도 있습니다.
이미지 크기는 약 1TB +이며 단일 컴퓨터에서는 100Hour +
해결법
-
==============================
1.얼마나 큰 이미지를 말하고 있습니까? JPEG 2000 Wikipedia 페이지에서 타일링과 웨이브 렛 변환은 쉽게 병렬 처리가 가능해야합니다. 타일은 서로 독립적으로 보입니다. 재스퍼 (JasPer)라는 오픈 소스 라이브러리가 널리 사용되는 것으로 보이지만 C로 작성되어 Hadoop과의 통합이 다소 까다 롭습니다.
얼마나 큰 이미지를 말하고 있습니까? JPEG 2000 Wikipedia 페이지에서 타일링과 웨이브 렛 변환은 쉽게 병렬 처리가 가능해야합니다. 타일은 서로 독립적으로 보입니다. 재스퍼 (JasPer)라는 오픈 소스 라이브러리가 널리 사용되는 것으로 보이지만 C로 작성되어 Hadoop과의 통합이 다소 까다 롭습니다.
근본적으로 코덱을 분해하고 맵 단계에서 적절한 타일링 및 에코 코딩 기능을 호출하고 축소 단계에서 이미지를 재구성하고 작성해야합니다. 아마도 JPEG 2000 형식 자체를 상당히 깊이 이해해야 할 것입니다.
문제는 압축되지 않은 데이터를 이동 한 다음 한 대의 컴퓨터에서 연속적으로 타일을 처리하는 것과 비교할 때 얼마나 많은 시간을 소비 할 것인가입니다. 엔벨로프 계산의 일부를 수행하여 그만한 가치가 있는지, 이론적 인 속도 향상이 단일 시스템에서 수행되는 것과 비교되는지 확인할 수 있습니다.
from https://stackoverflow.com/questions/4301065/encoding-image-into-jpeg2000-using-distributed-computing-like-hadoop by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 변환 하이브를 매핑 할 문자열 (0) | 2019.08.03 |
---|---|
[HADOOP] hadoop 분산 시스템 노드에서 파이썬 패키지 관련 문제 (0) | 2019.08.03 |
[HADOOP] hadoop map-reduce 작업에서 파일을 어떻게 만들 수 있습니까? (0) | 2019.08.03 |
[HADOOP] Kerberos 화 된 Hadoop 클러스터와 통신을 시도하는 동안 "클라이언트와 서버간에 공통된 보호 계층이 없습니다" (0) | 2019.08.03 |
[HADOOP] 여러 열의 pyspark 조건 및 새 열 반환 (0) | 2019.08.03 |