[HADOOP] 하둡 : 파이썬 맵리 듀스에서 타사 라이브러리를 포함하는 방법 [중복]

하둡 : 파이썬 맵리 듀스에서 타사 라이브러리를 포함하는 방법 [중복]

파이썬에서 맵리 듀스 작업을 작성하고, chardet 같은 일부 세 번째 라이브러리를 사용하고자하고있다.

나는 우리가 자바 맵리 듀스를 위해 그들을 포함하는 옵션 -libjars = ...를 사용할 수 있다는 것을 알고.

하지만 어떻게 파이썬 맵리 듀스 작업에 타사 라이브러리를 포함 할?

감사합니다!

해결법

1. ==============================

   1.zipimport 문제가 해결되었다.

   zipimport 문제가 해결되었다.

   그럼 난 module.mod을 제기 chardet을 압축하고, 다음과 같이 사용 :

   importer = zipimport.zipimporter('module.mod')
   chardet = importer.load_module('chardet')
   

   하둡 스트리밍 명령 - 파일 module.mod를 추가합니다.

   이제 chardet 스크립트에서 사용할 수 있습니다.

   에 표시된 자세한 내용은 : 어떻게 하둡 스트리밍 작업과 파이썬 패키지를 포함 할 수 있습니다?

from https://stackoverflow.com/questions/15352981/hadoop-how-to-include-third-party-library-in-python-mapreduce by cc-by-sa and MIT license