[HADOOP] 감소 하둡지도를위한 파이썬에서 사용자 정의 쓰기 가능한 키 / 값 유형을 작성?

감소 하둡지도를위한 파이썬에서 사용자 정의 쓰기 가능한 키 / 값 유형을 작성?

나는 꽤 많은 시간 동안 하둡 MR에 근무하고 난 생성 및 사용자 정의 (확장) MapWritable을 포함하여 쓰기 가능한 클래스를 사용했다. 지금은 내가 파이썬 자바로 작성된 것과 동일한 MR을 번역하는 데 필요한입니다. 나는 파이썬 경험이없는 지금 같은위한 다양한 라이브러리를 탐구하고있다. 나는 Pydoop 및 Mrjob 같은 몇 가지 옵션으로 찾고 있어요. 그러나, 나는이 라이브러리가 유사한 사용자 쓰기 가능 클래스를 만들 수있는 옵션과 방법을 만드는 방법이 포함되어 있는지 알고 싶습니다. 그렇지 않다면, 어떤 가능한 대안 동일한 기능을 수행 할 존재 하는가?

해결법

1. ==============================

   1.Pydoop에서 사용자 지정 하둡 유형을 명시 적으로 지원은 아직 WIP입니다. 즉, 지금 우리는 사용자에 대한 것들을 쉽게 만들지 않을 있지만 약간의 작업으로 수행 할 수 있습니다. 포인터의 몇 :

   Pydoop에서 사용자 지정 하둡 유형을 명시 적으로 지원은 아직 WIP입니다. 즉, 지금 우리는 사용자에 대한 것들을 쉽게 만들지 않을 있지만 약간의 작업으로 수행 할 수 있습니다. 포인터의 몇 :

   도움이 되었기를 바랍니다.

from https://stackoverflow.com/questions/51643536/create-custom-writable-key-value-type-in-python-for-hadoop-map-reduce by cc-by-sa and MIT license