[HADOOP] HDFS에서 Unpickle 파일

HDFS에서 Unpickle 파일

저는 현재 파이썬 3을 사용하고 있는데 HDFS에서 피클 파일을로드하고 싶습니다.

from pywebhdfs.webhdfs import PyWebHdfsClient
import pickle

hdfs = PyWebHdfsClient(host='...', user_name='...')
pickled_model = hdfs.read_file(pickle_path)
model = pickle.load(pickled_model)

TypeError: file must have 'read' and 'readline' attributes

나는 피클 로딩 단계에서 유형 오류가 발생합니다. 나는 pydoop를 사용하여 파일을 열고 다음을 unpickle 할 수있는 옵션을 발견했다. 그러나 불행하게도, 파이썬 2.7을 사용할 수 없습니다. 유사한 옵션?

해결법

1. ==============================

   1.당 BluBb는 pickle.load는 파이썬의 FileHandler를 필요로한다. hdfs.read_file이 경우 바이트를 반환하고 사용 pickle.loads 제대로 모델을 참조하십시오.

   당 BluBb는 pickle.load는 파이썬의 FileHandler를 필요로한다. hdfs.read_file이 경우 바이트를 반환하고 사용 pickle.loads 제대로 모델을 참조하십시오.

from https://stackoverflow.com/questions/47766722/unpickle-file-from-hdfs by cc-by-sa and MIT license