[HADOOP] 하둡 감속기의 네이티브 라이브러리를로드?
HADOOP하둡 감속기의 네이티브 라이브러리를로드?
나는 나의 줄일 방법에 대한로드해야 네이티브 라이브러리를하고 난 분산 캐시에 추가하지만 난 내지도 방법에 System.loadLibrary를 (mylib.so)를 호출 할 때 오류가 발생하는 이유 및지도 작업을 실패 :
Error: no mylib.so in java.library.path
비록 내가 분산 캐시에 추가. 나는 단계를 실종? 내 직업 구성에서 내가 전화 :
DistributedCache.addCacheFile(uri, job.getConfiguration());
어디 URI는 하둡 파일 시스템에 mylib.so하는 경로입니다.
이 네이티브 라이브러리는 모든 하둡 FS 내 / 하둡 / FS / mystuff에 / libs와에 존재하는 많은 다른 사람에 따라 달라집니다. 나는 분산 캐시에 모두 추가 나는 심지어 System.loadLibrary를 () 호출을 사용하여 내 줄이고 작업에 그들 모두를로드했습니다. 하지만 같은 java.library.path 오류가 점점 계속. 나는 또한 -files 플래그에 명령 줄 인수로 라이브러리를 추가하는 시도하지만, 난 여전히 위의 오류가 발생합니다.
해결법
-
==============================
1.이런 일이 왜 정확하게 확실하지 않지만, 클라우 데라에서지도-줄 작업 블로그 항목에서 타사 라이브러리를 포함하는 방법을 확인하십시오.
이런 일이 왜 정확하게 확실하지 않지만, 클라우 데라에서지도-줄 작업 블로그 항목에서 타사 라이브러리를 포함하는 방법을 확인하십시오.
-
==============================
2.당신은없는지도-감소에, 우리의 코드 독립을하려고합니까? 내가 알고있는 무엇, System.loadLibrary를은 ".so를"또는 ".DLL"접미사가없는 라이브러리 이름을 기대 ...
당신은없는지도-감소에, 우리의 코드 독립을하려고합니까? 내가 알고있는 무엇, System.loadLibrary를은 ".so를"또는 ".DLL"접미사가없는 라이브러리 이름을 기대 ...
from https://stackoverflow.com/questions/12962508/loading-native-libraries-in-hadoop-reducer by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 여러 HBase를 테이블에 쓰기, 어떻게 context.write 사용합니까 (HKEY을 넣어)? (0) | 2019.09.19 |
---|---|
[HADOOP] fs.default.name 또는 HDFS로 S3를 사용하십니까? (0) | 2019.09.19 |
[HADOOP] 하둡 마스터는 다른 $의 HADOOP_HOME와 슬레이브를 시작할 수 없습니다 (0) | 2019.09.19 |
[HADOOP] 어떻게 매퍼 출력 바이트 카운터를 얻을 수 있습니다 (0) | 2019.09.19 |
[HADOOP] 하둡 네이티브를 사용할 필요가 (0) | 2019.09.19 |