복붙노트

[HADOOP] 하둡 감속기의 네이티브 라이브러리를로드?

HADOOP

하둡 감속기의 네이티브 라이브러리를로드?

나는 나의 줄일 방법에 대한로드해야 네이티브 라이브러리를하고 난 분산 캐시에 추가하지만 난 내지도 방법에 System.loadLibrary를 (mylib.so)를 호출 할 때 오류가 발생하는 이유 및지도 작업을 실패 :

Error: no mylib.so in java.library.path

비록 내가 분산 캐시에 추가. 나는 단계를 실종? 내 직업 구성에서 내가 전화 :

DistributedCache.addCacheFile(uri, job.getConfiguration());

어디 URI는 하둡 파일 시스템에 mylib.so하는 경로입니다.

이 네이티브 라이브러리는 모든 하둡 FS 내 / 하둡 / FS / mystuff에 / libs와에 존재하는 많은 다른 사람에 따라 달라집니다. 나는 분산 캐시에 모두 추가 나는 심지어 System.loadLibrary를 () 호출을 사용하여 내 줄이고 작업에 그들 모두를로드했습니다. 하지만 같은 java.library.path 오류가 점점 계속. 나는 또한 -files 플래그에 명령 줄 인수로 라이브러리를 추가하는 시도하지만, 난 여전히 위의 오류가 발생합니다.

해결법

  1. ==============================

    1.이런 일이 왜 정확하게 확실하지 않지만, 클라우 데라에서지도-줄 작업 블로그 항목에서 타사 라이브러리를 포함하는 방법을 확인하십시오.

    이런 일이 왜 정확하게 확실하지 않지만, 클라우 데라에서지도-줄 작업 블로그 항목에서 타사 라이브러리를 포함하는 방법을 확인하십시오.

  2. ==============================

    2.당신은없는지도-감소에, 우리의 코드 독립을하려고합니까? 내가 알고있는 무엇, System.loadLibrary를은 ".so를"또는 ".DLL"접미사가없는 라이브러리 이름을 기대 ...

    당신은없는지도-감소에, 우리의 코드 독립을하려고합니까? 내가 알고있는 무엇, System.loadLibrary를은 ".so를"또는 ".DLL"접미사가없는 라이브러리 이름을 기대 ...

  3. from https://stackoverflow.com/questions/12962508/loading-native-libraries-in-hadoop-reducer by cc-by-sa and MIT license