[HADOOP] Spark 플랫폼에 native-hadoop 라이브러리를로드 할 수 없습니다.

Spark 플랫폼에 native-hadoop 라이브러리를로드 할 수 없습니다.

나는 우분투 16.04에 대한 모조품으로 스파크 작업을 필사적으로 시도하고있다. stackoverflow에 대한 답변을 사용하여 내 문제를 해결하기 위해 노력했지만 아무 것도 해결할 수 없습니다. bin 폴더에서 ./spark-shell 명령으로 스파크를 시작합니다.이 메시지가 나타납니다.

WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable".

자바 버전을 사용하고 있습니다.

java version "1.8.0_101
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode).

Spark은 Hadoop 2의 2.0.1 버전입니다. 7. 나는 또한 Spark의 이전 패키지 인 1.6.2와 Hadoop 2.4를 재시도했지만 동일한 결과를 얻었습니다. Windows에서도 Spark을 설치하려고했지만 Ubuntu에서하는 것보다 어렵습니다.

또한 랩톱에서 Spark에 대한 몇 가지 명령을 실행하려고했습니다. 개체를 정의 할 수 있고 RDD를 만들어 캐시에 저장할 수 있으며 .map ()과 같은 기능을 사용할 수 있지만 .reduceByKey 함수를 실행하려고하면 사용할 수 있습니다. () 여러 오류 메시지가 표시됩니다.

32 비트 용으로 컴파일 된 Hadoop 라이브러리 일 수도 있고 64 비트에있을 수도 있습니다.

감사.

해결법

1. ==============================

   1.수정 단계 :

   수정 단계 :

2. ==============================

   2.출처 : 우분투에 PySpark를 설치하십시오

   출처 : 우분투에 PySpark를 설치하십시오

from https://stackoverflow.com/questions/40015416/spark-unable-to-load-native-hadoop-library-for-your-platform by cc-by-sa and MIT license