[HADOOP] 하둡 항아리를 실행하면 어떻게 네이티브 물어 도서관의
HADOOP하둡 항아리를 실행하면 어떻게 네이티브 물어 도서관의
나는를 CentOS 6.4에서 맵리 듀스 항아리를 실행할 때 아래 통지 등의 오류가 있습니다.
하둡 버전은 64 비트에 대한 2.6.0입니다.
맵리 듀스는 어떻게이 문제를 해결할 수, 실패?
Error: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support.
at org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded(SnappyCodec.java:64)
at org.apache.hadoop.io.compress.SnappyCodec.getCompressorType(SnappyCodec.java:133)
at org.apache.hadoop.io.compress.CodecPool.getCompressor(CodecPool.java:148)
at org.apache.hadoop.io.compress.CodecPool.getCompressor(CodecPool.java:163)
at org.apache.hadoop.io.SequenceFile$Writer.init(SequenceFile.java:1199)
at org.apache.hadoop.io.SequenceFile$Writer.<init>(SequenceFile.java:1092)
at org.apache.hadoop.io.SequenceFile$BlockCompressWriter.<init>(SequenceFile.java:1442)
at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:275)
at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:528)
at org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat.getSequenceWriter(SequenceFileOutputFormat.java:64)
at org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat.getRecordWriter(SequenceFileOutputFormat.java:75)
at org.apache.hadoop.mapred.ReduceTask$NewTrackingRecordWriter.<init>(ReduceTask.java:540)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:614)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:389)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
해결법
-
==============================
1.당신은 네이티브 라이브러리를위한 하둡 소스 코드를 컴파일 할 필요가있다. 단계별 지침은 여기에 제공됩니다.
당신은 네이티브 라이브러리를위한 하둡 소스 코드를 컴파일 할 필요가있다. 단계별 지침은 여기에 제공됩니다.
비디오는 코드를 컴파일 받는다는을 사용하고 기본 라이브러리를 사용하여 유효성 검사를 포함한다.
from https://stackoverflow.com/questions/34194038/whats-the-native-snappy-library-when-running-jar-with-hadoop by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 종속 관계없이 원격 컴퓨터에 종속 JAR의 Maven 프로젝트 (0) | 2019.10.17 |
---|---|
[HADOOP] 하둡 데이터 노드 시작 실패 - 잘못된 구성 : 네임 노드 주소 dfs.namenode.servicerpc 주소 또는 dfs.namenode.rpc 주소가 구성되지 (0) | 2019.10.17 |
[HADOOP] Java 사용 HBase를 N 번째로 규정 가져 (0) | 2019.10.17 |
[HADOOP] 스파크에서 이진 파일을 처리하는 사용자 정의 하둡 입력 형식을 사용하여 (0) | 2019.10.17 |
[HADOOP] 500 서버 오류 색조 (0) | 2019.10.17 |