복붙노트

[HADOOP] 하둡 항아리를 실행하면 어떻게 네이티브 물어 도서관의

HADOOP

하둡 항아리를 실행하면 어떻게 네이티브 물어 도서관의

나는를 CentOS 6.4에서 맵리 듀스 항아리를 실행할 때 아래 통지 등의 오류가 있습니다.

하둡 버전은 64 비트에 대한 2.6.0입니다.

맵리 듀스는 어떻게이 문제를 해결할 수, 실패?

Error: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support.
    at org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded(SnappyCodec.java:64)
    at org.apache.hadoop.io.compress.SnappyCodec.getCompressorType(SnappyCodec.java:133)
    at org.apache.hadoop.io.compress.CodecPool.getCompressor(CodecPool.java:148)
    at org.apache.hadoop.io.compress.CodecPool.getCompressor(CodecPool.java:163)
    at org.apache.hadoop.io.SequenceFile$Writer.init(SequenceFile.java:1199)
    at org.apache.hadoop.io.SequenceFile$Writer.<init>(SequenceFile.java:1092)
    at org.apache.hadoop.io.SequenceFile$BlockCompressWriter.<init>(SequenceFile.java:1442)
    at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:275)
    at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:528)
    at org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat.getSequenceWriter(SequenceFileOutputFormat.java:64)
    at org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat.getRecordWriter(SequenceFileOutputFormat.java:75)
    at org.apache.hadoop.mapred.ReduceTask$NewTrackingRecordWriter.<init>(ReduceTask.java:540)
    at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:614)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:389)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

해결법

  1. ==============================

    1.당신은 네이티브 라이브러리를위한 하둡 소스 코드를 컴파일 할 필요가있다. 단계별 지침은 여기에 제공됩니다.

    당신은 네이티브 라이브러리를위한 하둡 소스 코드를 컴파일 할 필요가있다. 단계별 지침은 여기에 제공됩니다.

    비디오는 코드를 컴파일 받는다는을 사용하고 기본 라이브러리를 사용하여 유효성 검사를 포함한다.

  2. from https://stackoverflow.com/questions/34194038/whats-the-native-snappy-library-when-running-jar-with-hadoop by cc-by-sa and MIT license