[HADOOP] java.lang.Exception : java.lang.NoClassDefFoundError : org / apache / lucene / util / OpenBitSet

java.lang.Exception : java.lang.NoClassDefFoundError : org / apache / lucene / util / OpenBitSet

maven이있는 netbeans에서는 최신 코어 버전에 OpenBitSet 클래스가 포함되어 있지 않기 때문에 org.apache.lucene lucene-core 4.2.0의 타사 종속성을 추가했습니다. 퐁은 다음과 같습니다.

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>org.apache.hadoop</groupId>
<artifactId>DuccProject</artifactId>
<version>2.7.3</version>
<packaging>jar</packaging>
<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
</properties>
<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.0.0-cdh4.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-auth</artifactId>
        <version>2.0.0-cdh4.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.0.0-cdh4.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>2.0.0-mr1-cdh4.0.1</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.10</version>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-core</artifactId>
        <version>4.2.0</version>
    </dependency>
    <dependency>
        <groupId>it.unimi.dsi</groupId>
        <artifactId>fastutil</artifactId>
        <version>7.0.12</version>
    </dependency>
</dependencies>
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>2.1</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>
    </plugins>
</build>

netbeans를 통해 패키지에 포함 된 모든 클래스를 사용할 수 있습니다. .pom 파일이 들어있는 디렉토리 안에 "mvn clean install"로 jar 파일을 만들었습니다. 그러나 cli에서 항아리를 실행할 때 :

bin/hadoop jar ~/NetBeansProjects/DuccProject/DuccProject/target/DuccProject-2.7.3.jar org.apache.hadoop.duccproject.Ducc /hdfs/path/to/input /hdfs/path/to/output

여기서 org.apache.hadoop.duccproject.Ducc는 메인 클래스의 경로입니다. 다음과 같은 오류가 발생했습니다.

java.lang.Exception: java.lang.NoClassDefFoundError: org/apache/lucene/util/OpenBitSet
at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:529)
Caused by: java.lang.NoClassDefFoundError: org/apache/lucene/util/OpenBitSet
at org.apache.hadoop.columns.ColumnCombinationBitset.<init>(ColumnCombinationBitset.java:33)
at org.apache.hadoop.duccproject.ParserReducer.reduce(ParserReducer.java:53)
at org.apache.hadoop.duccproject.ParserReducer.reduce(ParserReducer.java:24)
at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:171)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:627)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:389)
at org.apache.hadoop.mapred.LocalJobRunner$Job$ReduceTaskRunnable.run(LocalJobRunner.java:319)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.ClassNotFoundException: org.apache.lucene.util.OpenBitSet
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 12 more
16/09/04 17:41:53 INFO mapreduce.Job:  map 100% reduce 0%

해결법

1. ==============================

   1.응용 프로그램이 필요한 클래스를 찾을 수 없음을 나타내는 오류입니다. 런타임 중에 hadoop 명령 옵션을 사용하여 다음과 같이 lucene-core 4.2.0 jar의 경로를 제공해야합니다.

   응용 프로그램이 필요한 클래스를 찾을 수 없음을 나타내는 오류입니다. 런타임 중에 hadoop 명령 옵션을 사용하여 다음과 같이 lucene-core 4.2.0 jar의 경로를 제공해야합니다.

   -libjars <comma seperated list of jars>
   

   다른 hadoop 명령 옵션도 볼 수 있습니다

from https://stackoverflow.com/questions/39318611/java-lang-exception-java-lang-noclassdeffounderror-org-apache-lucene-util-open by cc-by-sa and MIT license