[HADOOP] 하둡 자바 클래스를 찾을 수 없습니다

하둡 자바 클래스를 찾을 수 없습니다

스레드 "주요"java.lang.ClassNotFoundException가 예외 : WordCount-은> 많은 답변이 문제와 관련된 내가 확실히 내기 위해 나에게 시간이 걸렸다 다시 작은 점을 놓친 거지처럼 보인다. 나는 시도하고 작동하지 않았다 경로, 코드 자체를 다른 가능한 해결책에 대해 가능한 한 명확하게하려고합니다. 나는 모든 것이 마지막 단계까지 작업 한 나의 올바르게 하둡을 구성하는 방법에 대한 좀 확신합니다. 하지만 여전히 세부 사항을 게시 :

>

HADOOP VARIABLES START
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export HADOOP_INSTALL=/usr/local/hadoop
export HADOOP_CLASSPATH=/usr/lib/jvm/java-8-oracle/lib/tools.jar
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
#export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
#export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP VARIABLES END

클래스 자체 :

package com.cloud.hw03;

/**
 * Hello world!
 *
 */
import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {

  public static class TokenizerMapper
       extends Mapper<Object, Text, Text, IntWritable>{

    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }

  public static class IntSumReducer
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values,
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }

  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "wordcount");
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    job.setJarByClass(WordCount.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

나는 컴파일하고 실행하기 위해 무슨 짓을했는지 :

하둡 항아리 WordCount.jar 단어 수 / 입력 / inputfile01 / 입 / outputfile01

결과는 다음과 같습니다 "주"java.lang.ClassNotFoundException가 스레드에서 예외 : 단어 수

내가 WordCount.class와 같은 디렉토리 안에 있고 내가 그 같은 디렉토리에 내 jar 파일을 생성하기 때문에, 나는 단어 수에 대한 전체 경로를 지정하고 있지 않다, 그래서 내가이 디렉토리에 위의 2 명령을 실행하고 있습니다 :

난 이미 job.setJarByClass (WordCount.class)를 추가; 그래서 코드 번호 도움이됩니다. 나는 대답에 시간을 보내는 감사하겠습니다! 나는 다시 예기치 않은 일을하고 있어요 확신하고 4 시간 동안 그것을 알아낼 수 없습니다

해결법

1. ==============================

   1.하둡 사이트의 단어 수의 예제 코드는 패키지를 사용하지 않습니다

   하둡 사이트의 단어 수의 예제 코드는 패키지를 사용하지 않습니다

   당신이 하나가 않기 때문에, 당신은 정규화 된 클래스를 실행하는 것입니다. 일반 자바 응용 프로그램과 동일한 방법

   hadoop jar WordCount.jar com.cloud.hw03.WordCount
   

   당신이 실제로 Maven 프로젝트가 있다면 또한, 다음 com.sun.tools.javac.Main가 정확하지 하둡. 당신은 실제로 컴파일하고 모든 클래스뿐만 아니라 단어 수 * 파일과 함께 JAR를 만들 메이븐을 사용

   예를 들어, pom.xml 파일이있는 폴더에서

   mvn package 
   

   그렇지 않으면, 당신은 상위 디렉토리에 있어야합니다

   hadoop com.sun.tools.javac.Main ./com/cloud/hw03/WordCount.java
   

   그리고 그 디렉토리에서 또한 항아리 CF 명령을 실행

from https://stackoverflow.com/questions/50380543/hadoop-java-class-cannot-be-found by cc-by-sa and MIT license