복붙노트

[HADOOP] Mapreduce wordcount 작업에서 클래스를 찾을 수 없음 예외

HADOOP

Mapreduce wordcount 작업에서 클래스를 찾을 수 없음 예외

hadoop에서 단어 계산 작업을 실행하려고합니다.하지만 항상 예외를 발견하지 못하는 클래스가 있습니다. 내가 작성한 클래스와 작업을 실행하는 데 사용하는 명령을 게시하고 있습니다.

import java.io.IOException;
import java.util.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

 public class WordCount {

 public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line);
        while (tokenizer.hasMoreTokens()) {
            word.set(tokenizer.nextToken());
            context.write(word, one);
        }
    }
 } 

 public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {

    public void reduce(Text key, Iterable<IntWritable> values, Context context) 
      throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        context.write(key, new IntWritable(sum));
    }
 }

 public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();

    Job job = new Job(conf, "WordCount");

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);

    job.setMapperClass(Map.class);
    job.setReducerClass(Reduce.class);

    job.setInputFormatClass(TextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);

    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));

    job.waitForCompletion(true);
    job.setJarByClass(WordCount.class);
 }

}

wordcount.jar이 내 다운로드 폴더로 내보내집니다. 그리고이 일을하는 데 사용하는 명령입니다.

   jeet@jeet-Vostro-2520:~/Downloads$ hadoop jar wordcount.jar org.gamma.WordCount /user/jeet/getty/gettysburg.txt /user/jeet/getty/out

이 경우 제 mapreduce 작업이 시작되었지만 프로세스 중간에 끝납니다. 예외 트리 인쇄.

 14/01/27 13:16:02 WARN mapred.JobClient: Use GenericOptionsParser for parsing the   arguments. Applications should implement Tool for the same.
14/01/27 13:16:02 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
14/01/27 13:16:02 INFO input.FileInputFormat: Total input paths to process : 1
14/01/27 13:16:02 INFO util.NativeCodeLoader: Loaded the native-hadoop library
14/01/27 13:16:02 WARN snappy.LoadSnappy: Snappy native library not loaded
14/01/27 13:16:03 INFO mapred.JobClient: Running job: job_201401271247_0001
14/01/27 13:16:04 INFO mapred.JobClient:  map 0% reduce 0%
14/01/27 13:16:11 INFO mapred.JobClient: Task Id : attempt_201401271247_0001_m_000000_0,     Status : FAILED
    java.lang.RuntimeException: java.lang.ClassNotFoundException: org.gamma.WordCount$Map
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:199)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:719)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
    Caused by: java.lang.ClassNotFoundException: org.gamma.WordCount$Map
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:270)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:802)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:847)
... 8 more

14/01/27 13:16:16 INFO mapred.JobClient: Task Id : attempt_201401271247_0001_m_000000_1,   Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: org.gamma.WordCount$Map
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:199)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:719)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at   org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
    Caused by: java.lang.ClassNotFoundException: org.gamma.WordCount$Map
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:270)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:802)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:847)
... 8 more

  14/01/27 13:16:20 INFO mapred.JobClient: Task Id : attempt_201401271247_0001_m_000000_2, Status : FAILED
  java.lang.RuntimeException: java.lang.ClassNotFoundException: org.gamma.WordCount$Map
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:199)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:719)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
    Caused by: java.lang.ClassNotFoundException: org.gamma.WordCount$Map
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:270)
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:802)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:847)
... 8 more

   14/01/27 13:16:26 INFO mapred.JobClient: Job complete: job_201401271247_0001
   14/01/27 13:16:26 INFO mapred.JobClient: Counters: 7
   14/01/27 13:16:26 INFO mapred.JobClient:   Job Counters 
   14/01/27 13:16:26 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=20953
   14/01/27 13:16:26 INFO mapred.JobClient:     Total time spent by all reduces waiting    after reserving slots (ms)=0
   14/01/27 13:16:26 INFO mapred.JobClient:     Total time spent by all maps waiting    after reserving slots (ms)=0
   14/01/27 13:16:26 INFO mapred.JobClient:     Launched map tasks=4
   14/01/27 13:16:26 INFO mapred.JobClient:     Data-local map tasks=4
   14/01/27 13:16:26 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0
   14/01/27 13:16:26 INFO mapred.JobClient:     Failed map tasks=1

somebody please please help i think i am very close of it

해결법

  1. ==============================

    1.추가해보세요.

    추가해보세요.

    Job job = new Job(conf, "wordcount");
job.setJarByClass(WordCount.class);
  2. ==============================

    2.나 또한 같은 문제가있어 내 항아리를 실행하는 동일한 디렉토리에서 동일한 WordCount.class 파일을 제거하여 문제를 해결했습니다. 항아리 밖에서 수업을 듣는 것처럼 보입니다. 시험

    나 또한 같은 문제가있어 내 항아리를 실행하는 동일한 디렉토리에서 동일한 WordCount.class 파일을 제거하여 문제를 해결했습니다. 항아리 밖에서 수업을 듣는 것처럼 보입니다. 시험

  3. ==============================

    3.나는 이것을 의심한다.

    나는 이것을 의심한다.

    14/01/27 13:16:02 WARN mapred.JobClient : 작업 jar 파일이 설정되지 않았습니다. 사용자 클래스를 찾을 수 없습니다. JobConf (Class) 또는 JobConf # setJar (String)을 참조하십시오.

    CDH4.6을 사용할 때 같은 오류가 발생하고 위의 경고를 해결 한 후에 해결되었습니다.

  4. ==============================

    4.이 방법을 추가해야합니다.

    이 방법을 추가해야합니다.

    메소드를 호출하기 전에

    다음과 같이 :

  5. ==============================

    5.try job.setJar ( "wordcount.jar"); 여기서 wordcount.jar은 패키징 할 jar 파일입니다. 이 방법은 나를 위해 작동하지만 setJarByClass는 아닙니다!

    try job.setJar ( "wordcount.jar"); 여기서 wordcount.jar은 패키징 할 jar 파일입니다. 이 방법은 나를 위해 작동하지만 setJarByClass는 아닙니다!

  6. ==============================

    6.이 문제를 해결하려면 아래 코드를 사용하십시오. job.setJarByClass (DriverClass.class);

    이 문제를 해결하려면 아래 코드를 사용하십시오. job.setJarByClass (DriverClass.class);

  7. ==============================

    7.job.setJarByClass (WordCount.class); job.waitForCompletion (true);

    job.setJarByClass (WordCount.class); job.waitForCompletion (true);

  8. ==============================

    8.MapReduce 프로그램은 병렬 처리이지만. Mapper, Combiner 및 Reducer 클래스에는 시퀀스 흐름이 있습니다. 각 흐름을 완료하기를 기다리는 것은 다른 클래스에 따라 다르므로 job.waitForCompletion (true); 하지만 Mapper, Combiner, Reducer 클래스를 시작하기 전에 입출력 경로를 설정해야합니다. 참고

    MapReduce 프로그램은 병렬 처리이지만. Mapper, Combiner 및 Reducer 클래스에는 시퀀스 흐름이 있습니다. 각 흐름을 완료하기를 기다리는 것은 다른 클래스에 따라 다르므로 job.waitForCompletion (true); 하지만 Mapper, Combiner, Reducer 클래스를 시작하기 전에 입출력 경로를 설정해야합니다. 참고

    다음과 같이 코드를 변경하십시오.

     public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();

    Job job = new Job(conf, "WordCount");

    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));

    job.setJarByClass(WordCount.class);
    job.waitForCompletion(true);

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);

    job.setMapperClass(Map.class);
    job.setReducerClass(Reduce.class);

    job.setInputFormatClass(TextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);
 }

    이게 효과가 있기를 바랍니다.

  9. ==============================

    9.JobConf # setJar (String)을 사용하여 작업하도록했습니다.

    JobConf # setJar (String)을 사용하여 작업하도록했습니다.

    10. from https://stackoverflow.com/questions/21373550/class-not-found-exception-in-mapreduce-wordcount-job by cc-by-sa and MIT license

'HADOOP' 카테고리의 다른 글

[HADOOP] 아파치 스파크 오류 : akka.tcp에 연결할 수 없습니다 : // sparkMaster @  (0) 2019.06.04
[HADOOP] 메인 클래스 com.sun.tools.javac.Main을 찾거나로드 할 수 없습니다. hadoop mapreduce  (0) 2019.06.04
[HADOOP] 스칼라 디렉토리에 폴더 나열하기  (0) 2019.06.04
[HADOOP] Java로 Sqoop을 실행하려면 어떻게해야합니까?  (0) 2019.06.04
[HADOOP] 구조체 배열로 데이터 선택 하이브  (0) 2019.06.04
,

티스토리툴바