[HADOOP] Hadoop MapReduce의 오류

Hadoop MapReduce의 오류

Hadoop을 사용하여 mapreduce 프로그램을 실행할 때 다음 오류가 발생합니다.

10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED
  java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)
10/01/18 10:52:48 WARN mapred.JobClient: Error reading task outputhttp://ubuntu.ubuntu-domain:50060/tasklog?plaintext=true&taskid=attempt_201001181020_0002_m_000014_0&filter=stdout
10/01/18 10:52:48 WARN mapred.JobClient: Error reading task outputhttp://ubuntu.ubuntu-domain:50060/tasklog?plaintext=true&taskid=attempt_201001181020_0002_m_000014_0&filter=stderr

이 오류에 대해 무엇입니까?

해결법

1. ==============================

   1.Hadoop이이 오류를 생성하는 한 가지 이유는 로그 파일이 포함 된 디렉토리가 너무 가득 차는 경우입니다. 이는 inode 당 최대 32000 개의 링크 만 허용하는 Ext3 파일 시스템의 한계입니다.

   Hadoop이이 오류를 생성하는 한 가지 이유는 로그 파일이 포함 된 디렉토리가 너무 가득 차는 경우입니다. 이는 inode 당 최대 32000 개의 링크 만 허용하는 Ext3 파일 시스템의 한계입니다.

   로그 디렉토리가 hadoop / userlogs에 얼마나 가득 찼는 지 확인하십시오.

   이 문제에 대한 간단한 테스트는 예를 들어 다음과 같이 명령 줄에서 디렉토리를 만들도록 시도하는 것입니다. $ mkdir hadoop / userlogs / testdir

   userlogs에 너무 많은 디렉토리가 있다면 OS는 디렉토리를 생성하지 못하고 너무 많다는보고를해야합니다.

2. ==============================

   2.로그 디렉터리가있는 디스크 공간이 부족할 때 같은 문제가 발생했습니다.

   로그 디렉터리가있는 디스크 공간이 부족할 때 같은 문제가 발생했습니다.

3. ==============================

   3.다른 원인은 JVM에 일부 전용 공간을 할당하려고 시도 할 때 JVM 오류 일 수 있으며 시스템에 존재하지 않습니다.

   다른 원인은 JVM에 일부 전용 공간을 할당하려고 시도 할 때 JVM 오류 일 수 있으며 시스템에 존재하지 않습니다.

   sample code:
   conf.set("mapred.child.java.opts", "-Xmx4096m");
   
   Error message:
   Error occurred during initialization of VM
   Could not reserve enough space for object heap
   

   해결책 : -Xmx를 컴퓨터의 JVM에 제공 할 수있는 전용 메모리 값으로 바꿉니다 (예 : "-Xmx1024m").

4. ==============================

   4.ulimit를 무제한으로 늘리십시오. 또는 대안 솔루션은 할당 된 메모리를 줄입니다.

   ulimit를 무제한으로 늘리십시오. 또는 대안 솔루션은 할당 된 메모리를 줄입니다.

5. ==============================

   5.eclipse에서 runnable jar 파일을 생성하면 hadoop 시스템에서 오류가 발생합니다. 실행 가능한 부분을 추출해야합니다. 그게 내 문제를 해결해 줬어.

   eclipse에서 runnable jar 파일을 생성하면 hadoop 시스템에서 오류가 발생합니다. 실행 가능한 부분을 추출해야합니다. 그게 내 문제를 해결해 줬어.

from https://stackoverflow.com/questions/2091287/error-in-hadoop-mapreduce by cc-by-sa and MIT license