[HADOOP] Hadoop 작업 : 작업이 601 초 동안 상태를보고하지 못합니다.

Hadoop 작업 : 작업이 601 초 동안 상태를보고하지 못합니다.

pseudoode에서 hadoop 작업을 실행하는 동안 작업이 실패하고 죽었습니다. 오류 : 작업 시도가 601 초 동안 상태를보고하지 못했습니다.

그러나 동일한 프로그램이 Eclipse (로컬 작업)를 통해 실행됩니다.

작업 : 약 25,000 개의 키워드가 있습니다. 한 번에 두 번씩 가능한 모든 조합 (예 : 약 25K * 25K 개 항목)

문제는 무엇이 될 수 있습니까?

해결법

1. ==============================

   1.웬일인지 의사 모드에서 실행될 때 작업이 진행되지 않습니다. mapred-site.xml에서 "mapred.task.timeout"설정을 늘릴 수 있습니다. mapred-default.xml 파일의 기본값은 다음과 같습니다.

   웬일인지 의사 모드에서 실행될 때 작업이 진행되지 않습니다. mapred-site.xml에서 "mapred.task.timeout"설정을 늘릴 수 있습니다. mapred-default.xml 파일의 기본값은 다음과 같습니다.

    <property>
       <name>mapred.task.timeout</name>
       <value>600000</value>
       <description>The number of milliseconds before a task will be 
                    terminated if it neither reads an input, writes 
                    an output, nor updates its status string.
       </description>
    </property>
   

2. ==============================

   2.테스트 목적 / 일회성 작업 또는 디버깅의 경우 타임 아웃 값의 증가가 좋은 옵션 일 수 있지만 실습에 따르면 이것이 프로덕션을위한 좋은 해결책은 아니라고 판단하여 코드를 검토하고 최적화해야합니다.

   테스트 목적 / 일회성 작업 또는 디버깅의 경우 타임 아웃 값의 증가가 좋은 옵션 일 수 있지만 실습에 따르면 이것이 프로덕션을위한 좋은 해결책은 아니라고 판단하여 코드를 검토하고 최적화해야합니다.

3. ==============================

   3.Hadoop 동일한 API에 대한보고 API를 제공합니다. 진행 상황을 hadoop 작업에 대해 600 분인 10 분 동안보고하지 않으면 작업이 갇혀있는 것으로 간주하여 작업을 종료합니다. API 참조는 여기에 있습니다.

   Hadoop 동일한 API에 대한보고 API를 제공합니다. 진행 상황을 hadoop 작업에 대해 600 분인 10 분 동안보고하지 않으면 작업이 갇혀있는 것으로 간주하여 작업을 종료합니다. API 참조는 여기에 있습니다.

from https://stackoverflow.com/questions/9109177/hadoop-job-task-fail-to-report-status-for-601-seconds by cc-by-sa and MIT license