[HADOOP] Hadoop 프로세스 분할 지정

Hadoop 프로세스 분할 지정

내 텍스트 파일의 작은 부분에 Hadoop MapReduce를 실행하고 싶습니다.

내 임무 중 하나가 실패하고 있습니다. 로그에서 읽을 수 있습니다 :

이 파일의 MapReduce를 다시 3556769792에서 3623878656 (3556769792 + 67108864) 오프셋으로 실행할 수 있습니까?

해결법

1. ==============================

   1.방법은 오프셋 정의 파일을 복사하여 HDFS에 다시 추가하는 것입니다. 이 시점에서이 블록에서만 mapreduce 작업을 실행하면됩니다.

   방법은 오프셋 정의 파일을 복사하여 HDFS에 다시 추가하는 것입니다. 이 시점에서이 블록에서만 mapreduce 작업을 실행하면됩니다.

   1) 오프셋에서 파일 복사 3556769792에 따라 67108864 :

   2) HDFS로 가져 오기

   3) MapReduce를 다시 실행하십시오.

from https://stackoverflow.com/questions/18841786/specify-hadoop-process-split by cc-by-sa and MIT license