[HADOOP] 하둡 FS 저것 집어 넣어 명령을 사용할 때 왜 맵리 듀스가 실행되지 않습니다?
HADOOP하둡 FS 저것 집어 넣어 명령을 사용할 때 왜 맵리 듀스가 실행되지 않습니다?
이 기본적인 질문에 대한 실례하시기 바랍니다. 우리는 블록 크기보다 일부 파일을 갖는 크기 이상을로드 할 때 맵리 듀스 작업이 시작되지 않는 이유 그러나 나는 궁금하다.
어딘가에 나는 맵리 듀스는 LFS에서 HDFS에 데이터 세트를로드 처리됩니다 것을 배웠다. 그럼 왜 내가 명령 거려 하둡 FS를 줄 때 콘솔에 맵리 듀스 로그를 볼 수없는 무엇입니까?
미리 감사드립니다.
해결법
-
==============================
1.당신은 맵리 듀스 작업을 산란합니다 하둡 distcp 생각하고 있습니다.
당신은 맵리 듀스 작업을 산란합니다 하둡 distcp 생각하고 있습니다.
https://hadoop.apache.org/docs/stable/hadoop-distcp/DistCp.html
HDFS에 의해 완전히 구현과 맵리 듀스를 필요로하지 않는 저것 집어 넣어 하둡 FS 저것 집어 넣어 또는 HDFS DFS.
from https://stackoverflow.com/questions/44471123/why-mapreduce-doesnt-get-launched-when-using-hadoop-fs-put-command by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 어떻게 데이터 노드에 블록 배치 정책을 선택하려면? (0) | 2019.10.06 |
---|---|
[HADOOP] 하둡 2.X에서 DistributedCache (0) | 2019.10.06 |
[HADOOP] 아파치 하둡 일반적인 실패 하둡을 구축하는 동안 (0) | 2019.10.06 |
[HADOOP] HDFS는 : java.io.FileNotFoundException : 파일이 존재하지 않습니다 name._COPYING를 (0) | 2019.10.06 |
[HADOOP] 하이브에서 선택 쿼리를 실행하는 동안 오류 (0) | 2019.10.06 |