복붙노트

[HADOOP] 하둡 FS 저것 집어 넣어 명령을 사용할 때 왜 맵리 듀스가 실행되지 않습니다?

HADOOP

하둡 FS 저것 집어 넣어 명령을 사용할 때 왜 맵리 듀스가 실행되지 않습니다?

이 기본적인 질문에 대한 실례하시기 바랍니다. 우리는 블록 크기보다 일부 파일을 갖는 크기 이상을로드 할 때 맵리 듀스 작업이 시작되지 않는 이유 그러나 나는 궁금하다.

어딘가에 나는 맵리 듀스는 LFS에서 HDFS에 데이터 세트를로드 처리됩니다 것을 배웠다. 그럼 왜 내가 명령 거려 하둡 FS를 줄 때 콘솔에 맵리 듀스 로그를 볼 수없는 무엇입니까?

미리 감사드립니다.

해결법

  1. ==============================

    1.당신은 맵리 듀스 작업을 산란합니다 하둡 distcp 생각하고 있습니다.

    당신은 맵리 듀스 작업을 산란합니다 하둡 distcp 생각하고 있습니다.

    https://hadoop.apache.org/docs/stable/hadoop-distcp/DistCp.html

    HDFS에 의해 완전히 구현과 맵리 듀스를 필요로하지 않는 저것 집어 넣어 하둡 FS 저것 집어 넣어 또는 HDFS DFS.

  2. from https://stackoverflow.com/questions/44471123/why-mapreduce-doesnt-get-launched-when-using-hadoop-fs-put-command by cc-by-sa and MIT license