[HADOOP] auxService : mapreduce_shuffle이 존재하지 않습니다
HADOOPauxService : mapreduce_shuffle이 존재하지 않습니다
아래 명령을 실행하려고 할 때 :
# sqoop import --connect jdbc:mysql://IP Address/database --username root --password PASSWORD --table table_name --m 1
mysql 데이터베이스에서 HDFS로 데이터를 가져 오기 위해 오류가 발생합니다.
많은 사이트를 검색하고 탐색했지만 아무런 도움이되지 않았습니다.
이 문제를 해결하는 방법? 더 이상의 입력이 필요한 경우 알려주십시오.
해결법
-
==============================
1.yarn-site.xml에서 누락 된 항목입니다. 해당 항목을 네임 노드와 데이터 노드 모두에 적용하십시오. 이 http://dataheads.wordpress.com/2013/11/21/hadoop-2-setup-on-64-bit-ubuntu-12-04-part-1/을 읽으면 해당 원사 사이트가 표시됩니다 .xml에는 다음 항목이 있어야합니다.
yarn-site.xml에서 누락 된 항목입니다. 해당 항목을 네임 노드와 데이터 노드 모두에 적용하십시오. 이 http://dataheads.wordpress.com/2013/11/21/hadoop-2-setup-on-64-bit-ubuntu-12-04-part-1/을 읽으면 해당 원사 사이트가 표시됩니다 .xml에는 다음 항목이 있어야합니다.
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>
보조 서비스를 작성할 때주의하십시오. 중간에 "-"가 있으면 해당 문제가 발생하기 때문입니다.
from https://stackoverflow.com/questions/26381540/the-auxservicemapreduce-shuffle-does-not-exist by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 하나의 파일 또는 디렉토리를 처리하는 하나의 맵퍼 또는 감속기 (0) | 2019.09.11 |
---|---|
[HADOOP] Hadoop 2 + YARN에서 동시 맵퍼 및 # 리듀서는 어떻게 계산됩니까? (0) | 2019.09.11 |
[HADOOP] 결합기가 여러 매퍼의 결과에서 작동합니까? (0) | 2019.09.11 |
[HADOOP] hadoop NullPointerException (0) | 2019.09.11 |
[HADOOP] 최상의 MapReduce 작업 성능을 위해 HDFS의 파일 크기는 얼마입니까? (0) | 2019.09.11 |