복붙노트

[HADOOP] auxService : mapreduce_shuffle이 존재하지 않습니다

HADOOP

auxService : mapreduce_shuffle이 존재하지 않습니다

아래 명령을 실행하려고 할 때 :

# sqoop import --connect jdbc:mysql://IP Address/database --username root --password PASSWORD --table table_name --m 1

mysql 데이터베이스에서 HDFS로 데이터를 가져 오기 위해 오류가 발생합니다.

많은 사이트를 검색하고 탐색했지만 아무런 도움이되지 않았습니다.

이 문제를 해결하는 방법? 더 이상의 입력이 필요한 경우 알려주십시오.

해결법

  1. ==============================

    1.yarn-site.xml에서 누락 된 항목입니다. 해당 항목을 네임 노드와 데이터 노드 모두에 적용하십시오. 이 http://dataheads.wordpress.com/2013/11/21/hadoop-2-setup-on-64-bit-ubuntu-12-04-part-1/을 읽으면 해당 원사 사이트가 표시됩니다 .xml에는 다음 항목이 있어야합니다.

    yarn-site.xml에서 누락 된 항목입니다. 해당 항목을 네임 노드와 데이터 노드 모두에 적용하십시오. 이 http://dataheads.wordpress.com/2013/11/21/hadoop-2-setup-on-64-bit-ubuntu-12-04-part-1/을 읽으면 해당 원사 사이트가 표시됩니다 .xml에는 다음 항목이 있어야합니다.

     <property>
         <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
      <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
      </property>
    

    보조 서비스를 작성할 때주의하십시오. 중간에 "-"가 있으면 해당 문제가 발생하기 때문입니다.

  2. from https://stackoverflow.com/questions/26381540/the-auxservicemapreduce-shuffle-does-not-exist by cc-by-sa and MIT license