[HADOOP] hadoop 2.2.0 64 비트 설치가 시작되지만 시작할 수 없음

hadoop 2.2.0 64 비트 설치가 시작되지만 시작할 수 없음

서버에 Hadoop 2.2.0 Cluster를 설치하려고합니다. 현재 모든 서버는 64 비트이며 Hadoop 2.2.0을 다운로드하고 모든 구성 파일이 설정되었습니다. ./start-dfs.sh를 실행하면 다음 오류가 발생합니다.

13/11/15 14:29:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /home/hchen/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.namenode]
sed: -e expression #1, char 6: unknown option to `s' have: ssh: Could not resolve hostname have: Name or service not known
HotSpot(TM): ssh: Could not resolve hostname HotSpot(TM): Name or service not known
-c: Unknown cipher type 'cd'
Java: ssh: Could not resolve hostname Java: Name or service not known
The authenticity of host 'namenode (192.168.1.62)' can't be established.
RSA key fingerprint is 65:f9:aa:7c:8f:fc:74:e4:c7:a2:f5:7f:d2:cd:55:d4.
Are you sure you want to continue connecting (yes/no)? VM: ssh: Could not resolve        hostname VM: Name or service not known
You: ssh: Could not resolve hostname You: Name or service not known
warning:: ssh: Could not resolve hostname warning:: Name or service not known
library: ssh: Could not resolve hostname library: Name or service not known
have: ssh: Could not resolve hostname have: Name or service not known
64-Bit: ssh: Could not resolve hostname 64-Bit: Name or service not known
...

64 비트 옆에 다른 오류가 있습니까? 암호없이 namenode와 datanodes 사이에 로그인을 마쳤습니다. 다른 오류는 무엇을 의미합니까?

해결법

1. ==============================

   1..bashrc에 다음 항목을 추가하십시오. 여기서 HADOOP_HOME은 hadoop 폴더입니다.

   .bashrc에 다음 항목을 추가하십시오. 여기서 HADOOP_HOME은 hadoop 폴더입니다.

   export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
   export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
   

   또한 다음 명령을 실행하십시오.

   ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   

2. ==============================

   2.근본 원인은 hadoop의 기본 네이티브 라이브러리가 32 비트 용으로 빌드 된 것입니다. 해결책

   근본 원인은 hadoop의 기본 네이티브 라이브러리가 32 비트 용으로 빌드 된 것입니다. 해결책

   1) .bash_profile에서 일부 환경 변수를 설정하십시오. https://gist.github.com/ruo91/7154697을 참조하십시오. 또는

   2) hadoop 기본 라이브러리를 다시 빌드하십시오. http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/NativeLibraries.html을 참조하십시오.

3. ==============================

   3.또한 hadoop-env.sh에서 변수를 내보낼 수 있습니다.

   또한 hadoop-env.sh에서 변수를 내보낼 수 있습니다.

   vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
   

   / usr / local / hadoop - 나의 hadoop 설치 폴더

   #Hadoop variables
   export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64 # your jdk install path
   export HADOOP_INSTALL=/usr/local/hadoop
   export PATH=$PATH:$HADOOP_INSTALL/bin
   export PATH=$PATH:$HADOOP_INSTALL/sbin
   export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
   export HADOOP_COMMON_HOME=$HADOOP_INSTALL
   export HADOOP_HDFS_HOME=$HADOOP_INSTALL
   export YARN_HOME=$HADOOP_INSTALL
   export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
   export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
   

4. ==============================

   4.나는 여기서 유일한 문제는이 질문에서와 같다고 생각한다. 그래서 해결책 또한 같다.

   나는 여기서 유일한 문제는이 질문에서와 같다고 생각한다. 그래서 해결책 또한 같다.

   JVM이 스택 가드 경고를 stdout / stderr로 출력하지 못하게하십시오. 이것이 HDFS 시작 스크립트를 중단시키기 때문입니다.

   etc / hadoop / hadoop-env.sh 줄을 바꾸면됩니다 :

   export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
   

   와:

   export HADOOP_OPTS="$HADOOP_OPTS -XX:-PrintWarnings -Djava.net.preferIPv4Stack=true"
   

   (이 해결책은 Sumit Chawla의 블로그에서 발견되었습니다)

5. ==============================

   5.이 문제는 기본 라이브러리가 아닙니다. 그 경고를 보아라. 위에 언급 된 hadoop 변수를 export하십시오. 그게 효과가있다.

   이 문제는 기본 라이브러리가 아닙니다. 그 경고를 보아라. 위에 언급 된 hadoop 변수를 export하십시오. 그게 효과가있다.

6. ==============================

   6.세 가지 문제가 있습니다.

   세 가지 문제가 있습니다.

7. ==============================

   7.나는 비슷한 문제가 있었고 위의 모든 제안을 따른 후에도 그것을 해결할 수 없었다.

   나는 비슷한 문제가 있었고 위의 모든 제안을 따른 후에도 그것을 해결할 수 없었다.

   마지막으로, 구성된 호스트 이름과 IP 주소가 동일하게 할당되어 있지 않다는 것을 알았습니다.

   내 호스트 이름은 부조리했고 / etc / hostname에 구성되어 있습니다. 그러나 그 유격기의 IP 주소가 / etc / hosts에 지정되어 있지 않음을 발견했습니다. / etc / hosts에서 localhost에 대해서만 IP 주소를 찾았습니다.

   localhost와 vagrant 모두에 대한 호스트 이름을 업데이트하면 위의 모든 문제가 해결됩니다.

8. ==============================

   8.HADOOP_HOME 및 HADOOP_PREFIX가 올바르게 설정되어 있는지 확인하십시오. 나는이 문제를 안고 있었다. 또한 ssh passwordless는 올바르게 설정되어야합니다.

   HADOOP_HOME 및 HADOOP_PREFIX가 올바르게 설정되어 있는지 확인하십시오. 나는이 문제를 안고 있었다. 또한 ssh passwordless는 올바르게 설정되어야합니다.

from https://stackoverflow.com/questions/20011252/hadoop-2-2-0-64-bit-installing-but-cannot-start by cc-by-sa and MIT license