[HADOOP] localhost : 오류 : 데이터 노드 프로세스의 우선 순위를 설정할 수 없습니다 32156
HADOOPlocalhost : 오류 : 데이터 노드 프로세스의 우선 순위를 설정할 수 없습니다 32156
우분투 16.04에 hadoop을 설치하려고하는데 hadoop을 시작하는 동안 다음과 같은 오류가 발생합니다
localhost: ERROR: Cannot set priority of datanode process 32156.
Starting secondary namenodes [it-OptiPlex-3020]
2017-09-18 21:13:48,343 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting resourcemanager
Starting nodemanagers
누군가이 오류가 발생하는 이유를 알려주십시오. 미리 감사드립니다.
해결법
-
==============================
1.Hadoop 3.0.0-RC0을 설치할 때 동일한 오류가 발생했습니다. 내 상황은 데이터 노드를 제외한 모든 서비스가 성공적으로 시작되었습니다.
Hadoop 3.0.0-RC0을 설치할 때 동일한 오류가 발생했습니다. 내 상황은 데이터 노드를 제외한 모든 서비스가 성공적으로 시작되었습니다.
hadoop-env.sh의 일부 구성이 버전 3.0.0-RC0에서는 올바르지 않지만 버전 2.x에서는 정확하다는 것을 알았습니다.
hadoop-env.sh를 공식 것으로 바꾸고 JAVA_HOME 및 HADOOP_HOME을 설정했습니다. 이제 Datanodes가 잘 작동합니다.
-
==============================
2.나는 똑같은 문제를 처리해야했고 다음과 같은 예외가 계속 발생했습니다.
나는 똑같은 문제를 처리해야했고 다음과 같은 예외가 계속 발생했습니다.
Starting namenodes on [localhost] Starting datanodes localhost: ERROR: Cannot set priority of datanode process 8944 Starting secondary namenodes [MBPRO-0100.local] 2019-07-22 09:56:53,020 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
다른 사람들이 언급했듯이, 먼저 모든 경로 매개 변수가 올바르게 설정되었는지 확인해야합니다. 이는 내가 먼저 확인한 것입니다. 그런 다음이 단계를 수행하여 문제를 해결하십시오.
1 - dfs 서비스를 중지하고 hdfs 형식을 지정합니다.
sbin/stop-dfs.sh sudo bin/hdfs namenode -format
2- hadoop 임시 디렉토리에 대한 권한 변경 :
sudo chmod -R 777 /usr/local/Cellar/hadoop/hdfs/tmp
3- 다시 서비스 시작 :
sbin/start-dfs.sh
행운을 빕니다
-
==============================
3.같은 문제에 직면하여 datanode & namenode 폴더를 비 웠습니다. 폴더를 / hadoop_store / hdfs / namenode & / hadoop_store / hdfs / datanode에 넣었습니다.
같은 문제에 직면하여 datanode & namenode 폴더를 비 웠습니다. 폴더를 / hadoop_store / hdfs / namenode & / hadoop_store / hdfs / datanode에 넣었습니다.
폴더 삭제 후 다시 작성하고 hdfs namenode -format 명령을 실행하십시오.
hadoop 시작 :
수정 후 로그가 좋아 보입니다.
Starting namenodes on [localhost] Starting datanodes Starting secondary namenodes [ip] 2019-02-11 09:41:30,426 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
JPS :
21857 NodeManager 21697 ResourceManager 21026 NameNode 22326 Jps 21207 DataNode 21435 SecondaryNameNode
-
==============================
4.hadoop 데이터 노드 로그를 살펴 보시기 바랍니다. 아마도 구성 문제 일 것입니다.
hadoop 데이터 노드 로그를 살펴 보시기 바랍니다. 아마도 구성 문제 일 것입니다.
필자의 경우 dfs.datanode.data.dir에 구성된 폴더가 존재하지 않고 예외가 발생하여 로그에 기록되었습니다.
from https://stackoverflow.com/questions/46283634/localhost-error-cannot-set-priority-of-datanode-process-32156 by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 원사 클러스터에서 Spark 작업 제출 (0) | 2019.08.07 |
---|---|
[HADOOP] 왜 hadoop을 실행할 때 데이터 노드가 종료됩니까? (0) | 2019.08.07 |
[HADOOP] 왜 YARN에서 일을하기 위해 32 개 이상의 코어를 요청할 수 있습니까? (0) | 2019.08.07 |
[HADOOP] foreachPartition과 같은 RDD 메서드 / 클로저 내에서 SparkContext hadoop 구성 사용 (0) | 2019.08.06 |
[HADOOP] 색조 파일 브라우저가 작동하지 않습니다. (0) | 2019.08.06 |