[HADOOP] 하둡 작업 추적기 문제
HADOOP하둡 작업 추적기 문제
이것은 이상한 문제입니다. 랩터의 전원이 꺼지고 자체적으로 종료 될 때 MR 작업 (단일 노드)을 실행하고있었습니다. 우분투 10.04의 "배터리 없음"경고 부족으로 인해
다시 시작하고 hadoop (단일 노드)을 시작하려고하면 모든 것이 제대로 진행되고 명령 줄에서 "jps"를 실행하면 모든 마스터 및 슬레이브 프로세스가 나열됩니다. 또한 "netstat -plten | grep java"를 발행하려고 시도했습니다.
명령 행에서 출력 :
hduser@fox:~$ jps 10476 DataNode 1819 10696 JobTracker 10813 TaskTracker 11741 Jps 10605 SecondaryNameNode 10360 NameNode hduser@fox:~$ sudo netstat -plten | grep java tcp 0 0 0.0.0.0:55376 0.0.0.0:* LISTEN 1000 141925 10476/java tcp 0 0 0.0.0.0:42352 0.0.0.0:* LISTEN 1000 141790 10360/java tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 1000 142727 10360/java tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN 1000 142818 10476/java tcp 0 0 0.0.0.0:50075 0.0.0.0:* LISTEN 1000 143308 10476/java tcp 0 0 0.0.0.0:50020 0.0.0.0:* LISTEN 1000 146358 10476/java tcp 0 0 127.0.0.1:38533 0.0.0.0:* LISTEN 1000 143217 10813/java tcp 0 0 102.173.156.27:54310 0.0.0.0:* LISTEN 1000 141913 10360/java tcp 0 0 102.173.156.27:54311 0.0.0.0:* LISTEN 1000 142359 10696/java tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 1000 142827 10605/java tcp 0 0 0.0.0.0:56779 0.0.0.0:* LISTEN 1000 142191 10605/java tcp 0 0 0.0.0.0:55373 0.0.0.0:* LISTEN 1000 142251 10696/java tcp 0 0 0.0.0.0:50030 0.0.0.0:* LISTEN 1000 142921 10696/java
작업 추적기 로그 파일을 확인했습니다.
2013-01-09 16:40:52,286 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for block null bad datanode[0] nodes == null
2013-01-09 16:40:52,286 WARN org.apache.hadoop.hdfs.DFSClient: Could not get block locations. Source file "/home/hduser/hadoop/tmpnew/mapred/system/jobtracker.info" - Aborting...
2013-01-09 16:40:52,286 WARN org.apache.hadoop.mapred.JobTracker: Writing to file hdfs://master:54310/home/hduser/hadoop/tmpnew/mapred/system/jobtracker.info failed!
2013-01-09 16:40:52,287 WARN org.apache.hadoop.mapred.JobTracker: FileSystem is not ready yet!
2013-01-09 16:40:52,290 WARN org.apache.hadoop.mapred.JobTracker: Failed to initialize recovery manager.
org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /home/hduser/hadoop/tmpnew/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at
org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)
at org.apache.hadoop.ipc.Client.call(Client.java:1070)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
at $Proxy5.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at $Proxy5.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3510)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3373)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2589)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2829)
2013-01-09 16:41:02,291 WARN org.apache.hadoop.mapred.JobTracker: Retrying...
2013-01-09 16:41:02,331 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /home/hduser/hadoop/tmpnew/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1558)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:696)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)
at org.apache.hadoop.ipc.Client.call(Client.java:1070)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
at $Proxy5.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
at $Proxy5.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3510)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3373)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2589)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2829)
URL을 사용하여 작업 추적기를 볼 수 없습니다-master : 50060
따라서 작업 추적기가 올바르게 시작되지 않은 느낌이 있습니다.
감사합니다.
해결법
-
==============================
1.HDFS가 안전 모드를 벗어 났는지 확인하십시오. 그렇지 않은 경우 "bin / hadoop dfsadmin -safemode leave"를 사용하십시오.
HDFS가 안전 모드를 벗어 났는지 확인하십시오. 그렇지 않은 경우 "bin / hadoop dfsadmin -safemode leave"를 사용하십시오.
-
==============================
2.네임 노드 형식에서 오류가 지속되었습니다. 새로 설치하여 다른 사용자 계정을 설정해야했습니다. 문제 해결됨.
네임 노드 형식에서 오류가 지속되었습니다. 새로 설치하여 다른 사용자 계정을 설정해야했습니다. 문제 해결됨.
from https://stackoverflow.com/questions/14246957/hadoop-tasktracker-issue by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
| [HADOOP] Java 내부의 Hbase CopyTable (0) | 2019.09.08 |
|---|---|
| [HADOOP] 확률과 예측이 모든 것을 동일하게 만드는 Spark MLLib 관련 문제 (0) | 2019.09.08 |
| [HADOOP] start-dfs.sh를 실행할 수 없습니다 (0) | 2019.09.08 |
| [HADOOP] ssh : 호스트 이름을 확인할 수 없습니다. 알 수없는 이름 또는 서비스 (0) | 2019.09.08 |
| [HADOOP] Hadoop MapReduce의 감속기에서 매퍼 카운터에 액세스 (0) | 2019.09.08 |