[HADOOP] 하둡 오류 작업이 진행을 감소 실속

하둡 오류 작업이 진행을 감소 실속

나는 두 개의 노드 클러스터 설정에 대한 몇 번 (단어 예를 계산) 하둡 작업을 실행되었고, 지금까지 잘 작동하고 오기 '. 나는 19 %의 공정을 줄일 포장 마차 말고 RuntimeException를 점점 계속 :

    2013-04-13 18:45:22,191 INFO org.apache.hadoop.mapred.Task: Task:attempt_201304131843_0001_m_000000_0 is done. And is in the process of commiting
    2013-04-13 18:45:22,299 INFO org.apache.hadoop.mapred.Task: Task 'attempt_201304131843_0001_m_000000_0' done.
    2013-04-13 18:45:22,318 INFO org.apache.hadoop.mapred.TaskLogsTruncater: Initializing logs' truncater with mapRetainSize=-1 and reduceRetainSize=-1
    2013-04-13 18:45:23,181 WARN org.apache.hadoop.mapred.Child: Error running child
    java.lang.RuntimeException: Error while running command to get file permissions : org.apache.hadoop.util.Shell$ExitCodeException: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:255)
at org.apache.hadoop.util.Shell.run(Shell.java:182)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:375)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:461)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:444)
at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:710)
at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:443)
at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.getOwner(RawLocalFileSystem.java:426)
at org.apache.hadoop.mapred.TaskLog.obtainLogDirOwner(TaskLog.java:267)
at org.apache.hadoop.mapred.TaskLogsTruncater.truncateLogs(TaskLogsTruncater.java:124)
at org.apache.hadoop.mapred.Child$4.run(Child.java:260)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.Child.main(Child.java:249)

    at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:468)
at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.getOwner(RawLocalFileSystem.java:426)
at org.apache.hadoop.mapred.TaskLog.obtainLogDirOwner(TaskLog.java:267)
at org.apache.hadoop.mapred.TaskLogsTruncater.truncateLogs(TaskLogsTruncater.java:124)
at org.apache.hadoop.mapred.Child$4.run(Child.java:260)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.Child.main(Child.java:249)

누구에게 무엇을이 원인이 될 수있는 어떤 아이디어를 가지고?

편집 : 그것을 자신을 해결했다. 다른 사람이 같은 문제로 실행되는 경우,이는 마스터 노드에 etc / hosts 파일에 의해 발생했다. 나는 슬레이브 노드의 호스트 이름과 주소를 입력 hadn't. 이것은 나의 호스트 파일은 마스터 노드에 구성하는 방법입니다 :

    127.0.0.1   MyUbuntuServer
    192.xxx.x.xx2   master
    192.xxx.x.xx3   MySecondUbuntuServer
    192.xxx.x.xx3   slave

해결법

1. ==============================

   1.비슷한 문제는 여기에 설명되어 있습니다 : http://comments.gmane.org/gmane.comp.apache.mahout.user/8898

   비슷한 문제는 여기에 설명되어 있습니다 : http://comments.gmane.org/gmane.comp.apache.mahout.user/8898

   [정보]는 하둡의 다른 버전이 관련 될 수 있습니다. 그것은 말합니다 :

   이 솔루션은 자신의 mapred.child.java.opts을 통해 힙 크기를 변경하는 것이었다 * * -Xmx1200M

   참조 : https://groups.google.com/a/cloudera.org/forum/?fromgroups=#!topic/cdh-user/BHGYJDNKMGE

   HTH,  애브너

from https://stackoverflow.com/questions/15990503/hadoop-error-stalling-job-reduce-process by cc-by-sa and MIT license