[HADOOP] 하둡 스트리밍 오류 코드 5 실패

하둡 스트리밍 오류 코드 5 실패

단어 수에 대한 RHadoop 프로그램 :     Sys.setenv (HADOOP_CMD = "/ usr / 지방 / 하둡 / 빈 / 하둡") Sys.setenv (HADOOP_STREAMING = "/ usr / 지방 / 하둡 / 주 / 하둡 / 도구 / lib 디렉토리 / 하둡 스트리밍-2.4.1.jar") Sys.setenv (HADOOP_HOME = "/ usr / 지방 / 하둡") 라이브러리 (rmr2) ##지도 기능 지도 <- 함수 (K 선) {   words.list <- strsplit (선, '\\ s에')   즉 <- 올라가지 (words.list)   리턴 (keyval (즉, 1)) } 기능을 감소 ## 감소 <- 기능 (워드, 카운트를) {   keyval (워드, 합계 (계산)) } 단어 수 "- 함수 (입력, 출력 = NULL) {   MapReduce의 (= 입력 입력, 출력 = 출력 input.format = "텍스트"             지도 =지도) =이 감소 감소 }     작업 제출 ## hdfs.root "-"입력 " # hdfs.data <- file.path (hdfs.root, '데이터') hdfs.out <- file.path (hdfs.root, '밖으로') 밖으로 <- 단어 수 (hdfs.root, hdfs.out) HDFS의 결과를 가져 오기 ## 결과 <- from.dfs (교체 아웃) 상위 2 빈번한 단어 체크 ## results.df <- as.data.frame (결과 stringsAsFactors = F) COLNAMES (results.df) <- C ( '워드', '카운트') 헤드 (results.df [순서 (results.df $으로 카운트 감소 = T)], 2) RHadoop 통합을 확인하려면, 나는 RSCRIPT에서 실행 위의 단어 수 프로그램을 사용하고 있습니다. 하지만 내가 아래에 표시 한 오류를 수신하고 있습니다.

플랫폼을위한 네이티브 하둡 라이브러리를로드 할 수 ... 내장 - 자바 클래스에 해당되는 경우를 사용 할 수 없습니다 : 15/01/21 13시 48분 52초는 util.NativeCodeLoader WARN packageJobJar : / usr / 지방 / 하둡 / 데이터 / 하둡 unjar5866699842450503195 / [] /tmp/streamjob7335081573862861018.jar TMPDIR = NULL 15/01/21 13시 48분 53초 정보 client.RMProxy : 8050 : 로컬 호스트 / 127.0.0.1에서 ResourceManager에 연결 15/01/21 13시 48분 53초 정보 client.RMProxy : 8050 : 로컬 호스트 / 127.0.0.1에서 ResourceManager에 연결 15/01/21 13시 48분 53초 오류는 streaming.StreamJob : 오류 작업을 시작 : 권한이 거부 : 사용자 = PGL-26, 액세스 = 아이 노드를 EXECUTE = "/ tmp를"hduser : 슈퍼 그룹을 : drwxrwx --- org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission에서 (FSPermissionChecker.java:265) org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check에서 (FSPermissionChecker.java:251) org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkTraverse에서 (FSPermissionChecker.java:205) org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission에서 (FSPermissionChecker.java:168) org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission에서 (FSNamesystem.java:5523) org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getFileInfo에서 (FSNamesystem.java:3521) org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getFileInfo에서 (NameNodeRpcServer.java:779) org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getFileInfo에서 (ClientNamenodeProtocolServerSideTranslatorPB.java:764) 에서 org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod (ClientNamenodeProtocolProtos.java) org.apache.hadoop.ipc.ProtobufRpcEngine $ 서버 $ ProtoBufRpcInvoker.call에서 (ProtobufRpcEngine.java:585) org.apache.hadoop.ipc.RPC $ Server.call (RPC.java:928)에서 org.apache.hadoop.ipc.Server $ 처리기 $의 1.run에서 (Server.java:2013) org.apache.hadoop.ipc.Server $ 처리기 $의 1.run에서 (Server.java:2009) java.security.AccessController.doPrivileged에서 (기본 방법) javax.security.auth.Subject.doAs에서 (Subject.java:415) org.apache.hadoop.security.UserGroupInformation.doAs에서 (UserGroupInformation.java:1556) org.apache.hadoop.ipc.Server $ Handler.run에서 (Server.java:2007) 스트리밍 명령은 실패! 씨 (지도 =지도 오류는 =이 감소 =이 결합 결합 감소, vectorized.reduce :   하둡 스트리밍 오류 코드 5 실패

오류에 대한 제발 도와주세요. 나는 R뿐만 아니라 하둡에 새로운 오전. 내가 잘못 갈 어디 있는지 확인하지 못했습니다.

해결법

1. ==============================

   1.나는 문제가 허가 생각합니다. 로그에서 "ERROR의 streaming.StreamJob : 작업을 시작 오류 : 사용 권한이 거부되었습니다". 연결을 확인하시기 바랍니다.

   나는 문제가 허가 생각합니다. 로그에서 "ERROR의 streaming.StreamJob : 작업을 시작 오류 : 사용 권한이 거부되었습니다". 연결을 확인하시기 바랍니다.

2. ==============================

   2.-chown -R rhadoop / tmp를 FS 하둡과 같은 임시 디렉토리에 대한 권한을 부여합니다.

   -chown -R rhadoop / tmp를 FS 하둡과 같은 임시 디렉토리에 대한 권한을 부여합니다.

   어디 rhadoop는 사용자 이름입니다

from https://stackoverflow.com/questions/28063117/hadoop-streaming-failed-with-error-code-5 by cc-by-sa and MIT license