[HADOOP] pig에서 python UDF를 등록하는 중에 IOException이 발생했습니다. helloworld.py 파일이 존재하지 않습니다
HADOOPpig에서 python UDF를 등록하는 중에 IOException이 발생했습니다. helloworld.py 파일이 존재하지 않습니다
파이썬 UDF :
@outputSchema("word:chararray")
def helloworld():
return 'Hello, World'
register '/user/hdfs/helloworld.py' using jython as myfunc;
오류:
grunt> REGISTER 'helloworld.py' USING org.apache.pig.scripting.jython.JythonScriptEngine as myfuncs;
2016-05-16 12:08:04,909 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2997: Encountered IOException. File helloworld.py does not exist
2016-05-16 12:08:04,909 [main] WARN org.apache.pig.tools.grunt.Grunt - There is no log file to write to.
2016-05-16 12:08:04,909 [main] ERROR org.apache.pig.tools.grunt.Grunt - java.io.FileNotFoundException: File helloworld.py does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:611)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:824)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:601)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:421)
at org.apache.pig.impl.io.FileLocalizer.fetchFilesInternal(FileLocalizer.java:818)
at org.apache.pig.impl.io.FileLocalizer.fetchFile(FileLocalizer.java:756)
at org.apache.pig.PigServer.registerCode(PigServer.java:593)
at org.apache.pig.tools.grunt.GruntParser.processRegister(GruntParser.java:467)
at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:546)
at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:230)
at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:205)
at org.apache.pig.tools.grunt.Grunt.run(Grunt.java:66)
at org.apache.pig.Main.run(Main.java:558)
at org.apache.pig.Main.main(Main.java:170)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
해결법
-
==============================
1."ls /user/hdfs/helloworld.py"를 수행하고 파일이 존재하는지 확인할 수 있습니까?
"ls /user/hdfs/helloworld.py"를 수행하고 파일이 존재하는지 확인할 수 있습니까?
from https://stackoverflow.com/questions/37248294/encountered-ioexception-while-registering-python-udf-in-pig-file-helloworld-py by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Oozie 워크 플로우 단축 (0) | 2019.09.16 |
---|---|
[HADOOP] Hive에 항아리를 포함하는 방법 (Amazon Hadoop env) (0) | 2019.09.16 |
[HADOOP] PyHive 패키지에서 하이브를 가져온 후“ImportError : No builtins named 모듈”이 나타나는 이유는 무엇입니까? (0) | 2019.09.16 |
[HADOOP] 맵 감소 기 수 감소 (0) | 2019.09.16 |
[HADOOP] hbase 복사와 스냅 샷 명령의 차이점 (0) | 2019.09.16 |