[HADOOP] Nutch 크롤러 오류 : 사용 권한이 거부되었습니다
HADOOPNutch 크롤러 오류 : 사용 권한이 거부되었습니다
나는 기본 크롤러를 실행하려합니다. 빈 / 크롤링 -dir 기어 -depth 3 -topN 5 : NutchTutorial에서 명령을 얻었다
(모든 프리셋을 수행 한 후)
나는 실행 환경으로 cygwin64을 설치 한 그래서 필자는 윈도우에서 실행
나는 다음과 같은 오류가 위와 같이 크롤링을 실행하려고 할 때 내가 nutch 홈 디렉토리에서 빈 / nutch를 실행할 때 문제를 볼 수 있지만하지 않습니다
Injector: starting at 2014-11-29 11:31:35
Injector: crawlDb: -dir/crawldb
Injector: urlDir: urls
Injector: Converting injected urls to crawl db entries.
Injector: java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Er
an\mapred\staging\Eran996102549\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:691)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:664)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSys
tem.java:514)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.jav
a:349)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:19
3)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmi
ssionFiles.java:126)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:942)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:936)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Unknown Source)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInforma
tion.java:1190)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:9
36)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:910)
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1353)
at org.apache.nutch.crawl.Injector.inject(Injector.java:324)
at org.apache.nutch.crawl.Injector.run(Injector.java:380)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.nutch.crawl.Injector.main(Injector.java:370)
자신의 튜토리얼에 해당 오류에 대한 참조가 없습니다. 어떻게해야합니까?
해결법
-
==============================
1.이 권한 문제입니다. 당신은, 읽기를 설정 쓰기 폴더에 권한을 실행한다 (<이름> hadoop.tmp.dir 이름> 하둡 설정 파일 코어-site.xml 파일에있는 값).
이 권한 문제입니다. 당신은, 읽기를 설정 쓰기 폴더에 권한을 실행한다 (<이름> hadoop.tmp.dir 이름> 하둡 설정 파일 코어-site.xml 파일에있는 값).
이 도움말을 희망,
르 쿠크 마
from https://stackoverflow.com/questions/27200873/nutch-crawler-error-premission-denied by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 아파치 돼지 : 요일을 취득하고 그에 따라 분할 (0) | 2019.10.11 |
---|---|
[HADOOP] 그것은 HIVE에서 파티션 메타 데이터를 변경할 수 있습니까? (0) | 2019.10.11 |
[HADOOP] 돼지 UDF는 웹 로그에서 시간 차이를 계산 (0) | 2019.10.11 |
[HADOOP] 캐스 케이 딩 + libjars = ClassNotFoundException가. 때때로 (0) | 2019.10.11 |
[HADOOP] 적절한 방법은 HBase를로 XML을 넣어 (0) | 2019.10.11 |