[HADOOP] Nutch - 가져 오기 오류 : JAVA_HOME이 설정되어 있지 않습니다. 크롤링하려고 할 때
HADOOPNutch - 가져 오기 오류 : JAVA_HOME이 설정되어 있지 않습니다. 크롤링하려고 할 때
무엇보다도 나는 Nutch / 하둡 초보자입니다. 나는 카산드라를 설치했다. 내 EMR 클러스터의 마스터 노드에서 Nutch를 설치했다. 나는 다음과 같은 명령을 사용하여 크롤링을 실행하려고 할 때 :
sudo bin/crawl crawl urls -dir crawl -depth 3 -topN 5
나는 얻다
Error: JAVA_HOME is not set.
나는 'sudo는'없이 명령을 실행하면 내가 얻을 :
Injector: starting at 2014-07-16 02:12:24
Injector: crawlDb: urls/crawldb
Injector: urlDir: crawl
Injector: Converting injected urls to crawl db entries.
Injector: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/hadoop/apache-nutch-1.8/runtime/local/crawl
at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:197)
at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:208)
at org.apache.hadoop.mapred.JobClient.writeOldSplits(JobClient.java:1081)
at org.apache.hadoop.mapred.JobClient.writeSplits(JobClient.java:1073)
at org.apache.hadoop.mapred.JobClient.access$700(JobClient.java:179)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:983)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:936)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:936)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:910)
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1353)
at org.apache.nutch.crawl.Injector.inject(Injector.java:279)
at org.apache.nutch.crawl.Injector.run(Injector.java:316)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.nutch.crawl.Injector.main(Injector.java:306)
나는이 알아낼 수 없습니다. 나는 여기에 다른 포럼을 본 적이 : 비슷한 주제
그리고 아무 소용이 그것을 따랐다. 내가 추가 한
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
과
export PATH=$PATH:${JAVA_HOME}/bin
내 ~ / .bashrc에에 내가 리눅스를 사용하고 있습니다 ..
어떤 도움을 주시면 감사합니다!
해결법
-
==============================
1.문제는 내가 실행중인된다
문제는 내가 실행중인된다
sudo bin/crawl crawl urls -dir crawl -depth 3 -topN 5
내가 사용
bin/crawl ./urls/seed.txt TestCrawl http://localhost:8983/solr/ 5
너치 자습서 : 그리고 모두가 여기에 명시된 바와 같이 단지 잘못된 명령이 .. 즉 '크롤링'사용되지 않습니다, 잘
from https://stackoverflow.com/questions/24771239/nutch-getting-error-java-home-is-not-set-when-trying-to-crawl by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 어떻게 자바 / 스칼라에서 Nutch 내용을 읽어? (0) | 2019.10.13 |
---|---|
[HADOOP] 얌 하둡을 설치 오류를 찾을 수 없습니다 CentOS는 (0) | 2019.10.13 |
[HADOOP] 피클과 sys.stdin를 사용하여 하둡에서 defaultdict로드 (0) | 2019.10.13 |
[HADOOP] 하둡 - 돼지를 사용하여 하이브 테이블을로드 (0) | 2019.10.13 |
[HADOOP] 윈도우 8에 돼지 0.13.0 설치 (0) | 2019.10.13 |