[HADOOP] 실패를 너무 많이 가져옵니다.
HADOOP실패를 너무 많이 가져옵니다.
우분투 12.04와 하둡 1.2.1에 2 노드 hadoop 클러스터를 설치했습니다. 내가 hadoop 단어 카운트 예제를 실행하려고하는 동안 gettig "너무 많은 faliure 오류 가져 오기"입니다. 필자는 많은 기사를 언급했지만 마스터, 슬레이브 및 / etc / hosts 파일의 항목이 무엇인지 알아낼 수 없습니다. 내 노드 이름은 ip 10.0.0.1에서는 "master"이고 ip 10.0.0.2에서는 "slaveone"입니다.
마스터 노드와 슬레이브 노드 모두에있는 마스터, 슬레이브 및 / etc / hosts 파일의 항목이 무엇인지에 대한 도움이 필요합니까?
해결법
-
==============================
1.어떠한 이유로 클러스터를 업그레이드 할 수없는 경우 다음을 시도 할 수 있습니다.
어떠한 이유로 클러스터를 업그레이드 할 수없는 경우 다음을 시도 할 수 있습니다.
set mapred.reduce.slowstart.completed.maps=0.80 set tasktracker.http.threads=80 set mapred.reduce.parallel.copies=(>= 10)(10 should probably be sufficient)
또한 체크 아웃이 그래서 게시물 : 왜 내가 "너무 많은 가져 오기 실패 - 실패"점점
그리고이 하나 : 실패를 너무 많이 가져옴 : 클러스터의 Hadoop (x2)
위의 내용이 도움이되지 않으면 http://grokbase.com/t/hadoop/common-user/098k7y5t4n/how-to-deal-with-too-many-fetch-failures 간결함과 시간의 이익을 위해 여기에서 가장 적절한 것으로 밝혀진 것을 넣을 것입니다.
편집 : 원본 답변은 "귀하의 호스트 이름이 네트워크 IP 및 127.0.0.1 / etc / hosts에 바인딩되어 있는지 확인하십시오"
from https://stackoverflow.com/questions/27978936/too-many-fetch-faliuers by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] hadoop에서 enum으로 mapOutputValueClass를 설정하는 방법 (0) | 2019.07.01 |
---|---|
[HADOOP] Hadoop Directory with Spaces (0) | 2019.07.01 |
[HADOOP] 외부 테이블 하이브 만들기, 위치에 여러 파일이 있습니다. (0) | 2019.07.01 |
[HADOOP] Custom Mapper and Reducer 대 HiveQL (0) | 2019.07.01 |
[HADOOP] SQLClient에서는 하이브 테이블에 액세스하지만 퍼티에서는 액세스하지 않습니다. (0) | 2019.07.01 |