[HADOOP] 둘째 날에 "너무 많은 페치 실패"가 발생하는 이유는 무엇입니까?
HADOOP둘째 날에 "너무 많은 페치 실패"가 발생하는 이유는 무엇입니까?
하나 또는 다른 작업 추적기에서 우리는 400GB의 데이터를 망가뜨리는 두 가지 큰 돼지 작업을 실행할 때이 오류가 발생합니다. 우리는 작업을 죽이고 클러스터를 잠시 동안 조용히 유지 한 후에 모든 것이 다시 잘된다는 것을 발견했습니다. 진짜 문제가 될 수있는 것을 제안 해주세요.
해결법
-
==============================
1.해결 방법, 데이터 노드 노드 / etc / hosts 파일을 수정하십시오. 간단한 형식의 호스트 : 각 줄은 세 부분으로 나누어 져 있습니다 : 네트워크 IP 주소의 첫 번째 부분, 호스트 이름 또는 도메인 이름의 두 번째 부분, 호스트 별칭 세 번째 부분의 세부 단계는 다음과 같습니다. 1, 먼저 호스트 이름을 확인하십시오 :
해결 방법, 데이터 노드 노드 / etc / hosts 파일을 수정하십시오. 간단한 형식의 호스트 : 각 줄은 세 부분으로 나누어 져 있습니다 : 네트워크 IP 주소의 첫 번째 부분, 호스트 이름 또는 도메인 이름의 두 번째 부분, 호스트 별칭 세 번째 부분의 세부 단계는 다음과 같습니다. 1, 먼저 호스트 이름을 확인하십시오 :
cat / proc / sys / kernel / hostname
HOSTNAME 속성을 확인하고 IP의 값을 OK에서 변경 한 다음 종료하십시오. 2, 다음 명령을 사용하십시오.
호스트 이름 *. .
from https://stackoverflow.com/questions/9890659/why-i-am-getting-too-many-fetch-failures-every-other-day by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] hadoop 스트리밍을 사용하여 파일 압축 풀기 (0) | 2019.06.29 |
---|---|
[HADOOP] 스파크에서 하이브 테이블에 액세스하기 (0) | 2019.06.29 |
[HADOOP] 매퍼 (또는 감속기) 내부에서 MR 작업을 중단하는 방법 (0) | 2019.06.29 |
[HADOOP] 매퍼 수를 제한하는 방법 (0) | 2019.06.29 |
[HADOOP] 아파치 스파크로 수백만 개의 작은 s3 파일을 처리하는 법 (0) | 2019.06.29 |