[HADOOP] Hadoop은 YARN 애플리케이션의 로그를 어디에 저장합니까?
HADOOPHadoop은 YARN 애플리케이션의 로그를 어디에 저장합니까?
Hortonworks의 원사 응용 사례의 기본 예제를 실행합니다. 응용 프로그램이 실패하고 이유를 파악하기 위해 로그를 읽고 싶습니다. 그러나 예상되는 위치 (/ HADOOP_INSTALL_FOLDER / logs)에서 내 mapreduce 작업의 로그가 저장된 파일을 찾을 수 없습니다.
원사가 맵이 아닌 로그 파일을 저장하는 위치를 아는 사람이 있습니까? xml 파일에 특수 디렉토리를 구성해야합니까?
해결법
-
==============================
1.컨테이너 로그는 yarn.nodemanager.log-dirs 아래에 있어야합니다.
컨테이너 로그는 yarn.nodemanager.log-dirs 아래에 있어야합니다.
-
==============================
2.로그 집계는 YARN에서 구현되었으므로 Hadoop 1과 비교할 때 로그 파일 위치가 달라집니다.
로그 집계는 YARN에서 구현되었으므로 Hadoop 1과 비교할 때 로그 파일 위치가 달라집니다.
WebUi와 명령 줄 액세스의 두 가지 방법으로 응용 프로그램의 로그를 가져올 수 있습니다.
YARN에 대한이 로그 집계 구현에 대한 매우 명확한 정보를 제공하는 아래 문서를 살펴보십시오.
http://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/
블로그 작성자 인 Vinod Kumar Vavilapalli에게 감사드립니다.
from https://stackoverflow.com/questions/21621755/where-does-hadoop-store-the-logs-of-yarn-applications by cc-by-sa and MIT license