[HADOOP] HDP 2.4, 어떻게 하나 개의 파일에 수로를 이용하여 하둡 맵리 듀스 로그를 수집하고 무엇이 가장 좋은 방법입니다

HDP 2.4, 어떻게 하나 개의 파일에 수로를 이용하여 하둡 맵리 듀스 로그를 수집하고 무엇이 가장 좋은 방법입니다

우리는 HDP 2.4을 사용하여 많은지도를 다양한 방법 (자바 MR / 하이브 / 등)로 작성 작업을 줄일 수 있습니다 있습니다. 로그는 응용 프로그램 ID로 하둡 파일 시스템에 수집합니다. 나는 밖으로 번거 로움과 함께 한 위치에 내 응용 프로그램 로그를 분석 할 수 있도록 응용 프로그램의 모든 로그를 수집하고 하나의 파일 (한 시스템의 HDFS 또는 OS 파일)에 추가하고 싶습니다. 또한 HDP에 달성하기 위해 나에게 가장 좋은 방법을 조언 2.4 (스택 버전 정보 => HDFS 2.7.1.2.4 / 원사 2.7.1.2.4 / MapReduce2 2.7.1.2.4 / 로그 검색 0.5.0 / 수로 1.5.2.2.4 ).

해결법

1. ==============================

   1.그들이 HDFS에 이미 후에 수로는 로그를 수집 할 수 없습니다.

   그들이 HDFS에 이미 후에 수로는 로그를 수집 할 수 없습니다.

   이 작업을 수행하려면 로컬 OS 파일 경로에서 응용 프로그램 / 용기 / 시도 / 파일 정보를 분석 어떻게 든 모든 NodeManagers에서 실행되는 수로 에이전트가 구성 yarn.log.dir에서 지적해야합니다.

   나는 "하나의 파일"로 수집하는 방법을 잘 모르겠어요 각 컨테이너가 서로 다른 정보의 적어도 5 개 파일을 생성으로, 작동하지만 원사 로그 집계는 이미이 작업을 수행합니다. 그것은 내가 아는 한, 당신은 인 Splunk / 덩어리를 사용하지 않는 HDFS에서 읽을 수있는 파일 형식 만이 아니다

   대체 솔루션은 내가 HDFS를 통해 로그를 저장 및 검색을위한 추천 SOLR 또는 Elasticsearch 같은 실제 검색 서비스에이 파일을 인덱싱 포함

from https://stackoverflow.com/questions/49789992/hdp-2-4-how-to-collect-hadoop-mapreduce-log-using-flume-in-one-file-and-what-is by cc-by-sa and MIT license