[HADOOP] 로그 분석을위한 Amazon MapReduce 모범 사례

로그 분석을위한 Amazon MapReduce 모범 사례

아파치, Nginx, Darwin (비디오 스트리밍 서버) 및 date / referrer / useragent별로 각 전달 된 파일에 대한 통계를 집계하여 생성 된 액세스 로그를 구문 분석하고 있습니다.

몇 시간에 걸쳐 생성되는 로그와 그 수는 가까운 시일 내에 급격히 증가 할 것이므로 Amazon Elastic MapReduce를 통해 분산 된 방식으로 이러한 종류의 데이터를 처리하는 것이 합리적이라고 생각합니다.

지금은 데이터를 처리하기 위해 매퍼 (mappers)와 감속기 (reducers)를 사용할 준비가되었으며 다음 프로세스로 전체 프로세스를 테스트했습니다.

필자는 수천 개의 자습서를 사용하여 수동으로 수행했는데, 아마존 ERM에 관한 인터넷에서 구할 수 있습니다.

다음에 무엇을해야합니까? 이 프로세스를 자동화하는 최선의 방법은 무엇입니까?

이 항목은 Amazon Elastic MapReduce를 사용하여 액세스 로그를 처리하려고 시도하지만 많은 자료 및 우수 사례를 찾을 수없는 사람들에게 유용 할 것으로 생각됩니다.

UPD : 단 하나의 마지막 질문은 여기에 있습니다.

Amazon Elastic MapReduce에서 제공하는 로그 처리 모범 사례는 무엇입니까?

관련 게시물:

Elastic MapReduce HDFS에서 데이터 가져 오기 및 나가기

해결법

1. ==============================

   1.이것은 매우 열려있는 질문이지만 다음은 고려할 수있는 몇 가지 생각입니다.

   이것은 매우 열려있는 질문이지만 다음은 고려할 수있는 몇 가지 생각입니다.

   희망은 당신에게 단서를 제공합니다.

from https://stackoverflow.com/questions/9838652/amazon-mapreduce-best-practices-for-logs-analysis by cc-by-sa and MIT license