[HADOOP] hadoop 스트리밍 : 응용 프로그램 로그를 보는 방법?

hadoop 스트리밍 : 응용 프로그램 로그를 보는 방법?

/ usr / local / hadoop / logs 경로에 모든 hadoop 로그를 볼 수 있습니다.

하지만 응용 프로그램 수준 로그는 어디서 볼 수 있습니까? 예 :

mapper.py

import logging

def main():
    logging.info("starting map task now")
    // -- do some task -- //
    print statement  

reducer.py

import logging
def main():
    for line in sys.stdin:
        logging.info("received input to reducer - " + line)  
        // -- do some task -- //
        print statement

내 응용 프로그램의 logging.info 또는 관련 로그 문을 볼 수있는 곳은 어디입니까? 나는 파이썬을 사용하고있다. 그리고 hadoop-streaming을 사용하고있다.

고맙습니다

해결법

1. ==============================

   1.Hadoop 스트리밍은 매퍼와 리듀서간에 키 / 값 쌍을 전달하기 위해 STDIN / STDOUT을 사용하므로 로그 메시지를 특정 로그 파일에 기록해야합니다. 자세한 내용은 샘플 코드와 Python 로깅 설명서를 확인하십시오. 이 쿼리가 도움이 될 수도 있습니다.

   Hadoop 스트리밍은 매퍼와 리듀서간에 키 / 값 쌍을 전달하기 위해 STDIN / STDOUT을 사용하므로 로그 메시지를 특정 로그 파일에 기록해야합니다. 자세한 내용은 샘플 코드와 Python 로깅 설명서를 확인하십시오. 이 쿼리가 도움이 될 수도 있습니다.

2. ==============================

   2.Hadoop은 stderr를 수집하는데, 이것은 hadoop map / reduce status 사이트에서 볼 수 있습니다. 그래서 stderr에 쓸 수 있습니다.

   Hadoop은 stderr를 수집하는데, 이것은 hadoop map / reduce status 사이트에서 볼 수 있습니다. 그래서 stderr에 쓸 수 있습니다.

from https://stackoverflow.com/questions/7894770/hadoop-streaming-how-to-see-application-logs by cc-by-sa and MIT license