[HADOOP] 로깅 정보없이 하이브 스크립트의 결과를 파일로 내보내기
HADOOP로깅 정보없이 하이브 스크립트의 결과를 파일로 내보내기
내 hive 쿼리를 hql 파일에 저장하고 있으며 대개 다음 명령을 사용하여 실행합니다.
$ nohup hive -i 'hivescript.hql' > results.tsv &
문제는 파일을 다시 가져올 때 하이브의 로그와 경고로 시작하는 것입니다. 내가 결과를 줄 로그를 억제하는 명령 줄 인수가 있다면 궁금 무엇입니까?
해결법
-
==============================
1.경고를 다른 파일로 재 라우팅 할 수 있습니다.
경고를 다른 파일로 재 라우팅 할 수 있습니다.
$ nohup hive -i 'hivescript.hql' 2> HiveLogs.txt 1>results.tsv &
이렇게하면 두 개의 파일을 얻을 수 있습니다. 하나는 결과 만있는 파일이고 다른 하나는 하이브의 로깅 정보뿐입니다.
from https://stackoverflow.com/questions/34300387/exporting-the-results-of-a-hive-script-to-a-file-without-the-logging-info by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] 문자 메시지에서 문자열의 돼지 수 발생 (0) | 2019.08.02 |
---|---|
[HADOOP] 어쨌든 두 개의 avro 파일을 비교하여 데이터에 어떤 차이가 있는지 확인하십시오. (0) | 2019.08.02 |
[HADOOP] Hadoop MapReduce : Mapper-Reducer의 키로 두 값 (0) | 2019.08.01 |
[HADOOP] MapReduce WordCount 프로그램 - 출력이 입력 파일과 동일합니다. (0) | 2019.08.01 |
[HADOOP] CDH4 jar 파일에서 Hadoop Eclipse 라이브러리 빌드 (0) | 2019.08.01 |