복붙노트

[HADOOP] 하이브 오류 : java.lang.Exception 상위 : 자식 오류

HADOOP

하이브 오류 : java.lang.Exception 상위 : 자식 오류

이 오류를 던지고있다 하이브 쿼리를 다음 실행하는 동안 나는, CDH 5.9을 사용하고 있습니다. 문제에 대해 어떤 생각? 일반 선택 쿼리에 대한 작업하지만 복잡한 쿼리는 실패를 초래한다.

hive> select * from table where dt='22-01-2017' and field like '%xyz%' limit 10;
Query ID = hdfs_20170123200303_44a9c423-4bb3-4f80-ade4-b1312971eb63
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_201701131637_0067, Tracking URL = http://cdhum03.temp-dsc-updates.bms.bz:50030/jobdetails.jsp?jobid=job_201701131637_0067
Kill Command = /usr/lib/hadoop/bin/hadoop job  -kill job_201701131637_0067
Hadoop job information for Stage-1: number of mappers: 6; number of reducers: 0
2017-01-23 20:05:46,563 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201701131637_0067 with errors
Error during job, obtaining debugging information...
Job Tracking URL: http://cdhum03.temp-dsc-updates.bms.bz:50030/jobdetails.jsp?jobid=job_201701131637_0067
Examining task ID: task_201701131637_0067_m_000007 (and more) from job job_201701131637_0067
Examining task ID: task_201701131637_0067_r_000000 (and more) from job job_201701131637_0067

Task with the most failures(4):
-----
Task ID:
  task_201701131637_0067_m_000006

URL:
  http://cdhum03.temp-dsc-updates.bms.bz:50030/taskdetails.jsp?jobid=job_201701131637_0067&tipid=task_201701131637_0067_m_000006
-----
Diagnostic Messages for this Task:
java.lang.Throwable: Child Error
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:250)
Caused by: java.io.IOException: Task process exit with nonzero status of 126.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:237)


FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: Map: 6   HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec

감사.

해결법

  1. ==============================

    1.당신의 작업 로그에 대한 더 많은 공간을 필요로하지만, JVM이 클러스터를 확장 또는 사용으로 특정 쿼리를 사용하시기 바랍니다 이하이기 때문에 데이터의 크기를 확인하시기 바랍니다 - * 테이블 여기서 DT = '22 -01-2017 % XYZ % '한도 (10')와 같은 필드 '선택 '%의 XYZ의 %'와 같은 특정 요구 사항을 사용하는 전체 데이터를 더 잘 확인합니다. 다른 테이블을 삭제하고 파티션 컬럼과 같은 날짜 새로운 분할 된 테이블을 만들 수 있습니다.

    당신의 작업 로그에 대한 더 많은 공간을 필요로하지만, JVM이 클러스터를 확장 또는 사용으로 특정 쿼리를 사용하시기 바랍니다 이하이기 때문에 데이터의 크기를 확인하시기 바랍니다 - * 테이블 여기서 DT = '22 -01-2017 % XYZ % '한도 (10')와 같은 필드 '선택 '%의 XYZ의 %'와 같은 특정 요구 사항을 사용하는 전체 데이터를 더 잘 확인합니다. 다른 테이블을 삭제하고 파티션 컬럼과 같은 날짜 새로운 분할 된 테이블을 만들 수 있습니다.

  2. from https://stackoverflow.com/questions/41809178/hive-error-java-lang-throwable-child-error by cc-by-sa and MIT license