[HADOOP] 하이브 쿼리의 간단한 예가 있습니까?
HADOOP하이브 쿼리의 간단한 예가 있습니까?
나는 단순한 작업 흐름을 질투로 변환하려고 노력하고있다. 나는 진흙 투성이의 예를 들여다 보려고했지만 약간은 지나치다. 효과적으로 나는 질의를 실행하고 결과를 텍스트 파일로 출력하려고합니다.
hive -e 'select * from tables' > output.txt
매 시간마다 그걸 오지로 번역하는 방법은?
해결법
-
==============================
1.워크 플로우는 다음과 같이 보일 수 있습니다. workflow.xml
워크 플로우는 다음과 같이 보일 수 있습니다. workflow.xml
<workflow-app xmlns="uri:oozie:workflow:0.2" name="hive-wf"> <start to="hive-node"/> <action name="hive-node"> <hive xmlns="uri:oozie:hive-action:0.2"> <job-tracker>localhost:50001</job-tracker> <name-node>hdfs://localhost:50000</name-node> <configuration> <property> <name>mapred.job.queue.name</name> <value>default</value> </property> <property> <name>oozie.hive.defaults</name> <value>/user/user1/oozie/hive-site.xml</value> </property> </configuration> <script>script.q</script> <param>INPUT_TABLE=SampleTable</param> <param>OUTPUT=/user/user1/output-data/hive</param> </hive> <ok to="end"/> <error to="fail"/> </action> <kill name="fail"> <message>Hive failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> </kill> <end name="end"/> </workflow-app>
여기서 hive-site.xml은 $ HIVE_HOME / conf 폴더에있는 사이트 xml입니다. script.q 파일에는 실제 하이브 쿼리가 포함되어 있습니다. $ {INPUT_TABLE}에서 *를 선택하십시오.
어떻게 그리고 어디서 OUTPUT 매개 변수를 사용할 수 있습니까?
from https://stackoverflow.com/questions/10499526/simple-oozie-example-of-hive-query by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] YARN의 nodemanager에서 컨테이너 수를 늘리는 방법 (0) | 2019.07.10 |
---|---|
[HADOOP] Docker Swarm에서 Hadoop을 설정하는 방법은 무엇입니까? (0) | 2019.07.10 |
[HADOOP] 하이브 테이블에서 읽기 및 spark SQL을 사용하여 다시 쓰기 (0) | 2019.07.10 |
[HADOOP] Hive에서 밀리 초 단위로 문자열을 타임 스탬프로 변환하는 방법 (0) | 2019.07.10 |
[HADOOP] Hadoop / MapReduce를 사용하여 연결된 구성 요소 찾기 (0) | 2019.07.10 |