[HADOOP] Hive 컴파일러가 생성 한 MapReduce 작업 소스 코드는 어떻게 얻을 수 있습니까?
HADOOPHive 컴파일러가 생성 한 MapReduce 작업 소스 코드는 어떻게 얻을 수 있습니까?
SQL Hive 컴파일러에서 생성 된 코드가 무엇인지 알고 싶습니다 (즉, SQL 하이브 컴파일러에서 생성 된 MapReduce 작업 코드를보고 싶다면 하나의 SQL 문장을 실행하면됩니다).
그것을 어떻게 얻을 수 있습니까?
해결법
-
==============================
1.하이브의 경우 실제 계획을 xml 파일로 serialize합니다 (http://www.slideshare.net/nzhang/hive-anatomy의 15 페이지). 그래서, 나는 사용자가 hadoop에 대한 실제 소스 코드를 얻을 수 있다고 생각하지 않는다. 코드를 얻으려면 YSmart (http://ysmart.cse.ohio-state.edu/)를 사용해보십시오. SQL 쿼리를 hadoop의 자바 소스 코드로 변환하는 변환기입니다. YSmart의 온라인 버전을 사용할 수 있습니다. 스키마와 쿼리를 제출하면 Java 코드를보고 다운로드 할 수 있습니다.
하이브의 경우 실제 계획을 xml 파일로 serialize합니다 (http://www.slideshare.net/nzhang/hive-anatomy의 15 페이지). 그래서, 나는 사용자가 hadoop에 대한 실제 소스 코드를 얻을 수 있다고 생각하지 않는다. 코드를 얻으려면 YSmart (http://ysmart.cse.ohio-state.edu/)를 사용해보십시오. SQL 쿼리를 hadoop의 자바 소스 코드로 변환하는 변환기입니다. YSmart의 온라인 버전을 사용할 수 있습니다. 스키마와 쿼리를 제출하면 Java 코드를보고 다운로드 할 수 있습니다.
from https://stackoverflow.com/questions/9082867/how-can-i-get-the-mapreduce-jobs-source-codes-generated-by-the-hive-compiler by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Hive에서 'InputFormat, OutputFormat'및 'Stored as'의 차이점은 무엇입니까? (0) | 2019.06.19 |
---|---|
[HADOOP] ArrayWritable을 사용한 직렬화가 재미있는 방식으로 작동하는 것 같습니다. (0) | 2019.06.19 |
[HADOOP] Hadoop dfs 복제 (0) | 2019.06.18 |
[HADOOP] Spio 작업이 java.io.NotSerializableException 때문에 실패했습니다 : org.apache.spark.SparkContext (0) | 2019.06.18 |
[HADOOP] HBase에서 스트리밍되는 Hadoop mapreduce (0) | 2019.06.18 |