[HADOOP] 사용자 정의 맵 하이브의 프로그램 줄이기, 규칙이란 무엇입니까? 입력과 출력은 어떻습니까?

사용자 정의 맵 하이브의 프로그램 줄이기, 규칙이란 무엇입니까? 입력과 출력은 어떻습니까?

하이브에 대한 내 쿼리를 기반으로 사용자 지정 맵 축소 프로그램을 만들려고했기 때문에 며칠 동안 붙어있어 인터넷 검색 후에 많은 예제를 찾지 못했고 여전히 규칙에 대해 혼란스러워합니다.

내 맞춤형지도 제작 프로그램을 만드는 규칙은 무엇입니까? 매퍼 및 감속기 클래스는 어떻습니까?

누구든지 어떤 솔루션을 제공 할 수 있습니까?

Java로이 프로그램을 개발하고 싶지만 여전히 정적인데 콜렉터에서 출력 형식을 지정할 때 매퍼 및 감속기 클래스에서 결과의 형식을 지정하려면 어떻게해야합니까?

아무도 나에게 이런 종류의 물건에 대한 몇 가지 예와 설명을주고 싶습니까?

해결법

1. ==============================

   1.하이브 쿼리에 커스텀 매퍼 / 리듀서를 추가하는 기본적으로 두 가지 방법이 있습니다.

   하이브 쿼리에 커스텀 매퍼 / 리듀서를 추가하는 기본적으로 두 가지 방법이 있습니다.

   여기서 stuff1, stuff2는 table1의 필드이고 script는 내가 나중에 설명하는 형식을 허용하는 실행 가능 파일입니다. thing1, thing2는 스크립트의 출력입니다.

   이것은 약간 더 복잡하지만 더 많은 제어를 제공합니다. 이것에는 2 부분이 있습니다. 첫 번째 부분에서 매퍼 스크립트는 테이블에서 데이터를 받아 mp1 및 mp2 필드에 매핑합니다. 이것들은 reduce_script에 전달되고,이 스크립트는 우리가 CLUSTER BY mp1에 지정한 키에 정렬 된 출력을받습니다. 하나의 감속기가 하나 이상의 키를 처리 할 것입니다. reduce 스크립트의 결과는 표 someothertable로 갈 것입니다.

   이제이 모든 스크립트는 간단한 패턴을 따릅니다. 그들은 stdin에서 줄 단위로 읽습니다. 필드는 \ t 분리되어 같은 방법으로 '\ t'로 구분 된 필드로 다시 표준 출력에 씁니다.

   이 블로그를 확인해보십시오. 몇 가지 좋은 예가 있습니다.

   http://dev.bizo.com/2009/07/custom-map-scripts-and-hive.html

   http://dev.bizo.com/2009/10/reduce-scripts-in-hive.html

from https://stackoverflow.com/questions/6178614/custom-map-reduce-program-on-hive-whats-the-rule-how-about-input-and-output by cc-by-sa and MIT license