[HADOOP] 하둡 MR / 돼지의 작업에 배관 데이터

하둡 MR / 돼지의 작업에 배관 데이터

나는 HDFS의 데이터를 실행중인 작업의 세 가지 유형이있다. 이 세 가지 작업은 현재 시나리오에서 개별적으로 실행해야합니다. 이제, 우리는 아키텍처 및 전반적인 성능을 향상시키기 위해 HDFS에 데이터를 작성하지 않고 다른 작업 한 작업의 출력 데이터를 파이프하여 함께 세 가지 작업을 실행합니다.

어떤 제안이 시나리오에 대한 환영합니다.

PS : Oozie는 workflow.Cascading 프레임 워크 피팅되지도 있기 때문에 확장 성 문제로 배제된다. 감사

해결법

1. ==============================

   1.하둡 본질적 M / R 단계 후에 저장 (예컨대 HDFS)에 기입한다. 당신이 메모리에 무언가를 원하는 경우에, 어쩌면 당신은 불꽃 같은 조사 할 필요가있다.

   하둡 본질적 M / R 단계 후에 저장 (예컨대 HDFS)에 기입한다. 당신이 메모리에 무언가를 원하는 경우에, 어쩌면 당신은 불꽃 같은 조사 할 필요가있다.

2. ==============================

   2.Oozie는 데이터 파이프 라인 응용 프로그램을 형성하기 위해 함께 체인 여러 하둡 작업 (맵리 듀스, 돼지, 하이브, 자바 등)에 도움이됩니다. 예약 및 하둡 관련 기능의 내장 지원은 복잡한 하둡 관련 작업을 관리하는 디바이스의 생명이 훨씬 쉬워집니다.

   Oozie는 데이터 파이프 라인 응용 프로그램을 형성하기 위해 함께 체인 여러 하둡 작업 (맵리 듀스, 돼지, 하이브, 자바 등)에 도움이됩니다. 예약 및 하둡 관련 기능의 내장 지원은 복잡한 하둡 관련 작업을 관리하는 디바이스의 생명이 훨씬 쉬워집니다.

   그러나 Oozie는 반드시 당신이 작동 일부 메모리 데이터 저장, 메시지 큐 시스템 또는 다른 시스템을 도입 할 필요가 있음을하려면 HDFS 또는 등 로컬 파일 시스템 또는 데이터베이스와 같은 다른 형태의 데이터 저장을 제거하지 않습니다 데이터의 규모, 당신은.

3. ==============================

   3.당신은 HUE를 사용하려고 할 수 있습니다.  참조 : http://blog.cloudera.com/blog/2014/10/new-in-cdh-5-2-new-security-app-and-more-in-hue/

   당신은 HUE를 사용하려고 할 수 있습니다.  참조 : http://blog.cloudera.com/blog/2014/10/new-in-cdh-5-2-new-security-app-and-more-in-hue/

   CDH 5.2 색조, 사용하기 아파치 하둡 쉽게 오픈 소스 GUI를 통해 중요한 새로운 사용성 기능이 포함되어 있습니다. 보안 권한을 관리하기위한 아주 새로운 응용 프로그램을 운송하는 것 외에도,이 릴리스는 특히 기능 포장하고, 더 많은 사용 가능한 하둡 더 나은 BI로 변환하기 때문에 극적 장면, 티지 및 Zoomdata 같은 클라우 데라 파트너의 BI 도구에 좋은 보완되고있다 전체 조직에서!

from https://stackoverflow.com/questions/27506306/piping-data-into-jobs-in-hadoop-mr-pig by cc-by-sa and MIT license