[HADOOP] OOZIE에서 다중 입력 경로 구성

OOZIE에서 다중 입력 경로 구성

나는 oozie에 맵리 듀스 작업을 구성하려합니다. 이 작업은 두 개의 서로 다른 입력 형식과 두 개의 입력 데이터 폴더가 있습니다. 나는 여러 매퍼 다중 입력 경로에 대한 oozie 워크 플로우를 구성하는 방법이 게시물을 사용 내 workflow.xml에 이러한 속성을 추가 :

        <property>
                <name>mapred.input.dir.formats</name>
                <value>folder/data/*;org.apache.hadoop.mapred.SequenceFileInputFormat\,data/*;org.apache.hadoop.mapred.TextInputFormat</value>
            </property>

            <property>
                <name>mapred.input.dir.mappers</name>
                <value>folder/data/*;....PublicMapper\,data/*;....PublicMapper</value>
            </property>

작업이 시작될 때 그러나 나는 다음과 같은 오류가 있습니다 : "입력 된 경로가 작업에 지정되지."

나를 도울 수있는 사람이 있습니까?

thks

해결법

1. ==============================

   1.당신은 몇 가지 추가 속성을 설정해야합니다 :

   당신은 몇 가지 추가 속성을 설정해야합니다 :

   <property>
     <name>mapreduce.inputformat.class</name>
     <value>org.apache.hadoop.mapreduce.lib.input.DelegatingInputFormat</value>
   </property>
   <property>
     <name>mapreduce.map.class</name>
     <value>org.apache.hadoop.mapreduce.lib.input.DelegatingMapper</value>
   </property>
   

2. ==============================

   2.오늘 같은 문제에 직면, 그래서 나는 다음과 같은 속성을 사용했다.

   오늘 같은 문제에 직면, 그래서 나는 다음과 같은 속성을 사용했다.

   <property>
     <name>mapreduce.inputformat.class</name>
     <value>org.apache.hadoop.mapreduce.lib.input.DelegatingInputFormat</value>
   </property>
   <property>
     <name>mapreduce.map.class</name>
     <value>org.apache.hadoop.mapreduce.lib.input.DelegatingMapper</value>
   </property>
   
   <property>
     <name>mapreduce.input.multipleinputs.dir.formats</name>
     <value>/first/input/path;org.apache.hadoop.mapreduce.lib.input.KeyValueTextInputFormat,/second/input/path;org.apache.hadoop.mapreduce.lib.input.KeyValueTextInputFormat</value>
   </property>
   <property>
     <name>mapreduce.input.multipleinputs.dir.mappers</name>
     <value>/first/input/path;com.first.Mapper,/second/input/path;com.second.Mapper</value>
   </property>
   

   차이점은 대신 mapred.input.dir.formats 내가 mapreduce.input.multipleinputs.dir.formats 및 mapreduce.input.multipleinputs.dir를 사용하는 옛지도-감소 API의 일부입니다 mapred.input.dir.mappers이다. 각각 맵퍼. 코드는 그 후 잘했다. 나는 하둡 1.2.1 및 Oozie 3.3.2에 달렸다.

from https://stackoverflow.com/questions/20194472/multiple-input-paths-configuration-in-oozie by cc-by-sa and MIT license