[HADOOP] 하둡 : FileNotFoundExcepion DistributedCache에서 파일을 가져올 때

하둡 : FileNotFoundExcepion DistributedCache에서 파일을 가져올 때

나는 2 개 노드 클러스터 (V1.04), 마스터와 슬레이브를했습니다. 마스터에서 Tool.run ()에서 우리는 addCacheFile를 사용하여 DistributedCache에 두 개의 파일 ()를 추가합니다. 파일은 HDFS에 존재한다. Mapper.setup ()에서 우리는 사용하여 캐시에서 해당 파일을 검색 할

FSDataInputStream fs = FileSystem.get( context.getConfiguration() ).open( path ). 

문제는 파일이 슬레이브 노드에 존재하지만 하나 개의 파일에 대한 FileNotFoundException이가 throw됩니다 있다는 것입니다 :

attempt_201211211227_0020_m_000000_2: java.io.FileNotFoundException: File does not exist: /somedir/hdp.tmp.dir/mapred/local/taskTracker/distcache/-7769715304990780/master/tmp/analytics/1.csv

LS는 슬레이브에 -l :

[hduser@slave ~]$ ll /somedir/hdp.tmp.dir/mapred/local/taskTracker/distcache/-7769715304990780/master/tmp/ analytics/1.csv                        
-rwxr-xr-x 1 hduser hadoop 42701 Nov 22 10:18 /somedir/hdp.tmp.dir/mapred/local/taskTracker/distcache/-7769715304990780/master/tmp/ analytics/1.csv

내 질문이 있습니다 :

감사.

해결법

1. ==============================

   1.해결 - 사용되어 있어야합니다 :

   해결 - 사용되어 있어야합니다 :

   FileSystem.getLocal( conf ) 
   

   하둡 메일 링리스트에서 거친 J에게 감사드립니다.

from https://stackoverflow.com/questions/13508707/hadoop-filenotfoundexcepion-when-getting-file-from-distributedcache by cc-by-sa and MIT license