[HADOOP] getCacheFiles ()와 getLocalCacheFiles ()는 같은 것입니까?
HADOOPgetCacheFiles ()와 getLocalCacheFiles ()는 같은 것입니까?
getLocalCacheFiles ()가 더 이상 사용되지 않으므로 대안을 찾으려고합니다. getCacheFiles ()는 하나 인 것 같지만, 그들이 같은지는 의심 스럽습니다.
addCacheFile ()을 호출하면 HDFS의 파일이 모든 노드에 다운로드되고 getLocalCacheFiles ()를 사용하여 지역화 된 파일 경로를 가져올 수 있으며 로컬 파일 시스템에서이를 읽을 수 있습니다. 그러나 getCacheFiles ()가 반환하는 것은 HDFS에있는 파일의 URI입니다. 이 URI로 파일을 읽으면 여전히 로컬 파일 시스템 대신 HDFS에서 읽는 것으로 의심됩니다.
위의 내용은 나의 이해이며, 그것이 올바른지 나는 모른다. 그렇다면 getLocalCacheFiles ()의 대안은 무엇입니까? 그리고 왜 Hadoop이 처음부터 그것을 비난합니까?
해결법
-
==============================
1.그것은 오픈 소스입니다. MAPREDUCE-4493에 대한 @Deprectated : commit 735b50e8bd23f7fbeff3a08cf8f3fff8cbff7449를 소개하는 git blame을 항상 찾을 수 있습니다. JIRA의 꼬리에는 다음과 같은 토론이 있습니다 :
그것은 오픈 소스입니다. MAPREDUCE-4493에 대한 @Deprectated : commit 735b50e8bd23f7fbeff3a08cf8f3fff8cbff7449를 소개하는 git blame을 항상 찾을 수 있습니다. JIRA의 꼬리에는 다음과 같은 토론이 있습니다 :
파일을 열면 파일이 열립니다. 전용 API가 없습니다.
from https://stackoverflow.com/questions/26492964/are-getcachefiles-and-getlocalcachefiles-the-same by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Hadoop에서 헤더가있는 파일 처리 (0) | 2019.07.30 |
---|---|
[HADOOP] 람다 아키텍처 - 왜 배치 레이어 (0) | 2019.07.30 |
[HADOOP] Hadoop hdfs 디렉토리에있는 모든 Gzip 파일의 압축을 풉니 다. (0) | 2019.07.30 |
[HADOOP] hadoop aws 버전 호환성 (0) | 2019.07.30 |
[HADOOP] 작은 파일과 128Mb 블록 크기의 HDFS 동작 (0) | 2019.07.30 |