복붙노트

[HADOOP] getCacheFiles ()와 getLocalCacheFiles ()는 같은 것입니까?

HADOOP

getCacheFiles ()와 getLocalCacheFiles ()는 같은 것입니까?

getLocalCacheFiles ()가 더 이상 사용되지 않으므로 대안을 찾으려고합니다. getCacheFiles ()는 하나 인 것 같지만, 그들이 같은지는 의심 스럽습니다.

addCacheFile ()을 호출하면 HDFS의 파일이 모든 노드에 다운로드되고 getLocalCacheFiles ()를 사용하여 지역화 된 파일 경로를 가져올 수 있으며 로컬 파일 시스템에서이를 읽을 수 있습니다. 그러나 getCacheFiles ()가 반환하는 것은 HDFS에있는 파일의 URI입니다. 이 URI로 파일을 읽으면 여전히 로컬 파일 시스템 대신 HDFS에서 읽는 것으로 의심됩니다.

위의 내용은 나의 이해이며, 그것이 올바른지 나는 모른다. 그렇다면 getLocalCacheFiles ()의 대안은 무엇입니까? 그리고 왜 Hadoop이 처음부터 그것을 비난합니까?

해결법

  1. ==============================

    1.그것은 오픈 소스입니다. MAPREDUCE-4493에 대한 @Deprectated : commit 735b50e8bd23f7fbeff3a08cf8f3fff8cbff7449를 소개하는 git blame을 항상 찾을 수 있습니다. JIRA의 꼬리에는 다음과 같은 토론이 있습니다 :

    그것은 오픈 소스입니다. MAPREDUCE-4493에 대한 @Deprectated : commit 735b50e8bd23f7fbeff3a08cf8f3fff8cbff7449를 소개하는 git blame을 항상 찾을 수 있습니다. JIRA의 꼬리에는 다음과 같은 토론이 있습니다 :

    파일을 열면 파일이 열립니다. 전용 API가 없습니다.

  2. from https://stackoverflow.com/questions/26492964/are-getcachefiles-and-getlocalcachefiles-the-same by cc-by-sa and MIT license