[HADOOP] 원사 : 파일 캐시 및 사용자 캐시 자동 지우기

원사 : 파일 캐시 및 사용자 캐시 자동 지우기

우리는이 두 디렉토리가 데이터 노드에서 채워지고 몇 분 동안 만 실행될 때 공간이 부족하다는 것을 알면서 리소스 관리자로 yarn을 사용하여 스파크 스트리밍 작업을 실행하고 있습니다.

/ tmp / hadoop / data / nm-local-dir / filecache

/ tmp / hadoop / data / nm-local-dir / filecache

이 디렉토리는 자동으로 지워지지 않습니다. 제 연구에 따르면이 속성을 설정해야합니다. yarn.nodemanager.localizer.cache.cleanup.interval-ms

이 설정을 한 후에도 도움이 자동으로 지워지지는 않습니다.

<configuration>
    ~
    ~   <property>
    ~       <name>yarn.nodemanager.aux-services</name>
    ~       <value>mapreduce_shuffle</value>
    ~   </property>
    ~
    ~   <property>
    ~       <name>yarn.resourcemanager.hostname</name>
    ~       <value>hdfs-name-node</value>
    ~   </property>
    ~
    ~   <property>
    ~       <name>yarn.nodemanager.resource.memory-mb</name>
    ~       <value>16384</value>
    ~   </property>
    ~
    ~   <property>
    ~       <name>yarn.nodemanager.resource.cpu-vcores</name>
    ~       <value>6</value>
    ~   </property>
    ~
    ~   <property>
    ~       <name>yarn.scheduler.maximum-allocation-mb</name>
    ~       <value>16384</value>
    ~   </property>
         <property>
    ~       <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
    ~       <value>3000</value>
    ~   </property>
    ~
    ~   <!-- Needs to be explicitly set as part of a workaround for YARN-367.
    ~      | If changing this property, you must also change the
    ~      | hadoop.tmp.dir property in hdfs-site.xml. This location must always
    ~      | be a subdirectory of the location specified in hadoop.tmp.dir. This
    ~      | affects all versions of Yarn 2.0.0 through 2.7.3+. -->
    ~   <property>
    ~       <name>yarn.nodemanager.local-dirs</name>
    ~       <value>file:///tmp/hadoop/data/nm-local-dir</value>
    ~   </property>
    ~
    ~ </configuration>

해결법

1. ==============================

   1.기본 문제점으로 공간이 부족한 경우 "yarn.nodemanager.localizer.cache.target-size-mb"원사 속성 값을 낮게 설정하십시오. 기본적으로 10240MB (10GB)입니다.

   기본 문제점으로 공간이 부족한 경우 "yarn.nodemanager.localizer.cache.target-size-mb"원사 속성 값을 낮게 설정하십시오. 기본적으로 10240MB (10GB)입니다.

   자동 정리가 트리거되지 않는 경우, Yarn 2.7.1에보고 된이 해결되지 않은 버그 때문일 수 있습니다 (http://issues.apache.org/jira/browse/YARN-4540).

2. ==============================

   2.캐시 정리 간격은 좋지만 로컬 디렉토리가 / tmp에 있으므로 매우 빨리 채워질 수 있습니다. 일반적으로 / tmp는 공간이 더 적습니다. 내 권장 사항은 yarn.nodemanager.local-dirs를 / u01과 같은 스토리지 디스크로 변경하는 것입니다.

   캐시 정리 간격은 좋지만 로컬 디렉토리가 / tmp에 있으므로 매우 빨리 채워질 수 있습니다. 일반적으로 / tmp는 공간이 더 적습니다. 내 권장 사항은 yarn.nodemanager.local-dirs를 / u01과 같은 스토리지 디스크로 변경하는 것입니다.

   yarn.nodemanager.localizer.cache.cleanup.interval-ms의 권장 값은 600000 또는 10 분입니다.

from https://stackoverflow.com/questions/41539659/yarn-automatic-clearing-of-filecache-usercache by cc-by-sa and MIT license