[HADOOP] 원사 : yarn-site.xml 변경 사항이 적용되지 않습니다.

원사 : yarn-site.xml 변경 사항이 적용되지 않습니다.

우리는 spark 스트리밍 응용 프로그램을 원사와 함께 HDFS 2.7.3에서 리소스 관리자로 실행하고 있습니다. 응용 프로그램을 실행하는 동안 ..이 두 폴더

/tmp/hadoop/data/nm-local-dir/filecache

/tmp/hadoop/data/nm-local-dir/filecache

그리고 디스크를 채우고 .....

그래서 내 연구 결과에 의하면 yarn-site.xml에서이 두 속성을 구성하는 것이 도움이 될 것입니다.

<property>
        <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
        <value>2000</value>
</property>

<property>
         <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
         <value>2048</value>
</property>

나는 각각의 namenode와 masternode에서 그들을 구성했다. 그리고 masternode에서 원사를 다시 시작했다. 그러나 여전히 도움이되지 않는다. .. 내가 설정을 변경하는 동안 나는 아무것도 놓치고 있는지 알려주 라. .. 이것은 원사 site.xml입니다.

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hdfs-name-node</value>
</property>

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>16384</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>6</value>
</property>

<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>16384</value>
</property>

<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>file:///tmp/hadoop/data/nm-local-dir</value>
</property>

<property>
    <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
    <value>2000</value>
</property>

<property>
     <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
     <value>2048</value>
</property>

</configuration>

업데이트 : 나는이 속성으로 시도했지만 여전히 정리하지 않으며 디스크가 가득 찼습니다.

<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
   </property>

해결법

1. ==============================

   1."/ tmp / hadoop / data / nm-local-dir / filecache"폴더가 가득 찼다 고해서 주기적으로 정리해야한다고 말합니다.

   "/ tmp / hadoop / data / nm-local-dir / filecache"폴더가 가득 찼다 고해서 주기적으로 정리해야한다고 말합니다.

   그러나 정리에 지정한 매개 변수, 특히 "yarn.nodemanager.localizer.cache.cleanup.interval-ms"및 "yarn.nodemanager.localizer.cache.target-size-mb"는 "/ tmp / hadoop / data / nm-local-dir / filecache "하지만"file : /// tmp / hadoop / data / nm-local-dir "의"yarn.nodemanager.local-dirs "값에"filecache "가 포함되지 않습니다. 통로. "file : /// tmp / hadoop / data / nm-local-dir"값을 "file : /// tmp / hadoop / data / nm-local-dir / filecache"로 수정하십시오.

from https://stackoverflow.com/questions/41575724/yarn-yarn-site-xml-changes-not-taking-effect by cc-by-sa and MIT license