[HADOOP] 클라우 데라 매니저에 dfs_hosts_allow

클라우 데라 매니저에 dfs_hosts_allow

나는 클라우 데라 매니저 API를 통해 설정 HDFS 및 클라우 데라 매니저를 시도하고있다. 그러나 나는 특정 시점에 붙어있다 :

I 설정의 모든 HDFS 역할을하지만, 네임 노드는 데이터 노드와 통신을 거부합니다. 데이터 노드 로그에서 관련 오류 :

Initialization failed for Block pool BP-1653676587-172.168.215.10-1435054001015 (Datanode Uuid null) service to master.adastragrp.com/172.168.215.10:8022 Datanode denied communication with namenode because the host is not in the include-list: DatanodeRegistration(172.168.215.11, datanodeUuid=1a114e5d-2243-442f-8603-8905b988bea7, infoPort=50075, ipcPort=50020, storageInfo=lv=-56;cid=cluster4;nsid=103396489;c=0)
    at org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.registerDatanode(DatanodeManager.java:917)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:5085)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.registerDatanode(NameNodeRpcServer.java:1140)
    at 

내 DNS는 호스트 파일을 통해 구성, 그래서 나는 다음과 같은 대답이 적용 생각과 성공없이 솔루션을 시도한다 : https://stackoverflow.com/a/29598059/1319284

그러나, 나는 노력까지 내가 말할 수있는 기본적으로 동일한 구성을 가진 다른 작은 클러스터를 보유하고 있습니다. DNS뿐만 아니라 / etc / hosts 파일을 통해 구성되어 있지만 여기에 나는 API 대신 클라우 데라 관리자 GUI를 통해 클러스터를 설정합니다.

그 후 나는 마침내 실행중인 네임 노드 프로세스의 구성 디렉토리를 발견하고, 거기에 내가 dfs_hosts_include 파일을 발견했다. 를 열기 만 127.0.0.1이 포함되어 있음을 알 수있다. 작업 클러스터에서 모든 노드가 해당 파일에 포함되어 있습니다. 나는 topology.map에서 비슷한 불확실성을 찾을 수 있습니다 :

<?xml version="1.0" encoding="UTF-8"?>

<!--Autogenerated by Cloudera Manager-->
<topology>
  <node name="master.adastragrp.com" rack="/default"/>
  <node name="127.0.0.1" rack="/default"/>
  <node name="slave.adastragrp.com" rack="/default"/>
  <node name="127.0.0.1" rack="/default"/>
</topology>

... 그것은 바로 보이지 않는다. 예상대로 다시 작업 클러스터의 IP를입니다.

있는 그대로뿐만 아니라 내가 무엇이 잘못 됐는지 모른다, 나는 또한 이러한 파일에 영향을 미치는 방법을 알고하지 않는 모든 자동 생성 클라우 데라 매니저에 의해. 사람이 전에 본 적이 여기에 지침을 제공 할 수있다?

해결법

1. ==============================

   1.나는이 문제를 가지고 어디 마침내 발견했다. 문제는 /etc/cloudera-scm-agent/config.ini에 있었다

   나는이 문제를 가지고 어디 마침내 발견했다. 문제는 /etc/cloudera-scm-agent/config.ini에 있었다

   나는 템플릿이 파일을 생성하고, 함께 종료

   listening_ip=127.0.0.1
   

   이는 클라우 데라-cm-에이전트가 행복하게 서버에보고했다. 자세한 내용은 질문 소금 변화 / etc / hosts 파일을 볼 수 있지만, 여전히 이전을 캐싱?

from https://stackoverflow.com/questions/31001832/dfs-hosts-allow-in-cloudera-manager by cc-by-sa and MIT license