[HADOOP] fs.defaultFS 속성을 설정하는 경우 Dataproc에서 클러스터를 만들 수 없습니다?

fs.defaultFS 속성을 설정하는 경우 Dataproc에서 클러스터를 만들 수 없습니다?

이는 구글 문서 도구는 fs.defaultFS 속성을 설정 클러스터를 만들 수 지정 그러나 나는 답변 확신 아니에요, 이미 이전 게시물에서 논의의 대상이었다. 또한, 프로그램이 속성을 설정하는 경우에도 가능하면, 때때로, 그것은 명령 줄에서 설정하는 것이 더 편리합니다.

그래서이 작동하지 않습니다 내 클러스터 생성 명령에 전달 될 때 왜 다음과 같은 옵션을 알고 싶어 : fs.defaultFS의 = 천을 : 코어를 --properties // 나의 버킷? 나는 이전 플래그없이 명령을 실행하고 클러스터를 만드는 데 성공 나는이 모든 매개 변수를 포함하지 않습니다. 이 통과 그러나, 내가 얻을 : "실패 : 마스터 시작할 수 없습니다 :. DataNode에서보고의 Insufficientnumber를"

사람이 fs.defaultFS을 설정하여 통해 Dataproc 클러스터를 만들기 위해 관리하는 경우 그 멋질거야? 감사.

해결법

1. ==============================

   1.때문에 실제 HDFS의 특정 종속성 아직 알려진 문제가있는 것은 사실입니다; 워드 프로세서는 클러스터 작성시에 GCS 경로에 fs.defaultFS를 설정하면 작동합니다, 단순히 코어를 site.xml에 나타나는 특성의 편리한 예를 제공하는 것을 의미하는 것은 아니다되었다; 이론적으로는, 예를 들어, 다른 기존 HDFS 클러스터에 fs.defaultFS를 설정 작동합니다. 나는 혼동을 피하기 위해 문서의 예제를 변경하려면 티켓을 신청했습니다.

   때문에 실제 HDFS의 특정 종속성 아직 알려진 문제가있는 것은 사실입니다; 워드 프로세서는 클러스터 작성시에 GCS 경로에 fs.defaultFS를 설정하면 작동합니다, 단순히 코어를 site.xml에 나타나는 특성의 편리한 예를 제공하는 것을 의미하는 것은 아니다되었다; 이론적으로는, 예를 들어, 다른 기존 HDFS 클러스터에 fs.defaultFS를 설정 작동합니다. 나는 혼동을 피하기 위해 문서의 예제를 변경하려면 티켓을 신청했습니다.

   두 가지 옵션 :

   클러스터 수준의 HDFS 종속성이 변경되지 않기 때문에 옵션 1은 잘 작동하는 것으로 이해된다. 옵션 2 일 비 호환성의 대부분은 초기 시작시에 발생하기 때문에, 및 관련 데몬 후에 실행 초기화 작업이 이미 시작합니다. 는 init 액션에서 설정을 무시하려면, 당신은 bdconfig 사용하십시오 :

   bdconfig set_property \
       --name 'fs.defaultFS' \
       --value 'gs://my-bucket' \
       --configuration_file /etc/hadoop/conf/core-site.xml \
       --clobber
   

from https://stackoverflow.com/questions/54775339/cannot-create-a-dataproc-cluster-when-setting-the-fs-defaultfs-property by cc-by-sa and MIT license