[HADOOP] gethue / 색상 고정 표시기 이미지를 사용하여 HDFS 주소를 구성 할 수 없습니다

gethue / 색상 고정 표시기 이미지를 사용하여 HDFS 주소를 구성 할 수 없습니다

나는 gethue / 색상의 색조 고정 표시기 이미지를 얻으려고하지만, 내가 그에게주는 구성을 무시하고 항상 내가 찾아달라고하는 대신 고정 표시기 용기의 로컬 호스트에 HDFS를 찾을 것으로 보인다.

여기에 몇 가지 상황은 다음과 같습니다

 hdfs-namenode:
    image: bde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8
    hostname: namenode
    environment:
      - CLUSTER_NAME=davidov
    ports:
      - "8020:8020"
      - "50070:50070"
    volumes:
      - ./data/hdfs/namenode:/hadoop/dfs/name
    env_file:
      - ./hadoop.env


  hdfs-datanode1:
    image: bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8
    depends_on:
      - hdfs-namenode
    links:
      - hdfs-namenode:namenode
    volumes:
      - ./data/hdfs/datanode1:/hadoop/dfs/data
    env_file:
      - ./hadoop.env

이것은 이미 제대로 포함하여 구성되어 BigDataEurope에서 이미지를 실행 :

- the activation of webhdfs (in /etc/hadoop/hdfs-site.xml):
  - dfs.webhdfs.enabled set to true
- the hue proxy user (in /etc/hadoop/core-site.xml): 
  - hadoop.proxyuser.hue.hosts set to *
  - hadoop.proxyuser.hue.groups set to *

제 1, 나는 그들의 지시에 따라 색조를 시작합니다 :

첫째, 나는 고정 표시기 용기 내부의 bash 프롬프트를 실행합니다 :

docker run -it -p 8888:8888 gethue/hue:latest bash

그럼, 데스크탑 / conf의가 / 의사 distributed.ini이 주소 172.30.0.2 내 경우에는 (올바른 하둡 "노드"로 고정 표시기 컨테이너를 가리 키도록 수정

[hadoop]

  # Configuration for HDFS NameNode
  # ------------------------------------------------------------------------
  [[hdfs_clusters]]
    # HA support by using HttpFs

    [[[default]]]
      # Enter the filesystem uri
      fs_defaultfs=hdfs://172.30.0.2:8020

      # NameNode logical name.
      ## logical_name=

      # Use WebHdfs/HttpFs as the communication mechanism.
      # Domain should be the NameNode or HttpFs host.
      # Default port is 14000 for HttpFs.
      ## webhdfs_url=http://172.30.0.2:50070/webhdfs/v1

      # Change this if your HDFS cluster is Kerberos-secured
      ## security_enabled=false

      # In secure mode (HTTPS), if SSL certificates from YARN Rest APIs
      # have to be verified against certificate authority
      ## ssl_cert_ca_verify=True

그리고 나는 (여전히 색조 용기 내부에) 다음 명령을 사용하여 색조를 시작합니다 :

./build/env/bin/hue runserver_plus 0.0.0.0:8888

(내 경우에는 'HDFS')를 새로운 사용자를 생성, 8888을, 그리고 HDFS 파일 브라우저 모듈을 실행 : 나는 다음 로컬 호스트에 브라우저를 가리 킵니다. 그때 나는 다음과 같은 오류 메시지가 나타납니다 :

Cannot access: /user/hdfs/.
HTTPConnectionPool(host='localhost', port=50070): Max retries exceeded with url: /webhdfs/v1/user/hdfs?op=GETFILESTATUS&user.name;=hue&doas;=hdfs (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 99] Cannot assign requested address',))

흥미로운 비트는 아직도 내가 172.30.0.2를 가리 키도록 설정 파일을 수정하더라도 (물론 작동하지 않을 수있는) localhost에 연결을 시도하는 것입니다.

이 문제를 인터넷 검색, 나는 또 다른 설정 파일을 발견 : 바탕 화면 / conf.dist / hue.ini합니다. 나는이 하나를 수정하고 다시 색조를 시작하지만, 동일한 결과를 시도했다.

하나는 내가 제대로 내 경우에는 색상을 구성 할 수있는 방법을 알고 있나요?

당신의 도움에 미리 감사드립니다.

문안 인사,

로렌스.

해결법

1. ==============================

   1.귀하의 일회성 고정 표시기 실행 명령은 고정 표시기-작성 용기와 동일한 네트워크에 없습니다.

   귀하의 일회성 고정 표시기 실행 명령은 고정 표시기-작성 용기와 동일한 네트워크에 없습니다.

   당신은에 고정 표시기가-구성을 시작하면 폴더와 [프로젝트 이름] 교체, 같은 것을 필요

   docker run -ti -p 8888:8888 --network="[projectname]_default" gethue/hue bash
   

   나는 당신이 간단하게 지정할 수 있다는 / 또한 색조 컨테이너와 볼륨 바탕 화면 / conf의 아래에 INI 파일을 마운트 도커 작성을 사용하는 것이 좋습니다 것입니다

   fs_defaultfs=hdfs://namenode:8020
   

   (당신이 호스트 이름을 넣어부터 다음 작성 파일의 네임 노드)

   변경 사항을 적용하려면를 위해 당신은 또한 WebHDFS 행의 주석을 해제해야합니다

   모든 INI 파일은 색조의 conf 폴더에 병합됩니다

from https://stackoverflow.com/questions/48845801/cannot-configure-hdfs-address-using-gethue-hue-docker-image by cc-by-sa and MIT license