복붙노트

[HADOOP] 색조 파일 브라우저가 작동하지 않습니다.

HADOOP

색조 파일 브라우저가 작동하지 않습니다.

색조를 설치했으며 색조의 파일 브라우저가 작동하지 않고 "서버 오류 (500)"가 발생 함

error.log의 데이터

webhdfs      ERROR    Failed to determine superuser of WebHdfs at http://namenode:50070/webhdfs/v1: SecurityException: Failed to obtain user group information: org.apache.hadoop.security.authorize.AuthorizationException: User: hue is not allowed to impersonate hue (error 401)
Traceback (most recent call last):
  File "/home/hduser/huef/hue/desktop/libs/hadoop/src/hadoop/fs/webhdfs.py", line 108, in superuser
    sb = self.stats('/')
  File "/home/hduser/huef/hue/desktop/libs/hadoop/src/hadoop/fs/webhdfs.py", line 188, in stats
    res = self._stats(path)
  File "/home/hduser/huef/hue/desktop/libs/hadoop/src/hadoop/fs/webhdfs.py", line 182, in _stats
    raise ex

참고 : core-site.xml에 다음을 추가하고 webhdfs를 활성화했습니다.

 <property>
                <name>hadoop.proxyuser.hue.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hue.groups</name>
                <value>*</value>
        </property>

hoz 파일 위치에 색조로 액세스하려고하면 오류가 발생합니다.

An error occurred: SecurityException: Failed to obtain user group information: org.apache.hadoop.security.authorize.AuthorizationException: User: hue is not allowed to impersonate hduser (error 401)

해결법

  1. ==============================

    1.core-site.xml

    core-site.xml

     <property>
          <name>hadoop.proxyuser.hue.hosts</name>
          <value>*</value>
     </property>
     <property>
          <name>hadoop.proxyuser.hue.groups</name>
          <value>*</value>
     </property>
    

    hdfs-site.xml

    <property>
         <name>dfs.webhdfs.enabled</name>
         <value>true</value>
    </property>
    
  2. ==============================

    2.hduser를 프록시 사용자로 지정해야합니다.

    hduser를 프록시 사용자로 지정해야합니다.

     <property>
          <name>hadoop.proxyuser.hduser.hosts</name>
          <value>*</value>
     </property>
     <property>
          <name>hadoop.proxyuser.hduser.groups</name>
          <value>*</value>
     </property>
    

    왜 당신은 색조로 색조를 사용하지 않습니까?

  3. ==============================

    3.어떤 사용자로 로그인 했습니까?

    어떤 사용자로 로그인 했습니까?

    나는 동일한 문제가 있었는데, 내 솔루션은 "hdfs"라는 HUE 사용자를 만들고 "hue"Linux 사용자를 "hadoop"및 "hdfs"Linux 사용자 그룹에 추가하는 것이 었습니다.

    이제 HUE 웹 UI에서 "hdfs"사용자로 로그인했습니다.

  4. ==============================

    4.사용자 그룹 정보를 얻지 못했습니다라는 메시지가 표시 될 수 있습니다.

    사용자 그룹 정보를 얻지 못했습니다라는 메시지가 표시 될 수 있습니다.

    Hadoop 문서에 따르면 그룹 정보는 쉘 명령 (* nix 시스템) 그룹 $ USERNAME을 호출하여 수집됩니다. 따라서 일치하는 사용자는 인증 프로세스가 발생하는 HDFS 네임 노드에서 Linux 사용자로 존재해야합니다.

    따라서 해결책은 간단합니다.

    useradd 색조 -g 루트 네임 노드에서.

    도커 컨테이너에 hdfs를 배포하고 있으므로 그룹 루트를 사용합니다. 이 값은 네임 노드 프로세스를 실행하는 사용자와 동일합니다 (확실히 수퍼 유저 임).

  5. from https://stackoverflow.com/questions/18614940/hue-file-browser-not-working by cc-by-sa and MIT license