복붙노트

[HADOOP] Kerberos를 활성화 한 후 로그인 읽을 historyserver 수 없습니다

HADOOP

Kerberos를 활성화 한 후 로그인 읽을 historyserver 수 없습니다

내가 클러스터에 Kerberos를 사용하고 그것을 잘 노력하고 있습니다. 그러나 때문에 몇 가지 문제 mapred 사용자에게 읽기 및 JobHistory 서버를 통해 로그인 표시 할 수 없습니다. 나는 작업 기록 서버의 로그를 확인하고이 같은 액세스 오류를 제공합니다 :

org.apache.hadoop.security.AccessControlException: Permission denied:user=mapred, access=READ_EXECUTE, inode="/user/history/done_intermediate/prakul":prakul:hadoop:drwxrwx---

우리는 디렉토리를 볼 수도 다음 로그를 읽을 수없는, 하둡 그룹에 액세스 할 수 있으며 하둡 그룹에 mapred. 비슷한 오류는 더 로그가 자원 관리자 UI에 표시되지 않았다 인한되는 / tmp를 / 로그 / 폴더주고있다.

나는 하둡 그룹의 모든 시스템에 mapred 사용자가 포함 된 모든 기계를 통해 확인 :

[cloudera]# id mapred uid=491(mapred) gid=489(mapred) groups=489(mapred),496(hadoop)

나는 또한 mapred 사용자는 kinit 이러한 디렉토리를 수동으로 액세스하려고하지만 폴더에 770 권한을 가진 경우에도 액세스 할 수 없습니다 mapred :

[root@mn0 cloudera]# hdfs dfs -ls /tmp/logs/prakul
ls: Permission denied: user=mapred, access=READ_EXECUTE, inode="/tmp/logs/prakul":prakul:hadoop:drwxrwx---

[root@mn0 cloudera]# hdfs dfs -ls /tmp/logs/
Found 8 items
drwxrwx--- - xyz hadoop 0 2016-06-14 19:19 /tmp/logs/xyz
drwxrwx--- - abc hadoop 0 2016-06-13 06:06 /tmp/logs/abc
drwxrwx--- - prakul hadoop 0 2016-06-10 04:47 /tmp/logs/prakul

[root@mn0 cloudera]# klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: mapred/mn0.eastus.cloudapp.azure.com@AD.COM
Valid starting Expires Service principal
06/27/16 01:07:32 06/27/16 11:07:32 krbtgt/AD.COM@AD.COM
renew until 07/04/16 01:07:32

내가 디렉토리에 777 권한을 부여한다면 UI뿐만 아니라 CLI를 통해 읽고 쇼 로그 할 수 mapred입니다.

하나는 일부 클라우 데라의 버그 또는 그룹 수준에서 전체 권한을 갖는 로그에 액세스 할 수 없습니다 mapred 인한되는 일부 구성 문제가 있는지 알 수 있습니까?

Kerberos를 사용할 수와 나는 클라우 데라 5.7을 사용하고 있습니다.

사전에 감사합니다

해결법

  1. ==============================

    1.내 AD 서버에서 하둡 그룹을 추가하고 HDFS, 원사, 해당 그룹의 mapred 멤버했다. 그 후 나는 로그를 볼 수 있어요.

    내 AD 서버에서 하둡 그룹을 추가하고 HDFS, 원사, 해당 그룹의 mapred 멤버했다. 그 후 나는 로그를 볼 수 있어요.

  2. from https://stackoverflow.com/questions/38114866/historyserver-not-able-to-read-log-after-enabling-kerberos by cc-by-sa and MIT license