[HADOOP] Kerberos를 활성화 한 후 로그인 읽을 historyserver 수 없습니다
HADOOPKerberos를 활성화 한 후 로그인 읽을 historyserver 수 없습니다
내가 클러스터에 Kerberos를 사용하고 그것을 잘 노력하고 있습니다. 그러나 때문에 몇 가지 문제 mapred 사용자에게 읽기 및 JobHistory 서버를 통해 로그인 표시 할 수 없습니다. 나는 작업 기록 서버의 로그를 확인하고이 같은 액세스 오류를 제공합니다 :
org.apache.hadoop.security.AccessControlException: Permission denied:user=mapred, access=READ_EXECUTE, inode="/user/history/done_intermediate/prakul":prakul:hadoop:drwxrwx---
우리는 디렉토리를 볼 수도 다음 로그를 읽을 수없는, 하둡 그룹에 액세스 할 수 있으며 하둡 그룹에 mapred. 비슷한 오류는 더 로그가 자원 관리자 UI에 표시되지 않았다 인한되는 / tmp를 / 로그 / 폴더주고있다.
나는 하둡 그룹의 모든 시스템에 mapred 사용자가 포함 된 모든 기계를 통해 확인 :
[cloudera]# id mapred uid=491(mapred) gid=489(mapred) groups=489(mapred),496(hadoop)
나는 또한 mapred 사용자는 kinit 이러한 디렉토리를 수동으로 액세스하려고하지만 폴더에 770 권한을 가진 경우에도 액세스 할 수 없습니다 mapred :
[root@mn0 cloudera]# hdfs dfs -ls /tmp/logs/prakul
ls: Permission denied: user=mapred, access=READ_EXECUTE, inode="/tmp/logs/prakul":prakul:hadoop:drwxrwx---
[root@mn0 cloudera]# hdfs dfs -ls /tmp/logs/
Found 8 items
drwxrwx--- - xyz hadoop 0 2016-06-14 19:19 /tmp/logs/xyz
drwxrwx--- - abc hadoop 0 2016-06-13 06:06 /tmp/logs/abc
drwxrwx--- - prakul hadoop 0 2016-06-10 04:47 /tmp/logs/prakul
[root@mn0 cloudera]# klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: mapred/mn0.eastus.cloudapp.azure.com@AD.COM
Valid starting Expires Service principal
06/27/16 01:07:32 06/27/16 11:07:32 krbtgt/AD.COM@AD.COM
renew until 07/04/16 01:07:32
내가 디렉토리에 777 권한을 부여한다면 UI뿐만 아니라 CLI를 통해 읽고 쇼 로그 할 수 mapred입니다.
하나는 일부 클라우 데라의 버그 또는 그룹 수준에서 전체 권한을 갖는 로그에 액세스 할 수 없습니다 mapred 인한되는 일부 구성 문제가 있는지 알 수 있습니까?
Kerberos를 사용할 수와 나는 클라우 데라 5.7을 사용하고 있습니다.
사전에 감사합니다
해결법
-
==============================
1.내 AD 서버에서 하둡 그룹을 추가하고 HDFS, 원사, 해당 그룹의 mapred 멤버했다. 그 후 나는 로그를 볼 수 있어요.
내 AD 서버에서 하둡 그룹을 추가하고 HDFS, 원사, 해당 그룹의 mapred 멤버했다. 그 후 나는 로그를 볼 수 있어요.
from https://stackoverflow.com/questions/38114866/historyserver-not-able-to-read-log-after-enabling-kerberos by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] HDFS는 캐싱 항아리 때문에 실패 스파크 작업 (0) | 2019.10.16 |
---|---|
[HADOOP] 하이브 기능 분기 () 반환 '잘못된 기능' (0) | 2019.10.16 |
[HADOOP] 일반적인 옵션을 파서를 통해 mapreduce.job.reduces을 설정할 수 없습니다 (0) | 2019.10.16 |
[HADOOP] 아파치 돼지 - 어떻게 소수점 이하 자릿수를 잘라 (0) | 2019.10.16 |
[HADOOP] 돼지에서 함께 여러지도를 결합 (0) | 2019.10.16 |