[HADOOP] HDFS 홈 디렉토리

HDFS 홈 디렉토리

단일 노드 다중 사용자 hadoop 클러스터를 설치했습니다. 내 클러스터에는 관리자 (수퍼 유저)를 실행하는 관리자가 있습니다. 다른 모든 사용자에게는 / home / xyz와 같은 hdfs 디렉토리가 할당됩니다. 여기서 xyz는 사용자 이름입니다.

Unix에서는 / etc / passwd에있는 사용자의 기본 홈 디렉토리를 변경할 수 있습니다. 기본적으로 사용자의 방문 디렉토리는 홈 디렉토리입니다.

hdfs 파일 시스템에 대해 어떻게해야합니까? 예를 들어, 사용자 유형을 원한다면 : 유닉스 프롬프트에서 $ hadoop dfs -ls. 그것은 나에 의해 할당 된 홈 디렉토리의 내용을 나열해야한다.

또한 hdfs 디렉토리는 클러스터를 실행하는 수퍼 유저 (hadoop 수퍼 유저 및 유닉스 루트가 아님)가 만든 다음 소유권을 특정 사용자에게 전송합니다.

해결법

1. ==============================

   1.이 구성 할 수있는 무언가가 확실하지 않습니다 - DistributedFileSystem (줄 150) 원본 하드 코딩 된 것 getHomeDirectory에 대한 호출이 있습니다 :

   이 구성 할 수있는 무언가가 확실하지 않습니다 - DistributedFileSystem (줄 150) 원본 하드 코딩 된 것 getHomeDirectory에 대한 호출이 있습니다 :

   @Override
   public Path getHomeDirectory() {
     return makeQualified(new Path("/user/" + dfs.ugi.getShortUserName()));
   }
   

   당신이 이것을 바꿀 수 있기를 원하면 두 가지 선택이 가능합니다 :

2. ==============================

   2.tapan, 각 사용자는 / home / username에있는 HDFS에 "home"디렉토리를 가지고 있습니다. 예를 들어 hadoop fs -ls를 입력하면 현재 HDFS 사용자 디렉토리로 이동합니다. 나는 두 명의 사용자가 한 명씩 확인했다.

   tapan, 각 사용자는 / home / username에있는 HDFS에 "home"디렉토리를 가지고 있습니다. 예를 들어 hadoop fs -ls를 입력하면 현재 HDFS 사용자 디렉토리로 이동합니다. 나는 두 명의 사용자가 한 명씩 확인했다.

   유닉스 파일 (/ etc / passwd) 설정과 같은, 나는 몰랐다. 그러나, 그것은 정말로 흥미 롭습니다. 크리스가 말했듯이, 우리는 새로운 기능을 추가 할 수 있으며, 사용자 - admin-site.xml을 구성 파일과 같이 소개하고 그룹, 사용자가 디렉토리, 홈 디렉토리 등에 권한을 추가 할 수 있습니다. 정말 intertesting, 우리는 이것을 시도해보십시오 ...

from https://stackoverflow.com/questions/10069568/hdfs-home-directory by cc-by-sa and MIT license