[HADOOP] HDFS 대 LFS - Hadoop Dist. 파일 시스템은 로컬 파일 시스템에 구축됩니까?

HDFS 대 LFS - Hadoop Dist. 파일 시스템은 로컬 파일 시스템에 구축됩니까?

필자가 읽은 다양한 블로그에서 HDFS는 컴퓨터의 로컬 파일 시스템에 존재하는 또 다른 계층임을 이해했습니다.

또한 hadoop을 설치했지만 로컬 파일 시스템에 비해 hdfs 계층의 존재를 이해하는 데 어려움이 있습니다.

여기 내 질문이있다.

가상 배포 모드에서 hadoop을 설치하려고합니다. 이 설치 중에 어떤 일이 발생합니까? 구성 파일에 tmp.dir 매개 변수를 추가했습니다. Is는 datanode에 액세스하려고 시도 할 때 namenode 데몬이 말하는 단일 폴더입니까?

해결법

1. ==============================

   1.OK .. 시도 해보겠습니다. Hadoop을 구성 할 때 HDFS 인 로컬 FS의 맨 위에 가상 FS를 설치합니다. HDFS는 블록 FSFS와 유사하지만 복제 된 방식으로 데이터를 블록으로 저장합니다. 그러나 HDFS 디렉토리 트리 또는 파일 시스템 네임 스페이스는 로컬 FS의 것과 동일합니다. HDFS에 데이터 쓰기를 시작하면 결국 로컬 FS에만 기록되지만 직접 볼 수는 없습니다.

   OK .. 시도 해보겠습니다. Hadoop을 구성 할 때 HDFS 인 로컬 FS의 맨 위에 가상 FS를 설치합니다. HDFS는 블록 FSFS와 유사하지만 복제 된 방식으로 데이터를 블록으로 저장합니다. 그러나 HDFS 디렉토리 트리 또는 파일 시스템 네임 스페이스는 로컬 FS의 것과 동일합니다. HDFS에 데이터 쓰기를 시작하면 결국 로컬 FS에만 기록되지만 직접 볼 수는 없습니다.

   temp 디렉토리는 실제로 3 가지 목적을 수행합니다.

   1- namenode가 기본값 인 $ {hadoop.tmp.dir} / dfs / name으로 메타 데이터를 저장하고 dfs.name.dir에 의해 명시 적으로 지정 될 수있는 디렉토리. dfs.name.dir을 지정하면 namenode metedata는이 등록 정보의 값으로 제공된 디렉토리에 저장됩니다.

   2- HDFS 데이터 블록이 저장되는 디렉토리이며 기본값은 $ {hadoop.tmp.dir} / dfs / data이며 dfs.data.dir에 의해 명시 적으로 지정 될 수 있습니다. dfs.data.dir을 지정하면 HDFS 데이터는이 속성 값으로 지정된 디렉토리에 저장됩니다.

   3- 보조 namenode가 체크 포인트를 저장하는 디렉토리. 기본값은 $ {hadoop.tmp.dir} / dfs / namesecondary이며 fs.checkpoint.dir에 의해 명시 적으로 지정 될 수 있습니다.

   따라서 더 깨끗한 설정을 위해 이러한 속성의 값으로 적절한 전용 위치를 사용하는 것이 좋습니다.

   특정 데이터 블록에 대한 액세스가 필요한 경우 dfs.name.dir 디렉토리에 저장된 메타 데이터가 검색되고 특정 데이터 노드의 해당 블록 위치가 클라이언트에 반환됩니다 (dfs.data.dir 디렉토리의 로컬 FS). 그런 다음 클라이언트는 거기에서 직접 데이터를 읽습니다 (동일한 쓰기도 가능함).

   여기서 주목해야 할 중요한 점 중 하나는 HDFS가 물리적 FS가 아니라는 것입니다. 그것은 오히려 로컬 FS의 상단에있는 가상의 추상화이며 로컬 FS와 같이 간단하게 탐색 할 수 없습니다. HDFS 쉘 또는 HDFS webUI 또는 사용 가능한 API를 사용해야합니다.

   HTH

2. ==============================

   2.의사 배포 모드에서 hadoop을 설치하면 모든 HDFS 데몬 namdenode, datanode 및 secondary name 노드가 동일한 시스템에서 실행됩니다. 구성하는 temp 디렉토리는 데이터 노드가 데이터를 저장하는 곳입니다. 따라서 HDFS 관점에서 본다면 데이터는 여전히 블록에 저장되고 여러 파일 시스템 수준 블록에서 훨씬 더 큰 블록 (및 집계)으로 읽혀집니다.

   의사 배포 모드에서 hadoop을 설치하면 모든 HDFS 데몬 namdenode, datanode 및 secondary name 노드가 동일한 시스템에서 실행됩니다. 구성하는 temp 디렉토리는 데이터 노드가 데이터를 저장하는 곳입니다. 따라서 HDFS 관점에서 본다면 데이터는 여전히 블록에 저장되고 여러 파일 시스템 수준 블록에서 훨씬 더 큰 블록 (및 집계)으로 읽혀집니다.

from https://stackoverflow.com/questions/16811959/hdfs-vs-lfs-how-hadoop-dist-file-system-is-built-over-local-file-system by cc-by-sa and MIT license