[HADOOP] Hadoop HDFS 최대 파일 크기

Hadoop HDFS 최대 파일 크기

내 동료는 HDFS에 최대 파일 크기가 없다고 생각합니다. 즉, 128 / 256MB 덩어리로 분할하면 모든 파일 크기를 저장할 수 있습니다 (분명히 HDFS 디스크의 크기는 제한되어 있지만 그 한계가 있습니다). 나는 한도가 있다고 말하는 것을 찾을 수 없으니 그녀가 맞습니까?

고마워, 짐

해결법

1. ==============================

   1.음, 분명히 실용적인 한계가 있습니다. 하지만 물리적으로 HDFS Block ID는 Java long입니다. 그래서 최대 2 ^ 63이고 블록 크기가 64MB라면 최대 크기는 512Yabyte입니다.

   음, 분명히 실용적인 한계가 있습니다. 하지만 물리적으로 HDFS Block ID는 Java long입니다. 그래서 최대 2 ^ 63이고 블록 크기가 64MB라면 최대 크기는 512Yabyte입니다.

2. ==============================

   2.나는 그녀가 HDFS에 최대 파일 크기가 없다고 말하는 것이 옳다고 생각합니다. 실제로 설정할 수있는 유일한 것은 청크 크기입니다. 기본적으로 64MB입니다. 나는 어떤 길이의 크기도 저장할 수 있다고 생각한다. 유일한 제한은 파일의 크기가 커질수록 더 큰 하드웨어를 수용 할 수 있다는 것이다.

   나는 그녀가 HDFS에 최대 파일 크기가 없다고 말하는 것이 옳다고 생각합니다. 실제로 설정할 수있는 유일한 것은 청크 크기입니다. 기본적으로 64MB입니다. 나는 어떤 길이의 크기도 저장할 수 있다고 생각한다. 유일한 제한은 파일의 크기가 커질수록 더 큰 하드웨어를 수용 할 수 있다는 것이다.

3. ==============================

   3.나는 Hadoop의 전문가는 아니지만 AFAIK, 전체 저장 용량 및 최대 네임 스페이스 크기와 같은 암시 적 요소가 있지만 단일 파일 크기에 대한 명시적인 제한은 없습니다. 또한 엔티티 수 및 디렉토리 크기에 대한 관리적인 따옴표가있을 수 있습니다. HDFS 용량 주제는이 문서에서 잘 설명됩니다. 인용문은 여기에서 설명하고 여기에서 설명합니다.

   나는 Hadoop의 전문가는 아니지만 AFAIK, 전체 저장 용량 및 최대 네임 스페이스 크기와 같은 암시 적 요소가 있지만 단일 파일 크기에 대한 명시적인 제한은 없습니다. 또한 엔티티 수 및 디렉토리 크기에 대한 관리적인 따옴표가있을 수 있습니다. HDFS 용량 주제는이 문서에서 잘 설명됩니다. 인용문은 여기에서 설명하고 여기에서 설명합니다.

   마지막 링크에서 언급 한 Michael G Noll의 블로그에 약간의주의를 기울일 것을 권하고 싶습니다. 여기에는 많은 가상 전용 주제가 포함되어 있습니다.

from https://stackoverflow.com/questions/5493873/hadoop-hdfs-maximum-file-size by cc-by-sa and MIT license