복붙노트

[HADOOP] hadoop hdfs 파일 시스템 이름 바꾸기

HADOOP

hadoop hdfs 파일 시스템 이름 바꾸기

나는 많은 데이터를 hdfs에 저장하고있다. 그리고 한 폴더에서 다른 폴더로 파일을 옮겨야합니다.

일반적으로 파일 시스템의 이름 바꾸기 방법의 비용은 얼마인지 물어볼 수 있습니까? 테라 바이트 단위의 데이터를 이동해야한다고 가정 해보십시오.

고맙습니다.

해결법

  1. ==============================

    1.HDFS 또는 파일 시스템을 올바르게 구현 한 경우 파일을 이동하면 이름 공간이 변경되고 실제 데이터는 이동하지 않습니다. 코드를 살펴보면 이름 노드의 이름 공간 (메모리 및 편집 로그)의 변경 만 수행됩니다.

    HDFS 또는 파일 시스템을 올바르게 구현 한 경우 파일을 이동하면 이름 공간이 변경되고 실제 데이터는 이동하지 않습니다. 코드를 살펴보면 이름 노드의 이름 공간 (메모리 및 편집 로그)의 변경 만 수행됩니다.

    NameNode.java 클래스에서

    첫 번째 부분 만 수정하면됩니다. 기계 목록을 차단할 필요는 없습니다. 나는 그것을 시험해 보지 않았지만 나는 그것이 괜찮을 것이라고 생각한다.

  2. ==============================

    2.Rename은 HDFS의 메타 데이터 전용 작업입니다. 그러므로 일반적인 POSIX 파일 시스템처럼 매우 싸다. 데이터가 이동되지 않습니다. 관련된 유일한 서버는 namenode입니다.

    Rename은 HDFS의 메타 데이터 전용 작업입니다. 그러므로 일반적인 POSIX 파일 시스템처럼 매우 싸다. 데이터가 이동되지 않습니다. 관련된 유일한 서버는 namenode입니다.

    이름 바꾸기의 소스 코드는 여기에서 찾을 수 있습니다. 꽤 직설적 인.

  3. from https://stackoverflow.com/questions/8935977/about-hadoop-hdfs-filesystem-rename by cc-by-sa and MIT license