[HADOOP] 어떻게 HDFS 클라이언트를 사용하여 원격 데이터 노드에 연결?

어떻게 HDFS 클라이언트를 사용하여 원격 데이터 노드에 연결?

내 목표는 로컬 파일 시스템에 HDFS에서 다운로드 파일입니다. 나는 원격 HDFS의 네임 노드에 연결하는 클라이언트를 사용하고 있습니다.     하둡 FS -get HDFS : // sourceHDFS : 8020 / path_to_file / 파일 / path_to_save_file 그리고 나는 예외를 얻었다.

15/03/17 12:18:49 WARN client.ShortCircuitCache: ShortCircuitCache(0x11bbad83): failed to load 1073754800_BP-703742109-127.0.0.1-1398459391664
15/03/17 12:18:49 WARN hdfs.BlockReaderFactory: I/O error constructing remote block reader.
java.io.IOException: Got error for OP_READ_BLOCK, self=/127.0.0.1:57733, remote=bigdatalite.localdomain/127.0.0.1:50010, for file /user/hive/warehouse/b2_olap_hive.db/dim_deal_log/000000_0, for pool BP-703742109-127.0.0.1-1398459391664 block 1073754800_13977

상황에 대한 이해. HDFS 클라이언트는 네임 노드에 연결하지만 (네임 노드와 데이터 노드가 동일한 시스템에 위치하기 때문) 지역의 데이터 노드의 IP를 반환 네임 노드. 그리고 원격 클라이언트 127.0.0.1에 대한 데이터 노드의 잘못된 ADRESS입니다.

어떻게 데이터 노드를 해결하기 연결할 수 있습니까? 그리고 어쩌면 나의 이해는 잘못?

미리 감사드립니다

해결법

1. ==============================

   1.당신은 127.0.0.1에 바인딩 할 수 없습니다. 확인이 비 루프백 인터페이스 / etc / hosts 파일 포인트의 호스트 이름 항목. 당신의 데이터 노드 및 네임 노드를 반송.

   당신은 127.0.0.1에 바인딩 할 수 없습니다. 확인이 비 루프백 인터페이스 / etc / hosts 파일 포인트의 호스트 이름 항목. 당신의 데이터 노드 및 네임 노드를 반송.

from https://stackoverflow.com/questions/29107909/how-to-connect-to-remote-datanode-using-hdfs-client by cc-by-sa and MIT license