[HADOOP] Dataproc에서 마스터 복제 오류에 타키온

Dataproc에서 마스터 복제 오류에 타키온

나는 간단한 예 타키온, 스파크, 하둡이 설치되어 Dataproc에서 마스터 노드에서 실행해야합니다.

나는 스파크에서 타키온에 쓰기 복제 오류가 있습니다. 가 더 복제를 필요로하지 않는다 지정할 수있는 방법이 있습니까?

15/10/17 08:45:21 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/tachyon/workers/1445071000001/3/8 could only be replicated to 0 nodes instead of minReplication (=1).  There are 0 datanode(s) running and no node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1550)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNewBlockTargets(FSNamesystem.java:3110)

내가 인쇄 로그의 일부는 경고이지만, 스파크 오류가 바로 다음과 같습니다.

나는 타키온의 구성 문서를 확인하고,이 원인이 될 수있는 뭔가를 발견 :

tachyon.underfs.hdfs.impl   "org.apache.hadoop.hdfs.DistributedFileSystem"

하둡은 사전 설치 및 HDFS는 스파크 작업과 함께이, 모든 Dataproc에서 마스터 노드에 있음을 감안할 때, 나는 이것이 타키온 내에서 풀 수있는 문제라고 생각합니다.

해결법

1. ==============================

   1.당신은 수동으로 당신의 마스터에 설정 2의 Dataproc에서의 기본 이외의 값으로 /etc/hadoop/conf/hdfs-site.xml 내부 dfs.replication을 설정하여 기본 복제를 조정할 수해야 적어도 커버 드라이버 호출, 하둡 FS 통화 그리고 정확하게 당신이 또한 한 근로자가 작업 범위의 구성에서 자신의 파일 시스템 CONFIGS을 받고으로 모든 근로자에 ​​설정에 대해 걱정할 필요가 없습니다뿐만 아니라 그래서 대부분 호출 distcp 하둡에 전파 나타납니다.

   당신은 수동으로 당신의 마스터에 설정 2의 Dataproc에서의 기본 이외의 값으로 /etc/hadoop/conf/hdfs-site.xml 내부 dfs.replication을 설정하여 기본 복제를 조정할 수해야 적어도 커버 드라이버 호출, 하둡 FS 통화 그리고 정확하게 당신이 또한 한 근로자가 작업 범위의 구성에서 자신의 파일 시스템 CONFIGS을 받고으로 모든 근로자에 ​​설정에 대해 걱정할 필요가 없습니다뿐만 아니라 그래서 대부분 호출 distcp 하둡에 전파 나타납니다.

   하나의 복제가 이미 오히려 "메인 카피에 추가 한 복제"를 의미보다, 총 데이터의 단일 사본을 의미합니다. 따라서, 복제는 정말 1보다 최소 복제가 같은 HDFS-site.xml 파일에 dfs.namenode.replication.min로 제어되는 낮은 갈 수 없어; 당신은 BlockManager.java 여기 참조 볼 수 있습니다.

2. ==============================

   2.이것은 복제 문제가되고, 하나는 자연적으로 작업자 노드의 상태를 볼 것입니다.

   이것은 복제 문제가되고, 하나는 자연적으로 작업자 노드의 상태를 볼 것입니다.

   그들은 아래로 또 다른 이유가 있었다 밝혀졌습니다. 그 고정 후,이 오류가 사라졌다.

   내가 알고 싶은,하고 대답으로 받아 들일 것입니다 무엇 수동으로 복제 계수를 변경하는 방법입니다.

from https://stackoverflow.com/questions/33192125/tachyon-on-dataproc-master-replication-error by cc-by-sa and MIT license