[HADOOP] Macos Hadoop 3.1.1 - namenode를 시작하지 못했습니다. java.io.IOException : 행을 구문 분석 할 수 없습니다 : "파일 시스템 1024 블록 사용 가능 용량이 마운트 됨"

Macos Hadoop 3.1.1 - namenode를 시작하지 못했습니다. java.io.IOException : 행을 구문 분석 할 수 없습니다 : "파일 시스템 1024 블록 사용 가능 용량이 마운트 됨"

Mac OS X에서 homebrew로 hadoop 3.1.1을 설치합니다.

core-site.xml config를 다음과 같이 수정하십시오.

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml을 다음과 같이 수정하십시오.

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>  
      <name>dfs.namenode.name.dir</name>  
      <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/names</value>  
  </property>
  <property>
    <name>fs.checkpoint.dir</name>
    <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/checkpoint</value>
  </property>
  <property>
    <name>fs.checkpoint.edits.dir</name>
    <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/checkpoint</value>
  </property>
  <property>  
      <name>dfs.datanode.data.dir</name>  
      <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/data</value>  
  </property>
</configuration>

startdfs 때 이름 노드를 시작할 수 없습니다. 로그에서 다음 예외를 볼 수 있습니다.

2018-09-26 09:49:47,576 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2018-09-26 09:49:47,583 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.io.IOException: Could not parse line: Filesystem   1024-blocks     Used Available Capacity  Mounted on
    at org.apache.hadoop.fs.DF.parseOutput(DF.java:195)
    at org.apache.hadoop.fs.DF.getFilesystem(DF.java:76)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker$CheckedVolume.<init>(NameNodeResourceChecker.java:69)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker.addDirToCheck(NameNodeResourceChecker.java:165)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker.<init>(NameNodeResourceChecker.java:134)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startCommonServices(FSNamesystem.java:1155)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.startCommonServices(NameNode.java:788)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:714)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:937)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:910)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1643)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1710)

로그를 검색하여 유용한 정보를 찾을 수 없습니다.

해결법

1. ==============================

   1.Homebrew에서 3.1.1을 실행 중입니다. (Java 10도 사용하고 있지만 hadoop-env.sh에서 JAVA_HOME을 Java 8로 설정하는 것이 좋습니다)

   Homebrew에서 3.1.1을 실행 중입니다. (Java 10도 사용하고 있지만 hadoop-env.sh에서 JAVA_HOME을 Java 8로 설정하는 것이 좋습니다)

   만약 내가

   그런 다음 괜찮아지기 시작하고 namenode 프로세스에 오류없이 로그 및 UI에 표시되며 nameenode와 datanode 모두 웹 UI로 이동할 수 있으며 시작 YARN과 같은 다른 Hadoop 작업을 수행 할 수 있습니다.

from https://stackoverflow.com/questions/52509542/macos-hadoop-3-1-1-failed-to-start-namenode-java-io-ioexception-could-not-pa by cc-by-sa and MIT license