[HADOOP] Macos Hadoop 3.1.1 - namenode를 시작하지 못했습니다. java.io.IOException : 행을 구문 분석 할 수 없습니다 : "파일 시스템 1024 블록 사용 가능 용량이 마운트 됨"
HADOOPMacos Hadoop 3.1.1 - namenode를 시작하지 못했습니다. java.io.IOException : 행을 구문 분석 할 수 없습니다 : "파일 시스템 1024 블록 사용 가능 용량이 마운트 됨"
Mac OS X에서 homebrew로 hadoop 3.1.1을 설치합니다.
core-site.xml config를 다음과 같이 수정하십시오.
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml을 다음과 같이 수정하십시오.
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/names</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/checkpoint</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/checkpoint</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/data</value>
</property>
</configuration>
startdfs 때 이름 노드를 시작할 수 없습니다. 로그에서 다음 예외를 볼 수 있습니다.
2018-09-26 09:49:47,576 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2018-09-26 09:49:47,583 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.io.IOException: Could not parse line: Filesystem 1024-blocks Used Available Capacity Mounted on
at org.apache.hadoop.fs.DF.parseOutput(DF.java:195)
at org.apache.hadoop.fs.DF.getFilesystem(DF.java:76)
at org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker$CheckedVolume.<init>(NameNodeResourceChecker.java:69)
at org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker.addDirToCheck(NameNodeResourceChecker.java:165)
at org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker.<init>(NameNodeResourceChecker.java:134)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startCommonServices(FSNamesystem.java:1155)
at org.apache.hadoop.hdfs.server.namenode.NameNode.startCommonServices(NameNode.java:788)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:714)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:937)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:910)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1643)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1710)
로그를 검색하여 유용한 정보를 찾을 수 없습니다.
해결법
-
==============================
1.Homebrew에서 3.1.1을 실행 중입니다. (Java 10도 사용하고 있지만 hadoop-env.sh에서 JAVA_HOME을 Java 8로 설정하는 것이 좋습니다)
Homebrew에서 3.1.1을 실행 중입니다. (Java 10도 사용하고 있지만 hadoop-env.sh에서 JAVA_HOME을 Java 8로 설정하는 것이 좋습니다)
만약 내가
그런 다음 괜찮아지기 시작하고 namenode 프로세스에 오류없이 로그 및 UI에 표시되며 nameenode와 datanode 모두 웹 UI로 이동할 수 있으며 시작 YARN과 같은 다른 Hadoop 작업을 수행 할 수 있습니다.
from https://stackoverflow.com/questions/52509542/macos-hadoop-3-1-1-failed-to-start-namenode-java-io-ioexception-could-not-pa by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] cumulocity의 java 클라이언트가 이벤트를 수신하는 방법은 무엇입니까? (0) | 2019.07.04 |
---|---|
[HADOOP] Hadoop 작업에 클래스가 없습니다. (0) | 2019.07.04 |
[HADOOP] HDFS에 프로그램을 설치해야합니까? (0) | 2019.07.04 |
[HADOOP] 작업은 Cloudera 5.1 하에서 LocalJobRunner에서 계속 실행됩니다. (0) | 2019.07.04 |
[HADOOP] Opencl 애플리케이션에 대해 hadoop MapReuce 프레임 워크를 사용하는 방법? (0) | 2019.07.03 |