[HADOOP] 설정시 네임 노드가 하둡에서 작동하지 않는 이유
HADOOP설정시 네임 노드가 하둡에서 작동하지 않는 이유
2 노드의 HBase 클러스터를 설정하고 싶습니다. 이를 위해 먼저 Hadoop 설정을 구성합니다. 잘 작동합니다. 네임 노드, 보조 네임 노드, 데이터 노드, Jobtracker, Tasktracker가 모두 작동하지만 Hbase를 구성 할 때 네임 노드가 멈 춥니 다. 지금은 작동하지 않습니다. 왜 이런 일이 발생하는지 말해 줄 수 있습니까?
내 질문
나는 많은 것을 시도했지만 왜 이런 일이 일어나는지 이해하지 못했습니다. 버전에 문제가 있다고 생각합니다. 튜토리얼에서 0.94.2 버전의 hbase를 사용하기 때문에이 모든 것을 배웠습니다.
나는 link1과 link2를 따랐다.
도와주세요. 친절한 답변을 찾고 있습니다.
몇가지 정보
OS = centOS 5.5
Java = java version "1.6.0_23"
Hadoop = 1.0.3
Hbase = hbase-0.94.6.1
마스터 및 슬레이브의 xml 구성 (hadoop)은 다음과 같습니다.
core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://hdmaster:54310</value>
</property>
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permission</name>
<value>false</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/HADOOP/hadoop/hdfs-data-name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/HADOOP/hadoop/hdfs-data</value>
</property>
mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>hdmaster:54311</value>
</property>
마스터 및 슬레이브에 대한 hbase의 xml 구성은 다음과 같습니다.
hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://hdmaster:54310/user/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hdmaster,hdslave</value>
</property>
<property>
<name>hbase.zookeeper.property.datadir</name>
<value>/HADOOP/hadoop/zookeeper</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>
</property>
편집 번호 1
다음 명령을 순차적으로 실행하면
./start-mapred.sh
./start-dfs.sh
./start-hbase.sh
그런 다음 ./start-hbase.sh는 출력을 따릅니다.
[hadoop@jhamb bin]$ ./start-hbase.sh
hdmaster: starting zookeeper, logging to /usr/local/hbase-0.94.6.1/bin/../logs/hbase-hadoop-zookeeper-jhamb.adobe.intern.out
hdslave: starting zookeeper, logging to /usr/local/hbase-0.94.6.1/bin/../logs/hbase-hadoop-zookeeper-hdslave.out
starting master, logging to /usr/local/hbase-0.94.6.1/bin/../logs/hbase-hadoop-master-jhamb.adobe.intern.out
hdmaster: regionserver running as process 9551. Stop it first.
hdslave: regionserver running as process 5850. Stop it first.
해결법
from https://stackoverflow.com/questions/16122010/why-namenode-is-not-working-in-hadoop-given-setup by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Hive를 사용하여 HDFS에서 파일 크기를 확인하는 방법 (0) | 2019.09.06 |
---|---|
[HADOOP] Amazon EMR에서 HDFS를 다시 시작하는 방법 (0) | 2019.09.06 |
[HADOOP] Fi-Ware Cosmos : 이름 노드가 안전 모드에 있습니다 (0) | 2019.09.06 |
[HADOOP] 파일에 열 수가 다른 경우 동일한 Hive 테이블에 데이터를로드하는 방법 (0) | 2019.09.06 |
[HADOOP] 하이브에서 각 그룹에 대해 샘플링하는 방법은 무엇입니까? (0) | 2019.09.06 |