[HADOOP] 새로운 사용자 SSH hadoop

새로운 사용자 SSH hadoop

단일 노드 클러스터에 hadoop을 설치하면 다음과 같은 이유가 생깁니다.

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

해결법

1. ==============================

   1.새로운 사용자를 위해 SSH 액세스가 필요한 이유는 무엇입니까?

   새로운 사용자를 위해 SSH 액세스가 필요한 이유는 무엇입니까?

   Hadoop 데몬을 실행중인 사용자와 통신하기를 원하기 때문입니다. ssh는 실제로 사용자 (한 컴퓨터)에서 다른 사용자 (다른 컴퓨터)에 이르기까지이며, 컴퓨터를 기계로 사용하는 것이 아닙니다.

   자체 사용자 계정에 연결할 수 있어야하는 이유는 무엇입니까?

   단 하나의 명령으로 모든 데몬을 시작하기를 원하기 때문입니다. 그렇지 않으면 각 데몬에 대한 명령을 실행하여 데몬을 개별적으로 시작해야합니다. 비록 당신이 단일 기계에 있어도 ssh가 필요합니다.

   새 사용자에게 암호를 덜 지정해야하는 이유는 무엇입니까?

   Hadoop 데몬을 시작할 때마다 암호를 입력하고 싶지 않기 때문입니다. 그것은 자극적 일 것입니다, 그렇죠?

   모든 노드가 같은 시스템에있을 때 왜 명시 적으로 통신하고 있습니까?

   명시 적으로 당신은 무엇을 의미합니까? ssh는 프로세스 간의 통신이 아니라는 것을 기억하십시오. 모든 통신은 TCP / IP를 통해 이루어집니다. ssh는 Hadoop 스크립트에서 필요하므로 각 시스템으로 가서 각 프로세스를 별도로 시작할 필요없이 한 시스템에서 모든 데몬을 시작할 수 있습니다.

   HTH

2. ==============================

   2.설치 암호없이 노드 나 로컬 시스템간에 ssh를 실행하는 것은 필수 사항이 아닙니다. Hadoop은 필요할 때 노드를 통한 데이터 전송을 위해 주로 http를 사용합니다.

   설치 암호없이 노드 나 로컬 시스템간에 ssh를 실행하는 것은 필수 사항이 아닙니다. Hadoop은 필요할 때 노드를 통한 데이터 전송을 위해 주로 http를 사용합니다.

   start-all.sh, start-dfs.sh 및 start-mapred.sh 스크립트 (기억할 수있는 한)를 사용하여 Hadoop 데몬을 시작하는 데 사용할 수 있도록 암호없는 ssh 액세스가 노드 사이에서 필요합니다 분산 클러스터 환경에서. 그렇지 않으면 모든 시스템에 들어가서 Hadoop 데몬을 시작 / 중지하는 것이 번거로울 수 있습니다.

   hadoop-daemons.sh 또는 hadoop-daemon.sh를 사용하여 hadoop 사용자와 동일한 작업을 수행 할 수도 있습니다.

   Cloudera Hadoop Distribution은 이러한 스크립트를 사용하지 않으며 Hadoop 데몬의 시작 / 중지를위한 init.d 스크립트를 제공합니다.

3. ==============================

   3.slaves.sh는 원격 노드를 시작하는 데 사용됩니다.

   slaves.sh는 원격 노드를 시작하는 데 사용됩니다.

   for slave in `cat "$HOSTLIST"|sed  "s/#.*$//;/^$/d"`; do
    ssh $HADOOP_SSH_OPTS $slave $"${@// /\\ }" \
      2>&1 | sed "s/^/$slave: /" &
    if [ "$HADOOP_SLAVE_SLEEP" != "" ]; then
      sleep $HADOOP_SLAVE_SLEEP
    fi
   done
   

   아시다시피 ssh에 대한 의존성이 있습니다. 새 사용자와 ssh 설정을 필요로하는 전체 튜토리얼을 할 수는 있지만 실제 튜토리얼처럼 실제 클러스터를 배치 / 시작 / 중지해야 할 때 좋은 시작을 제공하지는 못한다. (즉, 원격 노드). @ JteRocker는 Cloudera와 같은 배포판이 데몬을 시작 / 중지하기 위해 다른 스크립트를 사용하기 때문에 (그러나 나는 여전히 ssh에 의존한다고 생각한다) Hortonworks 'Windows의 Hadoop과 같은 배포판은 또 다른 메커니즘 (예 : PowerShell 및 WinRM 대신에 ssh).

4. ==============================

   4.이 명령 사용

   이 명령 사용

   $ Sudo addgroup hadoop 작동하지 않으면

   $ sudo adduser --ingroup hadoop hduser

from https://stackoverflow.com/questions/17805431/new-user-ssh-hadoop by cc-by-sa and MIT license