[HADOOP] 쉘 스크립트에서 Hadoop 명령 실행

쉘 스크립트에서 Hadoop 명령 실행

로그 파일을 Hadoop 클러스터로 이동하는 데 사용하려는 간단한 셸 스크립트가 있습니다.

Java 프로그램에서 쉘 스크립트를 호출 할 때 스크립트가 "Hadoop Commands"를 찾을 수 없으며 조치를 취하지 않습니다.

예를 들어 다음 명령을 실행하고 싶습니다.

#!/bin/bash
hadoop fs -put /home/can/workspace2/myWebApp/tweets.txt /user/training/tweetFolder

간단한 방법으로이 문제를 어떻게 해결할 수 있습니까?

해결법

1. ==============================

   1.나는 그것이 PATH 문제라고 생각합니다. hadoop의 경로를 확인하십시오.

   나는 그것이 PATH 문제라고 생각합니다. hadoop의 경로를 확인하십시오.

   which hadoop
   

   그런 다음 스크립트의 전체 경로를 입력하십시오.

2. ==============================

   2.CDH, HDP 등과 같은 일부 실행 파일을 사용하여 Hadoop을 설치 한 경우 작동합니다. 그러나 아파치의 tarball을 통한 설정이라면 bin 디렉토리에는 모든 실행 파일이 포함되므로 bin /과 함께 전체 경로를 사용해야합니다.

   CDH, HDP 등과 같은 일부 실행 파일을 사용하여 Hadoop을 설치 한 경우 작동합니다. 그러나 아파치의 tarball을 통한 설정이라면 bin 디렉토리에는 모든 실행 파일이 포함되므로 bin /과 함께 전체 경로를 사용해야합니다.

   또한 항상 HADOOP_HOME 변수를 설정하는 것이 좋습니다.

from https://stackoverflow.com/questions/23715369/running-hadoop-commands-in-a-shell-script by cc-by-sa and MIT license