[HADOOP] 스파크 클러스터 모드에서 제 플린 실행

스파크 클러스터 모드에서 제 플린 실행

이 튜토리얼의 스파크 클러스터를 덤퍼 컨테이너의 원사 모드로 사용하여 원사 모드의 스파크 클러스터에서 제플린을 시작합니다. 그러나 4 단계에서 붙어 있습니다. 추가 구성을 추가하려면 도커 컨테이너에서 conf / zeppelin-env.sh를 찾을 수 없습니다. 나는 zeppelin의이 conf 폴더를 넣으려고했지만 아직 성공했습니다. Zeppelin 노트북은 localhost : 9001에서도 실행되지 않습니다.

스파이더 클러스터에서 원사 모드에서 제플린을 시작하는 데 도움이된다면 아주 유용 할 것입니다.

다음은 스파이 클러스터와 제 플린 대화를 가능하게하는 도커 작성 파일입니다.

version: '2'
services:
sparkmaster:
  build: .
  container_name: sparkmaster
ports:
  - "8080:8080"
  - "7077:7077" 
  - "8888:8888"
  - "8081:8081"
  - "8082:8082"
  - "5050:5050"
  - "5051:5051"
  - "4040:4040"
zeppelin:
  image: dylanmei/zeppelin
  container_name: zeppelin-notebook
env_file:
  - ./hadoop.env
environment:
  ZEPPELIN_PORT: 9001
  CORE_CONF_fs_defaultFS: "hdfs://namenode:8020"
  HADOOP_CONF_DIR_fs_defaultFS: "hdfs://namenode:8020"
  SPARK_MASTER: "spark://spark-master:7077"
  MASTER: "yarn-client"
  SPARK_HOME: spark-master
  ZEPPELIN_JAVA_OPTS: >-
    -Dspark.driver.memory=1g
    -Dspark.executor.memory=2g
ports:
  - 9001:9001
volumes:
  - ./data:/usr/zeppelin/data
  - ./notebooks:/usr/zeppelin/notebook

해결법

1. ==============================

   1.이것은 독립 실행 형 스파크 클러스터를 시작하는 데 사용 된 dockerfile입니다.

   이것은 독립 실행 형 스파크 클러스터를 시작하는 데 사용 된 dockerfile입니다.

   그러나 컨테이너 안에는 Zeppelin 인스턴스가 없으므로 로컬 컴퓨터에서 Zeppelin을 사용해야합니다.

   다운로드하여 사용하십시오.

from https://stackoverflow.com/questions/46149472/running-zeppelin-on-spark-cluster-mode by cc-by-sa and MIT license