복붙노트

[HADOOP] 개발 환경을 위해 Hadoop없이 Spark를 사용할 수 있습니까?

HADOOP

개발 환경을 위해 Hadoop없이 Spark를 사용할 수 있습니까?

Big Data와 관련 분야의 개념에 익숙하지 않아 실수 나 오타가 생겨서 미안합니다.

아파치 스파크를 이해하고 개발 / 테스트 환경에서 내 컴퓨터에만 사용하고 싶습니다. Hadoop에는 HDFS (Hadoop Distributed File System) 및 분산 시스템에만 중요한 다른 소프트웨어가 포함되어 있으므로이를 버릴 수 있습니까? 그렇다면 Hadoop이 필요없는 Spark 버전을 어디에서 다운로드 할 수 있습니까? 여기에서는 Hadoop 종속 버전 만 찾을 수 있습니다.

테스트 목적으로 컴퓨터에서 Hadoop 또는 Spark 용 분산 파일 시스템을 사용할 이유가 있습니까?

"아파치가 스파이웨어없이 실행할 수 있습니까?" Spark을 개발 환경에서 실행하고 싶기 때문에 내 질문과는 다른 질문입니다.

해결법

  1. ==============================

    1.예, Hadoop없이 Spark를 설치할 수 있습니다. Spark 공식 문서 : http : //spark.apache.org/docs/latest/spark-standalone.html을 방문하십시오.

    예, Hadoop없이 Spark를 설치할 수 있습니다. Spark 공식 문서 : http : //spark.apache.org/docs/latest/spark-standalone.html을 방문하십시오.

    거친 단계 :

    Spark (Hadoop없이) - Spark Download 페이지에서 Avaialble URL : https://www.apache.org/dyn/closer.lua/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz

    이 URL이 작동하지 않으면 Spark 다운로드 페이지에서 다운로드하십시오.

  2. from https://stackoverflow.com/questions/32533831/can-i-use-spark-without-hadoop-for-development-environment by cc-by-sa and MIT license