[HADOOP] 개발 환경을 위해 Hadoop없이 Spark를 사용할 수 있습니까?
HADOOP개발 환경을 위해 Hadoop없이 Spark를 사용할 수 있습니까?
Big Data와 관련 분야의 개념에 익숙하지 않아 실수 나 오타가 생겨서 미안합니다.
아파치 스파크를 이해하고 개발 / 테스트 환경에서 내 컴퓨터에만 사용하고 싶습니다. Hadoop에는 HDFS (Hadoop Distributed File System) 및 분산 시스템에만 중요한 다른 소프트웨어가 포함되어 있으므로이를 버릴 수 있습니까? 그렇다면 Hadoop이 필요없는 Spark 버전을 어디에서 다운로드 할 수 있습니까? 여기에서는 Hadoop 종속 버전 만 찾을 수 있습니다.
테스트 목적으로 컴퓨터에서 Hadoop 또는 Spark 용 분산 파일 시스템을 사용할 이유가 있습니까?
"아파치가 스파이웨어없이 실행할 수 있습니까?" Spark을 개발 환경에서 실행하고 싶기 때문에 내 질문과는 다른 질문입니다.
해결법
-
==============================
1.예, Hadoop없이 Spark를 설치할 수 있습니다. Spark 공식 문서 : http : //spark.apache.org/docs/latest/spark-standalone.html을 방문하십시오.
예, Hadoop없이 Spark를 설치할 수 있습니다. Spark 공식 문서 : http : //spark.apache.org/docs/latest/spark-standalone.html을 방문하십시오.
거친 단계 :
Spark (Hadoop없이) - Spark Download 페이지에서 Avaialble URL : https://www.apache.org/dyn/closer.lua/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz
이 URL이 작동하지 않으면 Spark 다운로드 페이지에서 다운로드하십시오.
from https://stackoverflow.com/questions/32533831/can-i-use-spark-without-hadoop-for-development-environment by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] Hadoop에 대한 공식 Docker 이미지가 있습니까? (0) | 2019.08.03 |
---|---|
[HADOOP] 돼지 대 COGROUP 대 가입 (0) | 2019.08.03 |
[HADOOP] 하이브는 듀얼과 비슷한 것을 가지고 있습니까? (0) | 2019.08.03 |
[HADOOP] hdfs - ls : 로컬 예외에 실패했습니다 : com.google.protobuf.InvalidProtocolBufferException : (0) | 2019.08.03 |
[HADOOP] HDFS에서 파일을 삭제하는 방법은 무엇입니까? (0) | 2019.08.03 |