[HADOOP] Windows 10에서 스파크 마스터를 시작하지 못했습니다.
HADOOPWindows 10에서 스파크 마스터를 시작하지 못했습니다.
Spark를 처음 사용하고 수동으로 마스터를 시작하려고합니다 (Windows 10에서 MINGW64 사용).
내가 이렇게하면 ~ / Downloads / spark-1.5.1-bin-hadoop2.4 / spark-1.5.1-bin-hadoop2.4 / sbin $ ./start-master.sh
이 통나무를 찾았어요
ps: unknown option -- o
Try `ps --help' for more information.
starting org.apache.spark.deploy.master.Master, logging to /c/Users/Raunak/Downloads/spark-1.5.1-bin-hadoop2.4/spark-1.5.1-bin-hadoop2.4/sbin/../logs/spark--org.apache.spark.deploy.master.Master-1-RINKU-CISPL.out
ps: unknown option -- o
Try `ps --help' for more information.
**failed to launch org.apache.spark.deploy.master.Master:**
Spark Command: C:\Program Files\Java\jre1.8.0_77\bin\java -cp C:/Users/Raunak/Downloads/spark-1.5.1-bin-hadoop2.4/spark-1.5.1-bin-hadoop2.4/sbin/../conf\;C:/Users/Raunak/Downloads/spark-1.5.1-bin-hadoop2.4/spark-1.5.1-bin-hadoop2.4/lib/spark-assembly-1.5.1-hadoop2.4.0.jar;C:\Users\Raunak\Downloads\spark-1.5.1-bin-hadoop2.4\spark-1.5.1-bin-hadoop2.4\lib\datanucleus-api-jdo-3.2.6.jar;C:\Users\Raunak\Downloads\spark-1.5.1-bin-hadoop2.4\spark-1.5.1-bin-hadoop2.4\lib\datanucleus-core-3.2.10.jar;C:\Users\Raunak\Downloads\spark-1.5.1-bin-hadoop2.4\spark-1.5.1-bin-hadoop2.4\lib\datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g org.apache.spark.deploy.master.Master --ip RINKU-CISPL --port 7077 --webui-port 8080
내가 뭘 잘못하고 있니, Spark에서도 Hadoop 패키지를 구성해야합니까?
해결법
-
==============================
1.https://spark.apache.org/docs/1.2.0/spark-standalone.html에서 답변을 찾았습니다.
https://spark.apache.org/docs/1.2.0/spark-standalone.html에서 답변을 찾았습니다.
"참고 : 실행 스크립트는 현재 Windows를 지원하지 않습니다. Windows에서 Spark 클러스터를 실행하려면 마스터와 작업자를 직접 시작하십시오."
나는 창문이 Spark에게 좋은 선택이 아니라고 생각합니다.
from https://stackoverflow.com/questions/36526186/failed-to-start-master-for-spark-in-windows-10 by cc-by-sa and MIT license
'HADOOP' 카테고리의 다른 글
[HADOOP] HBase 단일 행 트랜잭션 지원에서의 행 잠금 (0) | 2019.09.09 |
---|---|
[HADOOP] Pig에서 여러 맵의 튜플을 다른 행으로 분할하는 방법 (0) | 2019.09.09 |
[HADOOP] 돼지를 사용하여 hdfs에서 트위터 데이터를로드하는 방법? (0) | 2019.09.09 |
[HADOOP] JAVA를 사용하여 HDFS에서 로컬 파일 시스템으로 파일 복사 (0) | 2019.09.09 |
[HADOOP] 하둡과 함께 wget을 사용 하시겠습니까? (0) | 2019.09.09 |