[HADOOP] 관리자로 실행 중일 때도 Windows 오류 5 (액세스가 거부 됨)에서 Spark 실행

관리자로 실행 중일 때도 Windows 오류 5 (액세스가 거부 됨)에서 Spark 실행

나는 스파크로 시작해서 내 문제가 어디에 있는지, 여기에서 도움이되는 힌트를 찾고있다. 윈도우 7 머신에서 관리자로 스파크 (pyspark)를 실행하려고하는데 작동하지 않는 것 같습니다 (여전히 WindowsError 5가 표시됨). 아래 이미지 참조 :

파일 (1.2.0은 Hadoop 2.4 또는 그 이후 버전을 위해 미리 빌드 된 상태로)을 다운로드하고 명령 줄을 통해 tar를 사용하여 압축을 풀었으며 bin \ pyspark를 호출하기 전에 IPYTHON = 1을 설정했습니다. 내가 호출하면 pyspark가 실행되지만 이미지 당 오류가 발생합니다.

특정 SparkContext 객체를 호출하려고하면 'sc'라는 이름이 정의되지 않습니다.

파이썬 2.7.8, 스파이더 IDE가 설치되어 있고 기업 네트워크 환경에 있습니다.

아무도 여기에서 무슨 일이 벌어 질지 모른다는 단서가 있습니까? 나는 왜 WindowsError를 얻는가와 같은 몇 가지 질문을 보았다 : [Error 5] Access is Denied? 단서를 찾을 수 없었습니다.

해결법

1. ==============================

   1.간단히:

   간단히:

   나는 똑같은 문제가 있어야했다. 필자에게 $ spark / bin 디렉토리의 * .cmd 파일은 실행 파일로 표시되지 않았습니다. 다음을 통해 확인하십시오.

   다른 사이트에서 해결 방법을 찾았습니다. hadoop-winutils-2.6.0.zip을 다운로드하는 것이 좋습니다 (링크가 없습니다.). 다음은 적절한 디렉토리로 이동 한 후 사용할 cmd의 예입니다.

   t:\hadoop-winutils-2.6.0\bin\winutils.exe chmod 777 *
   

   / tmp / hive를 쓰기 가능하게 만들기 위해 chmod 777 명령을 실행해야했습니다. 행운을 빕니다!

   (... 여기 새로운 - 가난한 형식에 대해 유감스럽게 생각합니다) (업데이트 : 형식 문제를 해결해 주신 Matt님께 감사드립니다.)

   근본 원인 : tar -zxf 를 통해 Windows에서 사용한 tar 프로그램이 적용되지 않았습니다. 추출 된 파일에 적절한 속성. 이 경우 '실행 파일' 제대로 설정되지 않았습니다. 그래, 아마 cygwin 내 버전을 업데이 트해야합니다.

from https://stackoverflow.com/questions/36168135/running-spark-on-windows-error-5-access-denied-even-when-running-as-admin by cc-by-sa and MIT license