[HADOOP] spark-shell 오류 : 스키마에 대한 FileSystem이 없습니다. wasb

spark-shell 오류 : 스키마에 대한 FileSystem이 없습니다. wasb

우리는 Azure에서 HDInsight 클러스터를 실행하지만 클러스터 생성시 에지 / 게이트웨이 노드를 회전시킬 수는 없습니다. 그래서 설치하여이 edge / gateway 노드를 만들었습니다.

echo 'deb http://private-repo-1.hortonworks.com/HDP/ubuntu14/2.x/updates/2.4.2.0 HDP main' >> /etc/apt/sources.list.d/HDP.list
echo 'deb http://private-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/ubuntu14 HDP-UTILS main'  >> /etc/apt/sources.list.d/HDP.list
echo 'deb [arch=amd64] https://apt-mo.trafficmanager.net/repos/azurecore/ trusty main' >> /etc/apt/sources.list.d/azure-public-trusty.list
gpg --keyserver pgp.mit.edu --recv-keys B9733A7A07513CAD
gpg -a --export 07513CAD | apt-key add -
gpg --keyserver pgp.mit.edu --recv-keys B02C46DF417A0893
gpg -a --export 417A0893 | apt-key add -
apt-get -y install openjdk-7-jdk
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
apt-get -y install hadoop hadoop-hdfs hadoop-yarn hadoop-mapreduce hadoop-client openssl libhdfs0 liblzo2-2 liblzo2-dev hadoop-lzo phoenix hive hive-hcatalog tez mysql-connector-java* oozie oozie-client sqoop flume flume-agent spark spark-python spark-worker spark-yarn-shuffle

그런 다음 /usr/lib/python2.7/dist-packages/hdinsight_common/ / usr / share / java / usr / lib / hdinsight-datalake / etc / spark / conf / / etc / hadoop / conf /

하지만 불꽃 놀이를 할 때 다음과 같은 오류가 발생합니다.

java.io.IOException: No FileSystem for scheme: wasb

전체 스택은 https://gist.github.com/anonymous/ebb6c9d71865c9c8e125aadbbdd6a5bc입니다.

여기에 어떤 패키지 / 항아리가 없는지 잘 모르겠습니다.

누구든지 내가 뭘 잘못하고 있는지 전혀 모른다.

감사

해결법

1. ==============================

   1.Azure Storage (wasb 및 wasbs 파일)를 스파크 셸에 설정하는 또 다른 방법은 다음과 같습니다.

   Azure Storage (wasb 및 wasbs 파일)를 스파크 셸에 설정하는 또 다른 방법은 다음과 같습니다.

   이 설정을 사용하면 현재 Spark Context의 'hadoopConfiguration'에 매개 변수를 전달하여 Spark 응용 프로그램을 쉽게 설정할 수 있습니다

2. ==============================

   2.Microsoft의 Hai Ning은 apache hadoop 설치시 wasb 설정에 대한 훌륭한 블로그 게시물을 작성했습니다.

   Microsoft의 Hai Ning은 apache hadoop 설치시 wasb 설정에 대한 훌륭한 블로그 게시물을 작성했습니다.

   요약은 다음과 같습니다.

   정확한 단계는 다음을 참조하십시오. https://github.com/hning86/articles/blob/master/hadoopAndWasb.md

from https://stackoverflow.com/questions/38254771/spark-shell-error-no-filesystem-for-scheme-wasb by cc-by-sa and MIT license