[HADOOP] 하둡 미니 클러스터 모의 (MiniDFSCluster)

하둡 미니 클러스터 모의 (MiniDFSCluster)

나는 하둡 - minicluster에 대한 여러분의 도움이 필요합니다

난 (SBT)와 스칼라 함께 일하고 있어요 나는 HDFS의 모의 통화를 시도합니다. 나는 거기에 약간의 클러스터 및 테스트를 배포하는 하둡 - minicluster 뿌리다.

그러나, 나는이 SBT 종속성을 추가 할 때 :

libraryDependencies + = "org.apache.hadoop"% "하둡 minicluster"% "3.1.0"% 테스트

소스는 추가되지 않습니다 나는 패키지를 가져올 수 없습니다 org.apache.hadoop.hdfs.MiniDFSCluster

내가 문제를 해결할 수있는 방법을 알고 계십니까?

당신의 답변에 감사드립니다

해결법

1. ==============================

   1.놀랍게도, 하둡 - minicluster에서이 아니다. 시험 libraryDependencies + = "org.apache.hadoop"% "하둡 HDFS"%의 HADOOP_VERSION 분류 "테스트"

   놀랍게도, 하둡 - minicluster에서이 아니다. 시험 libraryDependencies + = "org.apache.hadoop"% "하둡 HDFS"%의 HADOOP_VERSION 분류 "테스트"

   당신은 또한 다음과 같은 몇 가지 구성 요소를 제외 할 수 있습니다 "org.apache.hadoop"% "하둡 HDFS"%의 HADOOP_VERSION 분류 "테스트"( "서블릿 API"를 "에서 javax.servlet")를 제외

2. ==============================

   2.대답 해 주셔서 감사합니다.

   대답 해 주셔서 감사합니다.

   그래서 테스트 파일과, 내 SBT 파일에서이 줄을 사용 (DistributedFileSystem로 예를 들면) 소스 파일을 얻을 수 있습니다 :

   libraryDependencies + = "org.apache.hadoop"% "하둡 HDFS"% "3.1.0"% 시험 분류 "테스트" libraryDependencies + = "org.apache.hadoop"% "하둡 공통"% "3.1.0"% 시험 분류 "테스트"

   하둡 - 일반은 컴파일 할 필요했다.

   내 테스트를 실행할 때, 나는 다른 문제가 있습니다 :

   An exception or error caused a run to abort: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 
   

   에서 java.lang.UnsatisfiedLinkError : org.apache.hadoop.io.nativeio.NativeIO $ Windows.access0 (Ljava / 랭 / 문자열; I) Z

   나는 그것이 경로에 HADOOP_HOME에 관하여 것을 뿌리,하지만 난 그것을했지만 아무 반응이 없습니다 ..

from https://stackoverflow.com/questions/49895193/hadoop-mini-cluster-mock-minidfscluster by cc-by-sa and MIT license