[HADOOP] MiniDFSCluster와 단위 테스트 하둡 HDFS의 글

MiniDFSCluster와 단위 테스트 하둡 HDFS의 글

나는 HDFS를 하둡에 쓰는 클래스를 썼다. 나는 버전 1.2.1의 하둡 항아리를 사용하고 있습니다.

나는이 클래스를 테스트하고 싶습니다. 그래서 같은 내 코드를 작성이 하나의 블로그를 기반으로 :

private void createSimulatedHdfs() {
    conf = new Configuration();
    // 100K blocksize
    conf.setLong(DFSConfigKeys.DFS_BLOCK_SIZE_KEY, 1024 * 100);
    conf.setLong(DFSConfigKeys.DFS_BLOCK_SIZE_KEY, 100);
    conf.setInt(DFSConfigKeys.DFS_BYTES_PER_CHECKSUM_KEY, 1);
    conf.setLong(DFSConfigKeys.DFS_HEARTBEAT_INTERVAL_KEY, DFS_REPLICATION_INTERVAL);
    conf.setInt(DFSConfigKeys.DFS_NAMENODE_REPLICATION_INTERVAL_KEY, DFS_REPLICATION_INTERVAL);

    try {
        // simulated HDFS
        cluster = new MiniDFSCluster(conf, DATANODE_COUNT, true, null);
        cluster.waitActive();
        simulatedHdfs = cluster.getFileSystem();
    } catch (IOException e) {
        Assert.fail("Could not create simulated HDFS " + e.getMessage());
    }
    }

실행시 그러나 새로운 MiniDFSCluster는 예외로 실행 :

java.lang.AssertionError: Could not create simulated HDFS Cannot run program "du": CreateProcess error=2, The system cannot find the file specified
    at org.junit.Assert.fail(Assert.java:88)
    at com.taptica.hdfs.writer.HdfsWriterUTest.createSimulatedHdfs(HdfsWriterUTest.java:101)
    at com.taptica.hdfs.writer.HdfsWriterUTest.initJunitModeTest(HdfsWriterUTest.java:42)
    at com.taptica.hdfs.writer.HdfsWriterUTest.writeTest(HdfsWriterUTest.java:50)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
    at java.lang.reflect.Method.invoke(Unknown Source)
    at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:47)
    at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
    at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:44)
    at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
    at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:271)
    at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:70)
    at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:50)
    at org.junit.runners.ParentRunner$3.run(ParentRunner.java:238)
    at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:63)
    at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:236)
    at org.junit.runners.ParentRunner.access$000(ParentRunner.java:53)
    at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:229)
    at org.junit.runners.ParentRunner.run(ParentRunner.java:309)
    at org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:50)
    at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:467)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:683)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:390)
    at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:197)

나는 내 로컬 ENV에 하둡을 설치하지 않은 (그리고 나는 그렇게하지 않을). 어떻게이 일을 통해 얻을 수 있나요?

해결법

1. ==============================

   1.로컬 파일 시스템을 테스트 JUnit을 위해 하둡 설치 및 타사 유틸없이 사용할 수 있습니다 :

   로컬 파일 시스템을 테스트 JUnit을 위해 하둡 설치 및 타사 유틸없이 사용할 수 있습니다 :

           LocalFileSystem fs = FileSystem.getLocal(new Configuration());
   

   또한 MRunit에 살펴보고, MR 테스트를위한 helpfull 유틸리티 : http://mrunit.apache.org/

from https://stackoverflow.com/questions/19816565/unit-testing-hadoop-hdfs-writings-with-minidfscluster by cc-by-sa and MIT license