복붙노트

[HADOOP] mrunit의 후계자는 무엇입니까?

HADOOP

mrunit의 후계자는 무엇입니까?

오늘 나는 ASF가 mrunit을 퇴직 한 것을 알았습니다 (https://blogs.apache.org/foundation/entry/the_apache_news_round_up85 및 https://issues.apache.org/jira/browse/HADOOP-3733 및 홈페이지 자체 참조). "비활성"이외에는 이유가 주어지지 않았으므로 대안이 있어야한다고 생각하십니까?

미래에지도 테스트 작업을 단위 테스트하기 위해 mrunit 대신에 사용해야하는 것은 무엇입니까?

해결법

  1. ==============================

    1.이 은퇴 이유는 Mockito가 매퍼 / 리듀서 단위 테스트에 필요한 것을 이미 처리 할 수 ​​있다는 것을 깨닫는 것입니다. 컨텍스트, 카운터 및 HBase KeyValue를 모의 해보는 것만으로도 (Result 객체의 형태로) 행을 매퍼 (mapper)로 전달하고 방출 된 키 / 값이 올바른지 확인할 수 있습니다.

    이 은퇴 이유는 Mockito가 매퍼 / 리듀서 단위 테스트에 필요한 것을 이미 처리 할 수 ​​있다는 것을 깨닫는 것입니다. 컨텍스트, 카운터 및 HBase KeyValue를 모의 해보는 것만으로도 (Result 객체의 형태로) 행을 매퍼 (mapper)로 전달하고 방출 된 키 / 값이 올바른지 확인할 수 있습니다.

    FYI - MRUnit 및 PowerMock의 도움없이 실제로이 방법을 사용하여 MR 단위 테스트를 완벽하게 수행했습니다.

  2. ==============================

    2.정확히 후계자는 아니지만 약간의 연구를 통해 해결 방법을 시도하고 테스트했습니다. 그것은 실제로 hadoop의 Minicluster 모듈을 기반으로합니다.

    정확히 후계자는 아니지만 약간의 연구를 통해 해결 방법을 시도하고 테스트했습니다. 그것은 실제로 hadoop의 Minicluster 모듈을 기반으로합니다.

    그것을 사용하는 방법을 찾으려면 세부 정보는이 링크에서 찾을 수 있습니다. 그리고 github 데모 프로젝트가 여기에 있습니다.

  3. from https://stackoverflow.com/questions/37288176/whats-the-successor-of-mrunit by cc-by-sa and MIT license