[HADOOP] hadoop Map reduce를 사용하여 .pst를 처리 / 추출하는 방법

hadoop Map reduce를 사용하여 .pst를 처리 / 추출하는 방법

MAPI 도구 (Microsoft lib 및 .NET)를 사용하고 TIKA 라이브러리를 아파치 교환 서버에서 pst를 처리하고 추출하는 데 사용합니다.

MR 방법을 사용하여 pst를 처리 / 추출하는 방법 ... MR 작업에 사용할 수있는 도구, 라이브러리가 Java로 제공됩니까? 도움이 될 것입니다.

Jpst Lib은 내부적으로 다음을 사용합니다. PstFile pstFile = new PstFile (java.io.File)

그리고 문제는 Hadoop API의 경우 java.io.File에 가까운 것이 없습니다.

다음 옵션은 항상 있지만 효율적이지 않습니다.

  File tempFile = File.createTempFile("myfile", ".tmp");
  fs.moveToLocalFile(new Path (<HDFS pst path>) , new Path(tempFile.getAbsolutePath()) );
  PstFile pstFile = new PstFile(tempFile);

해결법

1. ==============================

   1.Behemoth (http://digitalpebble.blogspot.com/2011/05/processing-enron-dataset-using-behemoth.html)를 살펴보십시오. Tika와 Hadoop을 결합합니다.

   Behemoth (http://digitalpebble.blogspot.com/2011/05/processing-enron-dataset-using-behemoth.html)를 살펴보십시오. Tika와 Hadoop을 결합합니다.

   나는 또한 자체 Hadoop + Tika 작업으로 작성했습니다. 패턴은 다음과 같습니다.

   그 희망을 바랍니다.

2. ==============================

   2.매퍼에서 PST 파일을 처리 할 수 ​​없습니다. 긴 분석 및 디버그 후 API가 올바르게 노출되지 않았으며 해당 API는 추출 된 pst 컨텐츠를 저장하기 위해 로컬 파일 시스템이 필요하다는 것을 알았습니다. HDFS에 직접 저장할 수 없습니다. 병목. 그리고 모든 API (추출 및 처리하는 라이브러리)는 무료가 아닙니다.

   매퍼에서 PST 파일을 처리 할 수 ​​없습니다. 긴 분석 및 디버그 후 API가 올바르게 노출되지 않았으며 해당 API는 추출 된 pst 컨텐츠를 저장하기 위해 로컬 파일 시스템이 필요하다는 것을 알았습니다. HDFS에 직접 저장할 수 없습니다. 병목. 그리고 모든 API (추출 및 처리하는 라이브러리)는 무료가 아닙니다.

   우리가 할 수있는 일은 hdfs 외부에서 추출한 다음 MR 작업에서 처리 할 수 ​​있습니다.

from https://stackoverflow.com/questions/10415213/how-to-process-extract-pst-using-hadoop-map-reduce by cc-by-sa and MIT license