[HADOOP] DynamoDB InputFormat for Hadoop

DynamoDB InputFormat for Hadoop

Hadoop 맵 축소를 사용하여 Amazon Dynamo DB에서 유지되는 일부 데이터를 처리해야합니다.

Dynamo DB 용 Hadoop InputFormat을 인터넷을 통해 검색하고 찾을 수 없습니다. DynamoDB에 익숙하지 않아 DynamoDB 및 Hadoop과 관련된 트릭이 있다고 생각합니까? 이 입력 형식을 구현할 수있는 곳이 있다면 공유해주십시오.

해결법

1. ==============================

   1.많은 검색을 한 후에 Amazon의 라이브러리 중 하나에서 DynamoDBInputFormat 및 DynamoDBOutputFormat을 발견했습니다.

   많은 검색을 한 후에 Amazon의 라이브러리 중 하나에서 DynamoDBInputFormat 및 DynamoDBOutputFormat을 발견했습니다.

   amazon elastic map reduce에는 dynamoDB에 대한 입력 및 출력 형식을 포함하는 hive-bigbird-handler라는 라이브러리가 있습니다. 전체 클래스 이름은 org.apache.hadoop.hive.dynamodb.write.DynamoDBOutputFormat 및 org.apache.hadoop.hive.dynamodb.read.DynamoDBInputFormat입니다.

   이 수업이 지역 사회에 도움이되기를 바랍니다.

2. ==============================

   2.MapReduce에서 직접 사용할 수있는 InputFormat을 찾을 수 없습니다. 그러나 여기 AWS HowTo 기사 : DynamoDB (Guest Post)와 함께 Amazon Elastic MapReduce를 사용하여 Hive를 사용하여 MarReduce 작업을 실행합니다.

   MapReduce에서 직접 사용할 수있는 InputFormat을 찾을 수 없습니다. 그러나 여기 AWS HowTo 기사 : DynamoDB (Guest Post)와 함께 Amazon Elastic MapReduce를 사용하여 Hive를 사용하여 MarReduce 작업을 실행합니다.

from https://stackoverflow.com/questions/13020104/dynamodb-inputformat-for-hadoop by cc-by-sa and MIT license