[HADOOP] hadoop aws 버전 호환성

hadoop aws 버전 호환성

aws java sdk, hadoop, hadoop-aws 번들, 하이브, 스파크간에 어떤 버전의 버전이 호환되는지에 대한 참조가 있습니까?

예를 들어 Spark은 Hive 2.1.1 이상의 하이브 버전과 호환되지 않습니다.

해결법

1. ==============================

   1.hadoop-aws가 빌드 된 것으로부터 AWS SDK의 이후 버전을 삭제할 수없고 s3a 커넥터가 작동 할 것으로 기대할 수 없습니다. 이제까지. S3A 문제 해결 문서에이 내용이 매우 명확하게 적혀 있습니다.

   hadoop-aws가 빌드 된 것으로부터 AWS SDK의 이후 버전을 삭제할 수없고 s3a 커넥터가 작동 할 것으로 기대할 수 없습니다. 이제까지. S3A 문제 해결 문서에이 내용이 매우 명확하게 적혀 있습니다.

   문제가 발생하면 AWS SDK 버전을 변경해도 문제가 해결되지 않고 표시되는 스택 추적 만 변경됩니다.

   AWS 팀이 새 SDK를 출시하는 속도를 감안할 때 이는 실망 스러울 지 모르겠지만 (a) API가 종종 버전간에 호환되지 않는 방식으로 변경되며 (b) 결국 문제를 일으키는 버그를 이동시킵니다.

   다음은 AWS SDK의 업데이트를 위반 한 3.x 타임 라인입니다.

   AWS SDK JAR을 업그레이드 할 때마다 어딘가에서 문제가 발생합니다. 때로는 코드를 수정하고 다시 컴파일하십시오. 가장 일반적으로 : 거짓 경보 메시지, 종속성 문제, 쓰레딩 문제 등으로 가득 찬 로그입니다. 표면화 될 때까지 시간이 걸릴 수 있습니다.

   당신이 hadoop 릴리즈를 얻었을 때 무엇을 보았는가는 컴파일 된 aws-sdk JAR뿐만 아니라 릴리즈가 도입 한 것과 최소한으로 식별 된 어떤 문제에 대한 해결 방법과 수정을 포함하는 hadoop-aws JAR을 얻게됩니다 hadoop이 출시되기 전에 4 주 동안 테스트를 마쳤습니다.

   따라서로드 테스트를 포함하여 s3a 클라이언트 코드에 대한 완전한 엔드 투 엔드 재시험을 계획하지 않는 한 JAR을 변경해서는 안됩니다. 이를 위해 Hadoop 3.1 바이너리를 사용할 준비가되었으므로 hadoop 프로젝트는 항상 출시 전 코드에 대한 테스트를 더 많이 환영합니다. 하지만 JAR을 변경하여 직접 해보려고하십니까? 슬프게도 고통의 고립 된 운동.

from https://stackoverflow.com/questions/49500842/hadoop-aws-versions-compatibility by cc-by-sa and MIT license