[HADOOP] Camus 마이그레이션 - Kafka HDFS Connect가 설정된 오프셋에서 시작하지 않습니다.

Camus 마이그레이션 - Kafka HDFS Connect가 설정된 오프셋에서 시작하지 않습니다.

현재 Camus를 대체하기 위해 Confluent HDFS Sink Connector (v4.0.0)를 사용하고 있습니다. 민감한 데이터를 처리하기 때문에 커넥터를 컷 오버하는 동안 오프셋에서 일관성을 유지해야합니다.

컷 오버 계획 :

합류하는 커넥터 동작에 대한 내 기대치가 맞습니까?

해결법

1. ==============================

   1.이 커넥터를 다시 시작하면 hdfs에 마지막으로 기록 된 파일에 포함 된 오프셋을 사용합니다. 소비자 그룹 오프셋을 사용하지 않습니다. 이것은 한 번 정확하게 hdfs에 전달하기 위해 미리 쓰기 로그를 사용하기 때문에 수행됩니다.

   이 커넥터를 다시 시작하면 hdfs에 마지막으로 기록 된 파일에 포함 된 오프셋을 사용합니다. 소비자 그룹 오프셋을 사용하지 않습니다. 이것은 한 번 정확하게 hdfs에 전달하기 위해 미리 쓰기 로그를 사용하기 때문에 수행됩니다.

from https://stackoverflow.com/questions/49837808/camus-migration-kafka-hdfs-connect-does-not-start-from-the-set-offset by cc-by-sa and MIT license