Kafka ConnectでS3のデータを扱う

Kafka ConnectにはS3のデータを扱うためのコネクターがある

しかしSourceコネクターは現在S3 Sinkコネクターによって書き出されたファイルフォーマットのみをサポートしているため、既存のファイルや他アプリケーションから出力されたファイルを直接連携することができない。

S3だけでなくその他の主要なクラウドのオブジェクトストレージやAvroやXMLなどのファイル形式もサポートしている。

それ以外のやり方だと、AWS Transfer for SFTPを間にはさみKafka ConnectのSFTPコネクター経由でS3のファイルを取得するなどの方式も考えられるが、個人的にはだいたいのユースケースはFilePulse Source Connectorでカバーできている。