JDBC Source Connectorで特定のトピックにデータを連携する
#kafka #kafka-connect #2021-advent-calendar
JDBC Source Connectorを使って複数テーブルのデータを一つのトピックに連携したかったが、コネクターの設定に連携先のトピックを決め打ちで指定するパラメーターがなかった。
そのためワークアラウンド的にSMTを組み合わせて以下のように設定している。
code:config
"transforms.AddPrefix.type": "org.apache.kafka.connect.transforms.RegexRouter",
"transforms.AddPrefix.regex": ".*",
"transforms.AddPrefix.replacement": "singletopic"