kafka-producer-perf-testを使う時に気を付けていること

シングルスレッドで動くため、throughputをあげていくにつれてProducer側のIOスレッドがボトルネックになってくる。そのため、大きめの負荷をかけたい場合は同時に複数コマンド起動させることでProducer側のパフォーマンスを改善することができる。

perf-testは指定したメッセージサイズをもとに生成した文字列を送信するが、送信される文字列は毎回同じとなる。そのため、圧縮が効きすぎて過度にスループットが向上しているように見える可能性がある。