Kafka Producerの処理時間の内訳
#kafka #2021-advent-calendar
Producerの処理時間を読み解く際に、よく見ている処理時間の内訳
Request Queue Time
Producerから送信されたデータがRequest Hnadlerの処理スレッドにより処理されるまでRequest Queue内で待機していた時間
Local Time
Request Handlerの処理スレッドにより処理されていた時間
ページキャッシュへの書き込みなど
Remote Time
他ブローカーでの処理の完了を待機している時間 (purgatory内で待機していた時間)
acks=allの場合、ISRを満たすまで他ブローカーにレプリカが書き込まれるのを待機している時間がこれに相当する
Response Queue Time
ProducerへのレスポンスがNetwork Processorの処理スレッドにより返されるまでにResponse Queue内で待機していた時間
Send Time
Network Processorの処理スレッドによりProducerへレスポンスが返している時間
Network Processorの処理スレッドがResponse Queueからレスポンスを取得して、クライアント側のリモートソケットにデータを送信するまでの時間
Total Time
上記全ての時間の合計