レイテンシ

要求した1処理に対して、どれくらいの時間をかけて返ってくるか？というクライアント視点の指標。

つまり、要求側にとっての性能指標。

一概にスループットとレイテンシの関係はこう！と言うのは難しい。

ただ、スループットというのは基本的にサーバー側の処理能力を表すものと覚えておくのがいい。

対して、レイテンシはクライアント側の性能指標と言える。

例えば、サーバー側のスループットが固定で、クライアントが増え続けると...

各クライアントのレイテンシは上がり続ける。

サーバーが処理できるデータ量は固定なので、クライアントの要求が増えれば増えるほど、各クライアントにレスポンスを返す時間は長くなる。

基本的に、サーバーの処理能力（スループット）を超える要求があると、それらの要求は「待ち」という状態に入る。