Tail Latency
大きなパーセンタイル(p99,p999とか)のレイテンシ
これを改善する仕組みとして
Hedged Requests
などの方法がある
ref
https://spring-mt.hatenablog.com/entry/2021/05/18/165241?utm_source=pocket_mylist
https://agnozingdays.hatenablog.com/entry/2019/04/25/210721
https://pdfs.semanticscholar.org/dede/f157ad3b5b4df21a6515b1b70ed8ad698422.pdf
The Tail at Scale
で言及されている
https://research.google/pubs/pub40801/