テストに使えるアプリケーションモニタリングツールを探している

テストを効率化したい。シフトレフトを進めたいのと、人間のテスト実施を楽にしたい。

https://scrapbox.io/files/6253b1edd51317001fa61df9.png

やりたかったこと

クライアントからのAPIアクセスを識別

その呼び出しで発行するSQLやDB変更や外部サービスへの通信を把握

エラーがあれば検知できる

エラーがなくてもどんなことがサーバー内で起きているかすぐ分かる

調べたこと

メトリクス収集

Prometheus, django-prometheus

DataDog, dd-trace-py

APM

NewRelic

分散トレーシング:

OpenCensus (GCP), Stackdriver Trace

AWS X-Ray, aws-xxray-sdk

APIトレース

Sentry Performance (APM)

リクエストとレスポンスの自動記録と再現?

2006年頃、Zopeのテストツールにこういうことを実現する Zope3 DocTest Functional Testsというのがあった

quickcheckはちょっと違いそう

脆弱性を見つけるのに使われる