TPC
トランザクション処理性能評議会(Transaction processing Performance Council)のこと.
TPCは
現実に即していて
限界性能を測定できて
システムの費用対効果(コスパ)も測定できる
ベンチマークを策定し,結果を審査し,ランキングする活動を行っている.
ベンチマークの例としては,
TPC-H: 意思決定システムを模したワークロード.伝統的にOLAPのベンチマークに使われる TPC-E: 証券会社の取引システムを模したワークロード. OLTPだがより複雑なクエリが発行される などがある.
基本的には,特定のシステムやクエリ言語によらないベンチマーク仕様書のみを公開しているので,RDBMSでもNoSQLでも何でもベンチマーク可能. ただ,仕様書の要求する項目を全て満たすことが非常に難しいことで知られている.
TPC公認の審査員に物理環境に赴いてもらい,審査する必要があるとか?
諸々の条件をパスして審査を通すには,資金的にも時間的にも多くのコストがかかるとか.
しかも,審査をパスしても,結果は2年間しかActiveな記録とみなされない.
現時点(2018/07/10)で,Activeな記録は最もメジャーなTPC-Cでも2件しかない. 学術界では,TPCに相当するベンチマークを実装し,審査はせずに論文で公開するケースが多い.
アルゴリズムをGitHub等で公開することで,TPCの代わりにReviewerやReaderに審査してもらう形をとる.
OSS界隈では,MySQLやPostgreSQLに対するTPCベンチマーク実装がしばしば公開されているので,それを利用すればよい.