どれくらい改善したか?は無益な問い
どれくらい改善したか?は無益な問いのことがある。
施策Aを採用したことで指標Xがどれくらい改善したか?と問う時、暗黙に「指標Xの変化が観測できるタイムスパンの間、施策A以外変更しない」と仮定している。
Xの変化が観測できるまで4週間掛かるとして、1週目にAをやり、それを振り返って2週目には少し修正してA'にし、3週目にはさらに施策Bを追加した…のようなケースでは、どの施策が指標Xにどれだけの影響を与えたのかはわからない。
特にアジャイルのアプローチではやり方をどんどん変えるので、指標の改善率での評価は適していない。