どれくらい改善したか？は無益な問いのことがある。

施策Aを採用したことで指標Xがどれくらい改善したか？と問う時、暗黙に「指標Xの変化が観測できるタイムスパンの間、施策A以外変更しない」と仮定している。

Xの変化が観測できるまで4週間掛かるとして、1週目にAをやり、それを振り返って2週目には少し修正してA'にし、3週目にはさらに施策Bを追加した…のようなケースでは、どの施策が指標Xにどれだけの影響を与えたのかはわからない。

特にアジャイルのアプローチではやり方をどんどん変えるので、指標の改善率での評価は適していない。