QAとE2Eテスト
デビッド・ハイネマイヤー・ハンソン氏は、Railsでのシステムテストに対する見解を述べています。
主なポイントは以下の通りです。
システムテストは理論上は有用だが、実際には遅く、もろく、誤検知が多い
ブラウザの複雑さ、JavaScriptによるUIのタイミングの問題、失敗原因の特定が難しいことなどが原因
システムテストにかける労力に見合った見返りがない
全てのシステムテストを捨てるのではなく、全体の動作確認用に少数は残すべき
ビジネスロジックはモデルとコントローラのテストで十分
UIロジック(JavaScript)のテストには自動化はまだ不十分で、手動テストが最良
HEYではシステムテストを大幅に減らす方針
要するに、システムテストは理想通りには機能せず、コストに見合った効果がないため、必要最小限に留めるべきだと主張しています。そして自動化の限界を認識し、手動テストの重要性を強調しています。ソフトウェアテストにおける興味深い考察だと言えるでしょう。