テスト自動化の投資対効果をどう測るか

テスト自動化の効果を「自動化率」で測る組織は少なくありません。しかしこの指標だけを追うと、価値の低いテストを大量に自動化してしまうという本末転倒な事態が起こります。

私たちが推奨するのは、回帰テストにかかる時間の削減幅と、本番環境で検出された不具合の件数を組み合わせて見ることです。前者は効率、後者は有効性を表します。

また、自動テストの保守コストも無視できません。実装が不安定なテストは、かえって開発を遅らせます。定期的に不安定なテストを棚卸しし、修正または削除する運用が必要です。

自動化は目的ではなく手段です。何のために自動化するのかを定義し、それに対応する指標で効果を検証してください。