Метрики DORA

DORA выделила четыре ключевые метрики, отличающие высокопроизводительные команды. QA напрямую влияет на все четыре.

1. Частота деплоев

Как часто команда деплоит в продакшен. Elite: несколько раз/день. Влияние QA: быстрые, надёжные тесты позволяют частые деплои.

2. Lead Time для изменений

Время от коммита до продакшена. Elite: менее часа. Влияние QA: время выполнения тестов — прямой компонент lead time.

3. Change Failure Rate

Процент деплоев, вызывающих сбой. Elite: 0-15%. Влияние QA: лучшее тестирование = меньше продакшен-сбоев. Самая прямая метрика QA.

4. Среднее время восстановления (MTTR)

Скорость восстановления после сбоя. Elite: менее часа. Влияние QA: процедуры отката, smoke-тесты и мониторинг.

Метрики качества, связанные с DORA

Метрики тестового набора

  • Процент прохождения > 99%, Время < 30 мин, Нестабильность < 2%, Покрытие > 80%

Метрики пайплайна

  • Процент успеха > 95%, Длительность < 30 мин, Успех откатов 100%

Метрики качества в продакшене

  • Просочившиеся дефекты < 1 на релиз, Время обнаружения < 5 мин

Дашборд QA-DevOps

Ряд 1: Частота деплоев, Lead time, Процент успеха пайплайна Ряд 2: Change failure rate, Просочившиеся дефекты, Тренд прохождения тестов Ряд 3: Время выполнения тестов, Нестабильность, MTTD Ряд 4: Тренд MTTR, Частота откатов, Количество инцидентов

Упражнение: Проанализируйте метрики команды

Текущие метрики: деплой 2 раза/неделю, lead time 3 дня, change failure rate 25%, MTTR 4 часа. Набор: 300 тестов, 45 мин, 8% нестабильность, 72% покрытие. Определите возможности улучшения.

Решение

Анализ

  • Частота: Высокий уровень. Хорошо.
  • Lead time: 3 дня — средний.
  • Change failure rate: 25% — высокий. Слишком много проблем в продакшене.
  • MTTR: 4 часа — хорошо.

План действий

Приоритет 1: Снизить нестабильность (8% → < 2%) Карантин 10 худших тестов. Срок: 4 недели.

Приоритет 2: Увеличить покрытие (72% → 85%) Тесты для топ-10 просочившихся дефектов. Срок: 8 недель.

Приоритет 3: Снизить lead time (3 дня → 1 день) Анализ влияния + шардирование на 4 runner-а. Срок: 6 недель.

Ожидаемые результаты

  • Change failure rate: 25% → 15%
  • Lead time: 3 дня → 1 день
  • Частота: 2 раза/неделю → ежедневно

Ключевые выводы

  1. Метрики DORA измеряют производительность доставки — QA влияет на все четыре
  2. Change failure rate — самая прямая метрика QA
  3. Время выполнения тестов влияет на lead time
  4. Нестабильные тесты подрывают весь пайплайн
  5. Измеряйте, ставьте цели, улучшайте