Тест-сертификации команд разработчиков в Google

Краткое описание уровней Тест-сертификации команд разработчиков (из книги "Как тестируют в Google")

Уровень 1

• Создать пакеты тестового покрытия.
• Установить систему непрерывной сборки.
• Ранжировать тесты на малые, средние и большие.
• Определить недетерминированные тесты.
• Создать набор смоук-тестов.

Уровень 2

• Не выпускать, пока не пройдут все тесты.
• Обязательно выполнять смоук-тесты до отправки кода.
• Инкрементальное покрытие всеми тестами не меньше 50%.
• Инкрементальное покрытие малыми тестами не меньше 10%.
• Хотя бы одна фича покрыта интеграционным тестом.

Уровень 3

• Создавать тесты для всех нетривиальных изменений
• Общее покрытие малыми тестами не меньше 50%.
• Важные новые фичи покрыты интеграционными тестами.

Уровень 4

• Смоук-тесты запускаются автоматически перед отправкой нового кода.
• Смоук-тесты проходят за время меньше 30 минут.
• Нет недетерминированных тестов.
• Общее тестовое покрытие не меньше 40%.
• Тестовое покрытие только малыми тестами не меньше 25%.
• Все важные фичи покрыты интеграционными тестами.

Уровень 5

• Добавить тест к исправлению всех нетривиальных багов.
• Активно использовать доступные средства анализа.
• Общее тестовое покрытие не меньше 60%.
• Тестовое покрытие только малыми тестами не меньше 40%.

Странно, что покрытие малыми тестами на уровне 4 уменьшается, а потом опять растет. У нас получается нечто среднее между 3, 4 и 5. На самом деле малых тестов у нас мало. А с остальным похоже все получше, что радует :)

Для чего эта система используется в Google, кроме своего рода мотивации команд к внедрению этих практик в работу (игрофикация)? Никаких премий за это не положено. Но когда на проект выделяются разработчики в тестировании и тестировщики (инженеры по тестированию) - более высокий уровень сертификации команды разработки дает шанс получить эти кадры быстрее и они будут более квалифицированны: приятней работать с правильной командой разработки и это ценится тестировщиками :)