К основному контенту

Тест-сертификации команд разработчиков в Google

Краткое описание уровней Тест-сертификации команд разработчиков (из книги "Как тестируют в Google")

Уровень 1
  • Создать пакеты тестового покрытия.
  • Установить систему непрерывной сборки.
  • Ранжировать тесты на малые, средние и большие.
  • Определить недетерминированные тесты.
  • Создать набор смоук-тестов.

Уровень 2
  • Не выпускать, пока не пройдут все тесты.
  • Обязательно выполнять смоук-тесты до отправки кода.
  • Инкрементальное покрытие всеми тестами не меньше 50%.
  • Инкрементальное покрытие малыми тестами не меньше 10%.
  • Хотя бы одна фича покрыта интеграционным тестом.

Уровень 3
  • Создавать тесты для всех нетривиальных изменений
  • Общее покрытие малыми тестами не меньше 50%.
  • Важные новые фичи покрыты интеграционными тестами.

Уровень 4
  • Смоук-тесты запускаются автоматически перед отправкой нового кода.
  • Смоук-тесты проходят за время меньше 30 минут.
  • Нет недетерминированных тестов.
  • Общее тестовое покрытие не меньше 40%.
  • Тестовое покрытие только малыми тестами не меньше 25%.
  • Все важные фичи покрыты интеграционными тестами.

Уровень 5
  • Добавить тест к исправлению всех нетривиальных багов.
  • Активно использовать доступные средства анализа.
  • Общее тестовое покрытие не меньше 60%.
  • Тестовое покрытие только малыми тестами не меньше 40%.
Странно, что покрытие малыми тестами на уровне 4 уменьшается, а потом опять растет. У нас получается нечто среднее между 3, 4 и 5. На самом деле малых тестов у нас мало. А с остальным похоже все получше, что радует :)

Для чего эта система используется в Google, кроме своего рода мотивации команд к внедрению этих практик в работу (игрофикация)? Никаких премий за это не положено. Но когда на проект выделяются разработчики в тестировании и тестировщики (инженеры по тестированию) - более высокий уровень сертификации команды разработки дает шанс получить эти кадры быстрее и они будут более квалифицированны: приятней работать с правильной командой разработки и это ценится тестировщиками :)

Комментарии

Популярные сообщения из этого блога

Mock vs Stub

Когда мы начали изучать модульное тестирование, то одними из первых терминов, с которыми пришлось познакомиться, стали Mock и Stub. Ниже попробуем порассуждать в чем их сходство и различие, как и для чего они применяются. Проверять работоспособность тестируемого объекта (system uder test - SUT) можно двумя способами: оценивая состояние объекта или его поведение. В первом случае проверка правильности работы метода SUT заключается в оценке состояния самого SUT, а также взаимодействующих объектов, после вызова этого метода. Во-втором, мы проверяем набор и порядок действий (вызовов методов взаимодействующих объектов, других методов SUT), которое должен совершить метод SUT. Собственно, если коротко, то в одном случае используется Stub, а в другом Mock. Это объекты, которые создаются и используются взамен реальных объектов, с которым взаимодействует SUT в процессе своей работы. Теперь подробнее. Gerard Meszaros использует термин Test Double (дублер), как обозначение для объек

План "Б" или как прикольно провести субботний день

Всем привет. Вчера состоялась конференция " План Б ". Организаторами выступили ребята из Яндекса, за что им большое спасибо. Судя по приблизительным подсчетам в мероприятии участвовало около 200 человек. Основной темой конференции было планирование, планирование всего: проектов, разработки, тестирования, дизайнеров и даже организации музыкального фестиваля. Сначала думал написать отчет в обычном своем стиле: кто и что говорил, но почитав твиттер по #pbconf понял, что просто потеряю время :) Поэтому кому оооочень интересно узнать подробности следуйте за птичкой и вы все узнаете (тэг #pbconf попал в top-30 твиттера) Здесь приведу лишь те вещи, которые мне запали в мозг Роман Чернин о продуктовой разработке: "нет заказчика, нет требований, нет сроков -> как принимать решения? ответ: заводим себе Product Manager-а" Оля Павлова (@op): "бойтесь иллюзии точной формулировки" "заказчик - ребенок, выдаем ему игрушку как можно ча

Переключите тумблер или умные люди дурного не посоветуют

Навеяно интересными вопросами про TDD после  вчерашнего выступления . Uncle Bob : " Flipping the Bit " Подробнее постараюсь перевести чуть позже, пока только это: Как определить, что у коллеги (или у вас) ТУМБЛЕР переключен?  Если ваши ответы на вопросы ниже совпадают с приведенными - то все хорошо :) Мантра: Сможете ли вы выполнить работу быстрее используя TDD? ДА Существуют ли какие-либо задачи, которые вы можете выполнить быстрее без TDD? НЕТ Я понимаю, что TDD может помочь в долгом проекте, а что если у вас короткая задача? Будете использовать TDD? Да, потому что TDD быстрее даже в короткой перспективе Что если времени реально не хватает, и босс стоит над душой, будете ли вы использовать TDD? ДА В любом случае? ДА Есть ли случаи, когда вам не нужно использовать TDD? НЕТ Представьте себе что вы на звездном корабле Enterprise ( Star track ) и осталась всего секунда до взрыва антиматерии. Все что вам нужно, чтобы избежать этого, поменять один IF. Будете ли вы и