К основному контенту

Заметки на коленке - 3. Что еще делать, если ваши тесты уже "зеленые"?

"Lately I find I'm working on automated tests that return non-binary results. Tests that neither pass nor fail" by @noahsussman

Отличная мысль, которую я ретвитил еще в 2016. Но давайте вместе подумаем, что за этим может скрываться? (кстати, не знаю, что при этом думал Noah)

Ваши тесты прошли и прошли "успешно". Все хорошо или все же есть, куда еще посмотреть?

Дальше то, что использовал я лично и то, что еще можно прикрутить дополнительно. Естественно все шаги ниже должны быть автоматизированны.

1. Контролируйте время выполнения тестов. Если набор проверок не меняется (а такое часто бывает, к сожалению), то рост времени выполнения может говорить о проблемах в продакшен коде (чаще всего) или проблемах с окружением.

2. Контроль за количеством выполняемых тестов. "Все зеленое" не значит, что сегодня выполняли те же Х тестов, что и вчера. Смешно(нет), но случается такое, что какие-то проверки "исчезают" из запуска из-за того, что у кого-то "дрогнула рука" и про это узнают только после разбора прод бага.

3. Контроль за занимаемыми SUT (system under test) ресурсами во время выполнения тестов:
• оперативка = утечки
• место на диске = резкий рост размера БД, большие логи, "забытые" временные файлы
• другие технические метрики

4. Тесты запускаемые всегда в одном и том же порядке могут работать успешно только "благодаря" этому порядку. И не работать, если просто начать их запускать в условно произвольном порядке*. "Война тестов" помогает найти проблемы в продакшене.
*с учетом настроек SUT и окружения.

5. Если у вас в SUT есть, например, http-запросы между клиентом и сервером, то встройте между ними, например, OWASP Zed Attack Proxy. Получите возможность дополнительной секьюрити проверки вашего API (как в пассивном, так и активном режиме)

6. Тест который сегодня "зеленый", а вчера был "красный" и никто его вчера не чинил, скорее всего предвестник "веселой" регулярной активности "а давайте его перезапустим". Подробнее про flaky tests

7. Если ваши тесты "вечнозеленые", проверьте не видите ли вы результаты одного и того же запуска, а тесты на самом деле не запускаются 🤣

Ну и подумайте, а стоит ли их запускать вообще. А может просто запускать реже.

Какие еще пункты можно добавить?

А тесты прошли успешно...
Все заметки этой серии.

Комментарии

Популярные сообщения из этого блога

Mock vs Stub

Когда мы начали изучать модульное тестирование, то одними из первых терминов, с которыми пришлось познакомиться, стали Mock и Stub. Ниже попробуем порассуждать в чем их сходство и различие, как и для чего они применяются. Проверять работоспособность тестируемого объекта (system under test - SUT) можно двумя способами: оценивая состояние объекта или его поведение. В первом случае проверка правильности работы метода SUT заключается в оценке состояния самого SUT, а также взаимодействующих объектов, после вызова этого метода. Во-втором, мы проверяем набор и порядок действий (вызовов методов взаимодействующих объектов, других методов SUT), которое должен совершить метод SUT. Собственно, если коротко, то в одном случае используется Stub, а в другом Mock. Это объекты, которые создаются и используются взамен реальных объектов, с которым взаимодействует SUT в процессе своей работы. Теперь подробнее. Gerard Meszaros использует термин Test Double (дублер), как обозначение для объе

Полезные ресурсы для молодых (и не только) тестировщиков

сперто(с) Уже 3 месяца провожу собеседования тестировщиков (март 2016). Поначалу они просто  веселили - после 15-летнего опыта собеседования С++-разработчиков, общение с тестировщиками (чаще были "-цы") было чем-то экзотическим и забавным. Потом становилось все грустнее и грустнее, мимими закончилось. Началась печаль.