Автоматизация тестирования - это пот, кровь и слезы

В рамках подготовки к одной из конференции сделал новый доклад. С конфой не срослось, но

доклад решил выложить.

Получилось больше осенне-депрессивно про проблемы, на которые мы наступали, когда автоматизировали тестирование vGate. Надеюсь кому-нибудь будет полезно.

Про вебы и прочие Selenuim-ы c Selenide-ами там ничего нет, ибо не наше это все. Но основные вопросы в виде "нафига автоматизация нужна" и тезис про то, что "написать тесты - это не самое сложное, сложнее с ними долго жить", никуда не деваются.

Для экономящих время: слайды тут (Slideshare), а лучше тут (gdrive)

Для совсем ленивых: "автоматизация тестирования - это не только ценный мех, но и 3-4 кг ...здеца". Работать придется много.

Для желающих видео

ЗЫ подумалось, что полезные ссылки из слайдов надо сюда затащить, а то не факт, что до конца кто-нибудь долистает

Автоматизация тестирования. С чего начинать, возможные проблемы

Как перестать бояться и начать автоматизировать (А. Лянгузов)

Сказка-быль о попытке оценить ROI автоматизации (Н.Макаров)

Серия статей о FitNesse+PowerSlim

Про Code Freeze от С.Мартыненко

~~ГОСТ Р 56939-2016~~ Актуальный ГОСТ Р 58412-2019 Защита информации. Разработка безопасного программного обеспечения. Общие требования

Mock vs Stub

Когда мы начали изучать модульное тестирование, то одними из первых терминов, с которыми пришлось познакомиться, стали Mock и Stub. Ниже попробуем порассуждать в чем их сходство и различие, как и для чего они применяются. Проверять работоспособность тестируемого объекта (system under test - SUT) можно двумя способами: оценивая состояние объекта или его поведение. В первом случае проверка правильности работы метода SUT заключается в оценке состояния самого SUT, а также взаимодействующих объектов, после вызова этого метода. Во-втором, мы проверяем набор и порядок действий (вызовов методов взаимодействующих объектов, других методов SUT), которое должен совершить метод SUT. Собственно, если коротко, то в одном случае используется Stub, а в другом Mock. Это объекты, которые создаются и используются взамен реальных объектов, с которым взаимодействует SUT в процессе своей работы. Теперь подробнее. Gerard Meszaros использует термин Test Double (дублер), как обозначение для объе

Продолжить »

Полезные ресурсы для молодых (и не только) тестировщиков

сперто(с) Уже 3 месяца провожу собеседования тестировщиков (март 2016). Поначалу они просто веселили - после 15-летнего опыта собеседования С++-разработчиков, общение с тестировщиками (чаще были "-цы") было чем-то экзотическим и забавным. Потом становилось все грустнее и грустнее, мимими закончилось. Началась печаль.

Продолжить »

Заметки на коленке - 3. Что еще делать, если ваши тесты уже "зеленые"?

"Lately I find I'm working on automated tests that return non-binary results. Tests that neither pass nor fail" by @noahsussman Отличная мысль, которую я ретвитил еще в 2016. Но давайте вместе подумаем, что за этим может скрываться? ( кстати, не знаю, что при этом думал Noah ) Ваши тесты прошли и прошли "успешно". Все хорошо или все же есть, куда еще посмотреть? Дальше то, что использовал я лично и то, что еще можно прикрутить дополнительно. Естественно все шаги ниже должны быть автоматизированны. 1. Контролируйте время выполнения тестов. Если набор проверок не меняется (а такое часто бывает, к сожалению), то рост времени выполнения может говорить о проблемах в продакшен коде (чаще всего) или проблемах с окружением. 2. Контроль за количеством выполняемых тестов. "Все зеленое" не значит, что сегодня выполняли те же Х тестов, что и вчера. Смешно(нет), но случается такое, что какие-то проверки "исчезают" из запуска из-за того, что у кого-то &qu

Продолжить »

Чудес не бывает или я ошибаюсь?

Поиск по этому блогу