Пересмотр и отладка тестов

После написания или автоматизации тест необходимо проверить на наличие дефек­ тов с целью их немедленного устранения, и затем испытать на некоторой сборке про­ граммного продукта. Статическое тестирование тестовых случаев можно проводить с применением той же технологии, которая используется для проверки выполнения технических требований, т.е. обследования, сквозного контроля или экспертных оценок (см. раздел " Методы статического тестирования" в главе 2). Эти методы могут применяться в различных сочетаниях, если сложность тестов такова, что необходи­ мо тщательное статическое тестирование. Например, экспертные оценки можно ис­ пользовать в методиках, а формальное обследование — в автоматизированных сцена­ риях, реализующих методики тестирования.

При проверке тестовых случаев необходимо обратить внимание на ряд следую­ щих моментов:

• В какой мере соответствует тест или тестовый набор функциональным воз­ можностям, заявленным в технических требованиях?

• Покрывает ли тестовый набор все технические требования?

• Организованы ли тесты достаточно эффективно, чтобы можно было обходить­ ся минимальными конфигурациями средств тестирования?

• Включены ли тесты в систему управления конфигурациями?

• Есть ли среди тестов избыточные? Можно ли устранить эту избыточность?

• Достаточно ли подробно разработана методика тестирования, чтобы стала воз­ можной ее автоматизация?

• Снабжен ли каждый шаг тестирования четко определенными ожидаемыми ре­ зультатами (критерий удачного/неудачного исхода испытаний)?

• Правильно ли воспроизводят автоматизированные тесты неавтоматизирован­ ные шаги тестирования?

Если вы провели статическое тестирование плана проведения испытаний, то пе­ ресмотр тестовых случаев пойдет намного проще, поскольку вопросы, касающиеся покрытий технических требований тестами, должны решаться во время пересмотра плана проведения испытаний. Вопросы, касающиеся избыточности тестов и эффек­ тивного использования конфигурации средств тестирования, также должны быть затронуты в процессе пересмотра плана проведения испытаний, во всяком случае, на уровне предварительных решений. Тщательные пересмотры планов проведения ис-

пытаний и тестовых случаев, равно как и статическое тестирование программного продукта, содействуют раннему обнаружению дефектов в тестах и позволяют сокра­ тить затраты времени на отладку тестовых случаев.

В рамках такого пересмотра каждый новый тест нужно прогнать на некоторой сборке программного продукта, дабы удостовериться, что методика тестирования позволяет получить ожидаемые результаты. Поскольку этот тест, по-видимому, будет прогоняться на программном коде, в изобилии содержащем дефекты, необходимо соблюдать определенную осторожность при анализе неудачных исходов прогона тес­ та в плане, что является источником проблемы — программный код или сам тест. От­ ладка тестового случая часто требует от исполнителей такого же инженерного искус­ ства и аналитических способностей, которые так необходимы разработчикам про­ граммного обеспечения во время отладки кода программного продукта.