Процесс тестирования ПО объединяет различные способы тестирования в определенную последовательность шагов, которые приводят к успешному построению программной системы. Методика тестирования ПО может быть представлена в виде разворачивающейся спирали [6.2].
В начале осуществляется тестирование элементов (программных модулей), проверяющее результаты кодирования ПО. Цель - индивидуальная проверка каждого модуля. Используются способы тестирования «белого ящика».
На втором шаге осуществляется тестирование интеграций, ориентированное на выявление ошибок этапа проектирования ПО. Цель - тестирование сборки модулей в систему. В основном применяют способы тестирования «черного ящика». Используются методы нисходящего и восходящего тестирования интеграций. Тесты проводятся для обнаружения ошибок интерфейса, таких, например, как:
- потеря данных при прохождении через интерфейс;
- отсутствие в модуле необходимой ссылки;
- неблагоприятное влияние одного модуля на другой;
- проблемы при работе с глобальными структурами данных и др.
Третий шаг - тестирование правильности, проверяющее корректность требований к программной системе. Цель - подтвердить, что функции, описанные в спецификации ПО, отвечают требованиям заказчика. Используются методы «черного ящика». Важным элементом подтверждения правильности является проверка конфигурации программной системы - совокупности всех элементов информации, вырабатываемых в процессе конструирования ПО. При этом используются варианты альфа- и бета-тестирования. Альфа-тестирование проводится заказчиком в организации разработчика. Бета-тестирование, которое длится в течение фиксированного срока (порядка года), проводится конечным пользователем в организации заказчика.
На заключительном витке спирали проводится системное тестирование, выявляющее дефекты этапа системного анализа ПО. Цель - проверка правильности взаимодействия всех элементов компьютерной системы, реализации всех системных функций. Используются следующие тесты:
- тестирование восстановления (проверяется время и полнота восстановления);
- тестирование безопасности (проверяется реакция всех защитных механизмов, встроенных в систему, на проникновение);
- стрессовое тестирование (проверяется работа системы при аномальных ситуациях, например, очень большом количестве запросов на ресурсы системы);
- тестирование производительности в системах реального времени.
Тестирование программного обеспечения в какой-то момент времени необходимо заканчивать. В [6.4] предлагается передавать крупномасштабный программный продукт пользователю на регулярную эксплуатацию, если специалисты по тестированию и все пользователи в совокупности выявляют не более одной ошибки или дефекта каждые два-три месяца использования ПО. Это соответствует высокой наработке на отказ ПО, равной порядка 5-10 тысяч часов, и коэффициенту готовности выше 0,99.
