Оценка качества осуществляется на всех этапах жизненного цикла ПС при:
- планировании показателей качества ПС;
- контроле качества на отдельных этапах разработки (техническое задание, технический проект, рабочий проект);
- контроле качества в процессе производства ПС;
- проверке эффективности модификации ПС на этапе сопровождения.
Оценка качества ПС представляет собой совокупность операций, включающих выбор номенклатуры показателей качества оцениваемого ПС, определение значений этих показателей и сравнение их с базовыми значениями.
Оценку качества проводят специалисты организаций:
- разработчика - на этапах разработки ПС;
- фондодержателя - на этапах приемки ПС в фонд;
- испытательных центров и центров сертификации ПС - на этапах испытаний и внедрения;
- изготовителя - на этапах тиражирования ПС;
- пользователя - на этапах внедрения, сопровождения и эксплуатации ПС.
Основные задачи, решаемые при оценке качества ПС:
- планирование уровня качества;
- контроль значений показателей качества в процессе разработки и испытаний;
- эксплуатационный контроль заданного уровня качества;
- выбор базовых образцов по подклассам и группам;
- методическое руководство разработкой нормативно-технических документов по оценке качества.. Методы определения показателей качества ПС различаются:
- по способам получения информации о ПС - измерительный, регистрационный, органолептический, расчетный;
- по источникам получения информации - традиционный, экспертный, социологический.
Измерительный метод основан на получении информации о свойствах и характеристиках ПС с использованием инструментальных средств. Например, с использованием этого метода определяется объем ПС - число строк исходного текста программ и число строк - комментариев, число операторов и операндов, число исполненных операторов, число ветвей в программе, число точек входа (выхода), время выполнения ветви программы, время реакции и другие показатели.
Регистрационный метод основан на получении информации во время испытаний или функционирования ПС, когда регистрируются и подсчитываются определенные события, например, время и число сбоев и отказов, время передачи управления другим модулям, время начала и окончания работы.
Расчетный метод основан на использовании теоретических и эмпирических зависимостей (на ранних этапах разработки), статистических данных, накапливаемых при испытаниях, эксплуатации и сопровождении ПС. При помощи расчетного метода определяются длительность и точность вычислений, время реакции, необходимые ресурсы.
