Номенклатура показателей качества 8 страница

Цель и функции ПС реализуются тогда, когда выходная информация достигает потребителей – объектов или операторов-пользователей – с требуемым содержанием и качеством, достаточным для обеспечения эффективного применения и функциональной пригодности. Содержательная часть этой информации определяется конкретными задачами информационной системы и отражается метриками в использовании. Степень покрытия целей, назначения и функций ПС выходной информацией для пользователей следует рассматривать как основную меру качества функциональной пригодности. Прослеживание и оценивание адекватности и полноты состава выходной информации снизу вверх к назначению ПС должны завершать выбор базовых субхарактеристик качества функциональной пригодности независимо от сферы применения информационной системы (табл.4.1).

При определении группы функциональных требований следует выбирать и возможно четко формулировать в ТЗ:

· экономические, организационные, технические и/или социальные стратегические цели всего ЖЦ ПС и его компонентов;

· назначение, внешнюю среду и условия эффективного применения ПС;

· необходимую системную эффективность и требуемые технико–экономические показатели применения ПС в составе информационной системы;

· функциональные задачи основных компонентов и ПС в целом и системную эффективность каждого;

· необходимое и достаточное качество и временной регламент решения каждой функциональной задачи;

· соответствие ПС и его компонентов стандартам и НД на проектирование и применение;

· ограничения параметров внешней среды и условий для применения ПС, гарантирующие требуемые характеристики функциональной пригодности.

Функциональная пригодность в течение ЖЦ ПС зависит от группы его структурных (архитектурных) характеристик, выбор и формулировка требований к которым должны содержаться в ТЗ и/или спецификациях на компоненты и ПС в целом:

· соответствие функций и структуры ПС аппаратной и операционной среде и их ограниченным ресурсам;

· правила структурного построения комплекса, функциональных компонентов и модулей, требования к архитектуре ПС и его компонентов, а также уровню покрытия ими заданных функций комплекса программ;

· состав, структура и способы организации данных, а также требования к обмену данными между компонентами ПС и с внешней средой, к адекватности структуры базы данных и организации информационного обеспечения функций ПС;

· правила организации интерфейсов с операционной и внешней средой, а также качество и унифицированность пользовательского и межмодульного интерфейса;

· требования к контролю, хранению, обновлению и восстановлению программ и данных;

· требования к составу и содержанию технологической документации.

В составе требований к функциональной пригодности целесообразно выделять специальный раздел требований к эксплуатационным характеристикам:

· требования к организационному обеспечению и реализации процессов эксплуатации ПС;

· функции оперативного и административного персонала для полноценной эксплуатации ПС;

· необходимая квалификация и число специалистов для эффективного применения ПС;

· требования к технологии и методам контроля функционирования, технического обслуживания, диагностики состояния ПС и обеспечению его работоспособности;

· требования к эксплуатационной документации, автоматизированным, электронным учебным курсам и тренажерам.

4.2.2. Корректность и надежность

В наибольшей степени функциональная пригодность во многих случаях зависит от корректности и надежности ПС. При создании ориентиров для выбора мер и шкал характеристик качества значительные трудности проявляются при анализе корректности, способности к взаимодействию и защищенности ПС. Эти субхарактеристики трудно свести к количественным мерам. Их приходится оценивать по наличию свойств и ряда типовых методов в ПС или по величине необходимых затрат, достаточно заметно повышающих функциональную пригодность.

Правильность – корректность – это способность ПС обеспечивать правильные или приемлемые результаты и внешние эффекты для пользователей. Эталонами для выбора требований корректности могут быть: верифицированные и взаимоувязанные требования к функциям комплекса, компонентов и модулей программ, а также правила структурного построения модулей, компонентов и комплекса программ, организация их взаимодействия и интерфейсов (табл.4.1). Эти требования должны быть прослежены сверху вниз до модулей и использоваться как эталоны при установлении необходимой корректности соответствующих компонентов.

В процессе проектирования модулей и групп программ применяются частные структурные критерии корректности, которые включают корректность структуры программ, обработки данных и межмодульных интерфейсов. Каждый из частных критериев может характеризоваться несколькими методами измерения качества и достигаемой степенью корректности программ: детерминировано, стохастически или в реальном времени.

Выбор требуемого уровня корректности ПС состоит в установлении степени покрытия тестами совокупности маршрутов исполнения модулей и всего комплекса программ в процессе верификации и тестирования. Для определения этой величины при разработке ПС необходима организация регулярной регистрации и накопления имен и содержания маршрутов, прошедших тестирование, а также контроль доли нетестированных от всей совокупности маршрутов.

Мерой выбранной корректности может быть относительное число протестированных маршрутов, которое измеряется в процентах от общего числа исполняемых маршрутов программы. Опыт показывает, что зачастую в готовом сложном ПС оказываются протестированными только 50–70% маршрутов и практически очень трудно эту величину довести до 90–95%.

4.2.3. Способность к взаимодействию

Способность к взаимодействию – состоит в свойстве ПС и его компонентов взаимодействовать с одной или большим числом определенных компонентов внутренней и внешней среды (табл.4.1). При выборе и установлении способности программных и информационных компонентов к взаимодействию ее можно оценивать объемом технологических изменений в ПС, которые необходимо выполнить при дополнении или исключении некоторой функции или компонента, когда отсутствуют изменения операционной, аппаратной или пользовательской среды. С этим показателем связана корректность и унифицированность межмодульных интерфейсов, которые определяются двумя видами связей: по управлению и по информации.

Связи по управлению составляют вызовы программных модулей и возвраты в вызывающие модули. Взаимодействие модулей по информации может происходить через обменные переменные, непосредственно подготавливаемые и используемые соседними модулями, или через глобальные переменные между более крупными компонентами.

Многообразие и сложность информационных связей в крупных ПС значительно затрудняют формализацию и выбор требуемого уровня способности к взаимодействию программ.

Способность к взаимодействию компонентов ПС между собой и с внешней средой определяется степенью унификации их интерфейсов и соответствием стандартам. Эта характеристика носит описательный характер и практически не влияет на качество функционирования текущей версии ПС. Ее свойства в основном проявляются при развитии и модификации комплекса программ.

Степень унификации интерфейсов может измеряться их относительным числом (например, в процентах от объема программ), которые подвергаются изменениям при любых корректировках программ. Однако практически такие измерения трудно осуществить. Мера этой характеристики ограничивается качественным описанием свойств, категоризацией и стандартизацией применяемых интерфейсов. На функциональную пригодность способность к взаимодействию влияет в тех случаях, когда ПС должно подвергаться регулярным адаптациям или модификациям силами пользователей при изменении внешней среды.

4.2.4. Защищенность

Защищенность – одна из наиболее трудно формализуемых характеристик качества крупномасштабных ПС, которая занимает исключительное по важности место среди всех характеристик ПС. Цели, назначение и функции защиты тесно связаны с особенностями функциональной пригодности каждого комплекса программ. Поэтому широта проблемы, разнообразие средств и способов ее решения соизмеримы со спектром характеристик функциональной пригодности различных программ. Это определяет сложность унификации ее атрибутов для выбора и декларирования свойств защиты.

В стандарте ISO 9126:2 метрики защищенности ограничены всего тремя общими атрибутами:

· сложностью доступа лиц к программам и данным;

· глубиной контроля процессов доступа;

· защищенностью от хищений данных, т.е. потенциальной частотой преодоления системы защиты.

Подробно стандарты и методы защиты информации будут изучаться в дисциплинах «Программные методы защиты информации», «Защита информационных ресурсов компьютерных систем и сетей».

На практике свойство ПС защищать программы и информацию базы данных от негативных воздействий описываются составом и номенклатурой методов и средств, используемых в ПС для защиты от внешних и внутренних угроз. Однако есть попытки измерять и описывать качество защищенности ПС обобщенно – трудоемкостью и длительностью, необходимыми для преодоления злоумышленниками системы защиты.

Такое оценивание качества защиты требует изучения исходных численных характеристик затрат труда и времени, необходимых для преодоления каждого из средств и их взаимодействия в комплексе системы защиты. Получить такие данные для сложных и надежных систем защиты ПС весьма трудно. Поэтому во многих случаях защищенность ограничивается качественным описанием свойств защиты отдельных количественных показателей без обобщения и оценивания интегральных значений ее эффективности. Косвенным показателем ее качества может служить относительная доля вычислительных ресурсов, используемых непосредственно программными средствами защиты.

В используемых критериях защиты и обеспечения безопасности для конкретных ПС сосредоточиваются разнообразные характеристики, которые в ряде случаев трудно или невозможно описать количественно, а при выборе приходится оценивать экспертно или по бальной системе (табл.4.1). Основное внимание в практике обеспечения безопасности применения информационных систем сосредоточено на защите от злоумышленных разрушений, искажений и хищений ПС и информации баз данных. Основой такой защиты является аудит санкционирования доступа, а также контроль организации и эффективности ограничений доступа.

Для обеспечения системной эффективности и функциональной пригодности защиту ПС целесообразно базировать на следующих общих принципах:

· стоимость создания и эксплуатации системы защиты при применении ПС должна быть меньше, чем размеры наиболее вероятного или возможного ущерба от любых потенциальных угроз;

· защита программ и данных должна быть комплексной и многоуровневой, ориентированной на все виды угроз с учетом их возможной опасности;

· система защиты должна иметь целевые индивидуальные компоненты, предназначенные для обеспечения безопасности функционирования каждого отдельно взятого объекта и функциональной задачи с учетом их влияния на безопасность системы в целом;

· система защиты не должна приводить к ощутимым трудностям, помехам и снижению эффективности применения и решения основных функциональных задач программного комплекса.

Наиболее детально методологические и системные задачи проектирования комплексной защиты информационных систем изложены в стандарте ISO 15408 (см. п.7.1.4). Выделены и классифицированы 11 групп (классов) базовых задач обеспечения безопасности информационных систем. Каждый класс детализирован наборами требований, которые реализуют определенную часть целей обеспечения безопасности. В классы включены и подробно описаны принципы и методы реализации требований к следующим функциям защиты:

· криптографическая поддержка;

· защита коммуникаций и транспортировки информации;

· ввод, вывод и хранение пользовательских данных;

· идентификация и аутентификация пользователей;

· процессы управления функциями безопасности;

· защита данных о частной жизни;

· реализация ограничений по использованию вычислительных ресурсов;

· обеспечение надежности маршрутизации и связи между функциями безопасности и т.д..

Качество защиты можно характеризовать величиной предотвращенного ущерба, возможного при проявлении дестабилизирующих факторов и реализации конкретных угроз безопасности, а также средним временем между возможными проявлениями угроз, преодолевающих защиту. Однако формализовано описать и измерить возможный ущерб при нарушении безопасности для сложных ПС разных классов практически невозможно. Поэтому факты реализации угроз целесообразно отражать интервалами времени между их проявлениями или наработкой на отказы, отражающиеся на безопасности. Это сближает понятия и характеристики степени безопасности с показателями надежности ПС. Принципиальное различие состоит в том, что в показателях надежности учитываются все реализации отказов, а к характеристикам защищенности следует относить только те отказы, которые отразились на безопасности функционирования.

Достаточно универсальным измеряемым параметром при этом является длительность восстановления нормальной работоспособности ПС и информационной системы. Приближенно такие катастрофические отказы в восстанавливаемых ПС можно выделять по превышению некоторой допустимой длительности восстановления работоспособности.

4.3. Выбор количественных атрибутов характеристик качества

В табл.4.2 представлены некоторые атрибуты характеристик качества ПС, стандартизованных в ISO 9126:2. Две группы характеристик качества ПС – Надежность и Эффективность – в наибольшей степени доступны количественным измерениям. Для них в табл.4.2 представлены примеры возможных мер и шкал измерения основных количественных атрибутов субхарактеристик качества. Они могут служить ориентирами при выборе и установлении требуемых значений этих показателей качества в спецификациях ПС.

 

Таблица 4.2

Основные количественные метрики ПС и их атрибуты

Характеристики качества	Мера	Шкала
Надежность
Завершенность:
¨ наработка на отказ при отсутствии рестарта.	Часы	10 – 1000
Устойчивость:
¨ наработка на отказ при наличии автоматического рестарта;	Часы	10 – 1000
¨ относительные ресурсы на обеспечение надежности и рестарта.	%	10 – 90
Восстанавливаемость:
¨ длительность восстановления.	Минуты	10–2 – 10
Доступность–готовность:
¨ относительное время работоспособного функционирования.	Вероятность	0,9 – 0,999
Эффективность
Временная эффективность:
¨ время отклика – получения результатов на типовое задание;	Секунды	0,1 – 100
¨ пропускная способность – число типовых заданий, исполняемых в единицу времени.	Число в минуту	1 – 1000
Используемость ресурсов:
¨ относительная величина использования ресурсов ЭВМ при нормальном функционировании ПС.	Вероятность	0,7 – 0,95

4.3.1. Надежность

Надежность – свойство комплекса программ обеспечивать достаточно низкую вероятность потери работоспособности – отказа в процессе функционирования ПС в реальном времени.

Стандартом ISO 9126:2 рекомендуется анализировать и учитывать 4 субхарактеристики и до 16 количественных атрибутов надежности, в том числе степень покрытия тестами структуры программы. Надежность функционирования ПС наиболее полно характеризуется устойчивостью или способностью к безотказному функционированию и восстанавливаемостью работоспособного состояния после произошедших сбоев или отказов.

В свою очередь устойчивость зависит от уровня неустраненных дефектов и ошибок (завершенность) и способности ПС реагировать на их проявления так, чтобы это не отражалось на показателях надежности. Последние определяются эффективностью контроля данных, поступающих из внешней среды и от средств обнаружения аномалий функционирования ПС. В реальных условиях по различным причинам исходные данные могут попадать в области значений, не проверенные при разработке и испытаниях, а также не заданные требованиями спецификации и ТЗ, вызывающие сбои и отказы. При этом некорректная программа может функционировать совершенно надежно. Следовательно, надежность функционирования программ является понятием динамическим, проявляющимся во времени.

Завершенность – свойство ПС не попадать в состояние отказов вследствие ошибок и дефектов в программах и данных. Они могут быть обусловлены неполным тестовым покрытием при испытаниях компонентов и ПС в целом, а также недостаточной завершенностью их тестирования. Количество или плотность проявления скрытых и необнаруженных дефектов и ошибок непосредственно отражается на длительности нормального функционирования комплекса программ между сбоями или отказами. Завершенность можно характеризовать измеряемой обычно часами длительностью наработки на отказ при отсутствии автоматического восстановления – рестарта.

Устойчивость к дефектам и ошибкам – свойство ПС автоматически поддерживать заданный уровень качества функционирования в случаях проявления дефектов и ошибок или нарушения установленного интерфейса. Для этого в ПС должна вводиться временная, программная и информационная избыточность, реализующая оперативное обнаружение дефектов и ошибок функционирования, их идентификацию и автоматическое восстановление (рестарт) нормального функционирования ПС. Относительная доля вычислительных ресурсов, используемых непосредственно для быстрой ликвидации последствий отказов и оперативного восстановления нормального функционирования ПС (рестарт) отражается на повышении надежности программ. Наработка на отказ при наличии оперативного рестарта определяет значение устойчивости.

Восстанавливаемость – свойство ПС в случае отказа возобновлять требуемый уровень качества функционирования, а также поврежденные программы и данные. После отказа ПС иногда бывает неработоспособно в течение некоторого периода времени, продолжительность которого определяется его восстанавливаемостью. Для этого необходимы вычислительные ресурсы и время на выявление и прерывание неработоспособного состояния, диагностику причин отказа и на реализацию процессов восстановления.

Основными показателями процесса восстановления являются его длительность и вероятностные характеристики. Восстанавливаемость характеризуется также полнотой восстановления нормального функционирования программ в процессе ручного или автоматического их перезапуска – рестарта. Перезапуск должен обеспечивать возобновления нормального функционирования ПС. На это требуются ресурсы ЭВМ и время, которые можно характеризовать относительной величиной (% от общих ресурсов). Поэтому полнота и длительность восстановления после сбоев и отказов определяет надежность ПС и его функциональную пригодность для использования по прямому назначению.

Доступность или готовность – свойство ПС быть в состоянии выполнять требуемую функцию в данный момент времени при заданных условиях использования. Доступность может оцениваться относительным временем, в течение которого ПС находится в работоспособном состоянии, в пропорциях к общему времени применения. Следовательно, доступность – комбинация завершенности (от которой зависит частота отказов), устойчивости к ошибкам и восстанавливаемости, которые в совокупности обусловливают длительность простоя для рестарта после каждого отказа, а также длительности наработки на отказ. Для определения этой величины измеряется время работоспособного состояния комплекса программ между последовательными отказами. Обобщение характеристик отказов и восстановления производится в критерии коэффициент готовности. Этот показатель отражает вероятность иметь восстанавливаемые программы и данные в работоспособном состоянии в произвольный момент времени.

Нижняя граница шкалы атрибутов надежности в табл.4.2 отражена значениями, при которых резко уменьшается функциональная пригодность, а использование данного типа ПС становится неудобным, опасным или нерентабельным. Примером таких наихудших предельных величин для многих классов ПС могут быть наработка на отказ менее 10 часов, коэффициент готовности ниже 0,9 и время восстановления более 10 минут.

С другой стороны, наилучшие значения этих атрибутов практически ограничены теми ресурсами, которые могут быть выделены для их достижения при разработке и эксплуатации. Вычислительные и программные ресурсы объектной ЭВМ на непосредственное обеспечение надежности функционирования ПС обычно находятся в диапазоне от 10% до 90%. Даже для высоконадежных ПС редко наработка на отказ превышает несколько тысяч часов, коэффициент готовности не выше 0,999, а время восстановления при отказах не меньше нескольких секунд.

Перечисленные параметры для конкретных проектов могут выбираться в указанных диапазонах (табл.4.2) в зависимости от назначения и функций комплекса программ, приближаясь к их верхним или нижним границам с учетом влияния на функциональную пригодность и доступных ресурсов на поддержку надежности.

4.3.2. Эффективность

Эффективность – свойство ПС, отражающее требуемую производительность с учетом количества используемых вычислительных ресурсов в установленных условиях. Эти ресурсы могут включать другие программные продукты, аппаратные средства, средства телекоммуникации и т.п.. Эффективность также характеризуется долей времени использования ЭВМ для решения основных функциональных задач ПС.

В стандарте ISO 9126:2 выделены две субхарактеристики качества, которые рекомендуется описывать в совокупности 22–мя в основном количественными атрибутами, отражающими динамику функционирования компонентов ПС на конкретной ЭВМ.

Временная эффективность – свойства ПС, характеризующие требуемые времена отклика и обработки заданий, а также пропускную способность при выполнении функций ПС в заданных условиях. Временная эффективность ПС определяется длительностью выполнения заданных функций и ожидания результатов в средних и наихудших случаях с учетом приоритетов задач. Она зависит от скорости обработки данных и от пропускной способности – производительности (табл.4.2).

Эти показатели качества тесно связаны с дисциплиной диспетчеризации и временем реакции (отклика) ПС на запросы при решении различных функциональных задач. Величина этого времени зависит от длительности решения совокупности задач центральным процессором ЭВМ, от затрат времени на обмен с внешней памятью, на ввод и вывод данных и от длительности ожидания в очереди до начала решения задачи. Эта субхарактеристика тесно связана с длительностью обработки типового запроса или с интервалом времени решения типовых или наиболее часто вызываемых функциональных задач ПС.

Пропускная способность комплекса программ на конкретной ЭВМ отражается числом сообщений или запросов на решение определенных задач, обрабатываемых в единицу времени, зависящую от характеристик внешней среды. Она зависит от функционального содержания ПС и конструктивной его реализации, тем самым может рассматриваться как один из внутренних показателей качества программ.

Используемость ресурсов – степень загрузки доступных вычислительных ресурсов в течение заданного времени при выполнении функций ПС в установленных условиях. Ресурсная экономичность отражается полнотой занятости ресурсов центрального процессора, оперативной, внешней и виртуальной памяти, каналов ввода–вывода, терминалов и каналов сетей связи.

Этот критерий определяется структурой и функциями ПС, а также архитектурными особенностями и доступными ресурсами ЭВМ. В зависимости от конкретных особенностей ПС и ЭВМ при выборе атрибутов может доминировать либо величина абсолютной занятости ресурсов различных видов, либо относительная величина использования ресурсов каждого вида при нормальном функционировании ПС.

Ресурсная экономия влияет не только на стоимость решения функциональных задач, но зачастую, особенно для встраиваемых ЭВМ, определяет принципиальную возможность полноценного функционирования конкретного ПС в условиях реально ограниченных вычислительных ресурсов. Несмотря на быстрый рост доступных ресурсов памяти и производительности ЭВМ, часто потребности в них для решения конкретных задач ПС обгоняют их техническое увеличение, и задача оценки и эффективного использования вычислительных ресурсов остается актуальной.

Качественным анализом с учетом влияния на функциональную пригодность можно определить предельные значения для основных атрибутов конструктивной характеристики – эффективность.

Используемость вычислительных ресурсов памяти и производительности ЭВМ ниже 50–70% нерентабельна и позволяет перейти на более дешевую ЭВМ с меньшими ресурсами. В то же время использование ресурсов более чем на 95% может приводить к значительным задержкам или отказам при решении низкоприоритетных задач. При нестационарных потоках заданий на решение основных функциональных задач ПС необходимы некоторые резервы памяти и производительности ЭВМ, что определяет рациональные значения используемости ресурсов в диапазоне 80–90% от максимальных значений.

Атрибут временной эффективности – время отклика на задание пользователя – непосредственно зависит от решаемых функциональных задач и в общем случае может устанавливаться в диапазоне от 0,1 секунды до нескольких десятков секунд. Эти значения зависят от динамических характеристик объектов внешней среды, для которых решаются функциональные задачи ПС. В административных, организационных системах может быть допустимо среднее время отклика в несколько секунд, а для оперативного управления динамическими объектами (самолетами, ракетами, АЭС) оно сокращается до десятых и сотых долей секунды. В соответствии с этими значениями времени отклика для пропускной способности может быть установлен диапазон 1 – 1000 заданий в минуту.

4.4. Выбор качественных атрибутов характеристик качества

В табл.4.3 представлены некоторые атрибуты характеристик качества ПС, стандартизованных в ISO 9126:3.

 

Таблица 4.3

Основные качественные метрики ПС и их атрибуты

Характеристики качества	Мера	Шкала
Практичность
Понятность:
¨ четкость концепции ПС;	Порядковая	Отличная; удовл.; хорошая; неудовл.
¨ демонстрационные возможности;
¨ наглядность и полнота документации.
Простота использования:
¨ простота управления функциями;	Порядковая	Отличная; удовл.; хорошая; неудовл.
¨ комфортность эксплуатации;
¨ среднее время ввода заданий;	Секунды	1 – 1000
¨ среднее время отклика на задание.	Секунды	1 – 1000
Изучаемость:
¨ трудоемкость изучения применения ПС;	Чел.–часы	1 – 100
¨ продолжительность изучения;	Часы	1 – 1000
¨ объем эксплуатационной документации;	Страницы	10 – 1000
¨ объем электронных учебников.	Кбайты	100 – 10000
Привлекательность:		Отличная; удовл.; хорошая; неудовл.
¨ субъективные или экспертные оценки.	Порядковая
Сопровождаемость
Анализируемость:
¨ стройность архитектуры программ;	Порядковая	Отличная; удовл.; хорошая; неудовл.
¨ унифицированность интерфейсов;
¨ полнота и корректность документации.
Изменяемость:
¨ трудоемкость подготовки изменений;	Чел.–часы	1 – 1000
¨ длительность подготовки изменений.	Часы	1 – 1000
Стабильность:
¨ устойчивость к негативным проявлениям при изменениях.	Порядковая	Отличная; хорошая; удовл.
Тестируемость:
¨ трудоемкость тестирования изменений;	Чел.–часы	1 – 1000
¨ длительность тестирования изменений.	Часы	1 – 100
Мобильность
Адаптируемость:
¨ трудоемкость адаптации;	Чел.–часы	1 – 100
¨ длительность адаптации.	Часы	1 – 100
Простота установки:
¨ трудоемкость инсталляции;	Чел.–часы	1 – 100
¨ длительность инсталляции.	Часы	1 – 100
Сосуществование – соответствие:
¨ стандартизация интерфейсов с аппаратной и операционной средой.	Порядковая	Отличная; удовл.; хорошая; неудовл.
Замещаемость:
¨ трудоемкость замены компонентов;	Чел.–часы	1 – 100
¨ длительность замены компонентов.	Часы	1 – 100