РЕКОМЕНДАЦИИ

САПР. ПОКАЗАТЕЛИ ОЦЕНКИ КАЧЕСТВА
ПРОГРАММНО-МЕТОДИЧЕСКИХ КОМПЛЕКСОВ

Р 50-12-87

ГОСУДАРСТВЕННЫЙ КОМИТЕТ СССР ПО СТАНДАРТАМ

Москва

1988

РЕКОМЕНДАЦИИ

Система автоматизированного проектирования.
Показатели оценки качества программно-методических
комплексов

Р 50-12-87

Дата введения 01.07.88

Настоящие рекомендации устанавливают номенклатуру показателей оценки качества программно-методических комплексов (ПМК) в САПР, методы их расчета, методические принципы оценки показателей качества ПМК. Рекомендации предназначены для разработчиков ПМК, экспертных комиссий и пользователей ПМК.

1. ОБЩИЕ ПОЛОЖЕНИЯ

1.1. Под качеством ПМК понимается совокупность свойств ПМК, которые обеспечивают его пригодность для использования в составе САПР.

1.2. Оценка качества ПМК осуществляется при проведении следующих видов работ:

планирование качества на этапе проектирования (техническое задание, техническое проектирование, рабочее проектирование);

контроль качества в процессе разработки ПМК;

проверка качества на этапе сопровождения ПМК.

1.3. Оценка качества ПМК представляет совокупность операций, включающих выбор номенклатуры показателей качества оцениваемого ПМК, определение значений этих показателей и сравнения их с базовыми.

1.4. Сравнению подлежат однотипные ПМК, характеризующиеся одинаковыми значениями следующих признаков:

назначение ПМК - устанавливается тип объектов проектирования и тип самого (общего или специального назначения);

требуемая конфигурация технических средств - указывается какие ЭВМ, периферийные средства, операционные системы, необходимые для эксплуатации ПМК, и к каким средствам он может адаптироваться пользователем;

объем памяти - указывается требуемый объем оперативной и внешней памяти для функционирования ПМК;

уровень апробации - указывается степень апробации (опытная, промышленная)

2. КЛАССИФИКАЦИЯ ПОКАЗАТЕЛЕЙ ОЦЕНКИ КАЧЕСТВА ПМК

2.1. Номенклатура показателей оценки качества должна быть открытой, т.е. допускается возможность уточнения перечня приведенных в данном документе показателей путем внесения или исключения из него отдельных элементов.

2.2. Показатели качества ПМК делятся на три класса:

1. Функциональные показатели ПМК - определяют свойство ПМК с точки зрения разработчика, пользователя, обслуживающего персонала и структуры САПР в целом.

2. Показатели качества программных средств ПМК - определяют свойства программного обеспечения, входящего в ПМК.

3. Технико-экономические показатели - определяют внутренние свойства ПМК как промышленного продукта.

2.3. Каждый класс показателей имеет четырехуровневую иерархическую структуру показателей (см. рисунок): комплексный; групповой; единичный; оценочный.

2.4. Состав комплексных показателей по классам:

функциональные показатели ПМК (Ф):

1) готовность,

2) инвариантность,

3) жизненность;

показатели качества программных средств ПМК (П):

4) гибкость,

5) корректность,

6) надежность,

7) сопровождаемое,

8) удобство применения,

9) эффективность;

технико-экономические показатели ПМК (Т):

10) качество проектного решения,

11) трудоемкость использования,

12) уровень унификации или типизации компонентов.

2.4.1. Определения комплексных показателей:

готовность - объем необходимых работ для организации начала эксплуатации ПМК;

инвариантность - пригодность ПМК для связи с другими ПМК САПР с точки зрения форм и устройств, ввода и вывода, представления входной и выходной информации;

жизненность - способность ПМК сохранять свои свойства при изменении объектов проектирования, технологии проектирования;

гибкость - свойство ПМК легко адаптироваться к новым функциональным требованиям, возникающим при изменении области применения или условий функционирования;

корректность - свойство ПМК, отражающее степень его соответствия алгоритму и требованиям по обработке данных, установленным при выработке требований к ПМК, а также общесистемным требованиям и наличие ссылок на документы (программы);

надежность - свойство ПМК выполнять заданные функции в соответствии с программной документацией даже при возникновении отклонений в среде функционирования, вызванных аппаратными, программными отклонениями или ошибками обслуживания, с учетом требований областей применения;

сопровождаемость - свойство ПМК сохранять работоспособность при отклонении от условий эксплуатации и обеспечивать поддержание его в активном состоянии;

удобство применения - возможность освоения при прочих равных характеристиках ПМК и эксплуатации с минимальными трудозатратами и с учетом требований спецификации;

эффективность - свойство ПМК, характеризующее результат реализации специфицированных функций за определенный отрезок времени с учетом необходимых вычислительных ресурсов;

качество проектного решения - объединяет показатели, необходимые для оценки качества проектного решения;

трудоемкость - использование показателей затрат труда на решение проектной задачи в соответствии с назначением ПМК;

уровень унификации или типизации компонентов ПМК - определяет какова доля унифицированных, типовых или стандартных компонентов от общего числа компонентов ПМК.

2.5. Сущность и состав групповых показателей, соответствующих комплексным показателям, приведены в табл. 1.

2.6. Состав единичных показателей и их наименование, соответствующих классам, комплексным и групповым показателям приведены в табл. 2.

Таблица 1

Наименование комплексного показателя	Наименование группового показателя	Сущность группового показателя
1. Готовность	1. Адаптируемость	Легкость и эффективность эксплуатации или изменений:
		организационной структуры предприятия;
		форм входной и выходной информации;
		объектов и процессов проектирования
	2. Информационная полнота	Наличие встроенной базы данных и степень ее заполнения данными по объектам проектирования, на которые распространяется ПМК
	3. Методическая обеспеченность	Наличие методики, обеспечивающей заполнение встроенной базы данных ПМК параметрами новых объектов
	4. Удобство обслуживания	Возможность начала эксплуатации ПМК пользователем
2. Инвариантность	5. Входная инвариантность	Возможность использования различных форм входной информации
	6. Выходная инвариантность	Возможность получения различных форм выходной информации
	7. Документальная инвариантность	Возможность получения различных видов комплектов документации
	8. Функциональная инвариантность технических средств	Возможность работы с различными средствами одного функционального назначения (например, ЭМ-703, ЭМ-722 и т.д.)
3. Жизненность	9. Открытость	Возможность дополнения ПМК новыми компонентами как с расширением его структуры, так и изменением содержания существующей структуры
	10. Защищенность	Степень и характер защищенности от несанкционированного доступа, сбоев техники или системного программного обеспечения, а также от неквалифицированных действий пользователей
	11. Перестраиваемость	Возможность распространения на новые объекты проектирования внутри данного класса; возможность пополнения моделей объектов
4. Гибкость	12. Широта охвата	Свойство ПМК, обеспечивающее широту охвата области его применения функциями, выполняемыми программой
	13. Мобильность	Свойство ПМК, отражающее возможность применения ПМК без существенных дополнительных трудозатрат при изменении среды функционирования (комплекса технических средств и операционных систем)
	14. Структурные аспекты гибкости (настраиваемость)	Свойство ПМК, обеспечивающее возможность адаптации к новым условиям функционирования с учетом требований технологии и методов структурного программирования
	15. Модифицируемость	Свойство ПМК, обеспечивающее простоту внесения необходимых изменений и добавлений в него на всех стадиях жизненного цикла
5. Корректность	16. Полнота	Свойство ПМК, отражающее полноту описания и реализации всех функций ПМК, заложенных ТЗ и определенных программной документацией и текстами программ
	17. Согласованность	Свойство ПМК, характеризующее однозначное использование терминов, определений, символов для обеспечения связей между элементами ПМК
	18. Тестируемость	Свойство ПМК, обеспечивающее возможность проверки всех компонентов ПМК на соответствие требованиям спецификаций
	19. Логическая правильность	Свойство ПМК реализовать заданные функции и режимы работы при его эксплуатации в соответствующих условиях, указанных в спецификациях
	20. Соответствие НТД	Свойство, отражающее соответствие ПМК и его документации НТД и принятой технологии программирования
	21. Непротиворечивость	Свойство ПМК, характеризующее однозначное, непротиворечивое описание объектов, функций в различных частях программной документации и текстах программ
6. Надежность	22. Устойчивость функционирования	Свойство ПМК, обеспечивающее устойчивое выполнение задания при возникновении аварийных ситуаций, предусмотренных в спецификациях
	23. Помехоустойчивость	Свойство ПМК, обеспечивающее продолжение решения задач при возникновении сбоев и отказов (помех) аппаратуры и системных ПМК
	24. Работоспособность	Свойство ПМК, отражающее степень отлаженности, безошибочности его функционирования
7. Сопровождаемость	25. Простота конструкции	Свойство ПМК, отражающее конструктивные особенности оптимального построения программы
	26. Наглядность	Свойство ПМК, обеспечивающее визуальное или звуковое отображение хода функционирования ПМК, а также представление текстов программ
	27. Структурность	Свойство ПМК, отражающее организацию взаимосвязанных частей программы в единое целое в соответствии с принципами структурного программирования
8. Удобство применения	28. Удобство эксплуатации и обслуживания	Свойство ПМК, отражающее удобство подготовки к запуску и работе ПМК, обеспечивающее такое представление входных и выходных данных, которое легко может быть усвоено пользователем
	29. Пригодность документации пользователя	Свойство ПМК, отражающее полноту, понятность, наглядность, простоту пользовательской документации с учетом требований стандартов
	30. Легкость освоения	Свойство ПМК, позволяющее пользователю понять с минимальными трудозатратами назначение и логику функционирования всего ПМК и его отдельных частей
9. Эффективность	31. Функциональность (выполнение функций)	Свойство ПМК, которое характеризуется видом, количеством и степенью сложности функций, реализуемых этим ПМК
	32. Затраты времени	Количественная величина, получаемая по результатам работы программы
	33. Используемые ресурсы	Количественная величина, характеризующая величину необходимых ресурсов при работе программы
	34. Точность вычисления	Свойство ПМК обеспечивать требуемую точность при вычислениях
10. Качество проектного решения	35. Оптимизированность	Степень оптимальности получаемого решения (оптимальное, локальный оптимум, допустимое решение, хорошее решение)
	36. Управляемость	Возможность управления получаемым качеством объекта проектирования
	37. Качество документации	Качество документации, получаемой в ПМК, степень ее соответствия государственным стандартам, отраслевым требованиям, эргономике
11. Трудоемкость проектирования	38. Время обслуживания	Среднее время работы ПМК в однопрограммном режиме
	39. Время повторного обслуживания	Среднее время работы ПМК при повторном выполнении задания, модификации решения
	40. Интерактивность	Соотношение среднего времени участия пользователя в получении решения и общего времени обслуживания
12. Уровень унификации	41. Унификация	Степень использования унифицированных, типовых или стандартных компонентов
	42. Стандартизованность	Степень использования стандартов, стандартных языков, протоколов, метрик и т.п.
	43. Новизна	Защищенность статьями, монографиями, авторскими свидетельствами методов и алгоритмов, реализованных в ПМК

Таблица 2

Класс	Комплексный показатель	Групповой показатель	Наименование единичного показателя (экспертиза)
Ф	1	1	1. Группы пользователей предприятий, являющихся потенциальными потребителями ПМК
Ф	1	1	2. Степени связности пользователей обслуживающего персонала САПР и лиц, принимающих решения
Ф	1	1	3. Формы исходной и входной информации в общей структуре процесса проектирования, применительного к заявленному классу объектов
Ф	1	2	4. Математические методы решения используемых моделей объектов
Ф	1	2	5. Наличие стандартизованных источников на необходимые параметры моделей
Ф	1	3	6. Информационно-методические источники получения параметров моделей внутри ПМК и вне его
Ф	1	4	7. Сопровождающая документация для пользователей
Ф	1	4	8. Диалоговые атрибуты ПМК, требующие квалифицированного пользователя
Ф	2	5	9. Состав входной документации на ПМК и входных документов
Ф	2	6	10. Состав выходных документов и документации на ПМК
Ф	2	7	11. Состав документации на объект проектирования и документации ПМК
Ф	2	8	12. Состав кодов представления данных периферийных устройств и документации ПМК
Ф	3	9, 10, 11	13. Документация ПМК
Ф	3	9, 10, 11	14. Структура программного обеспечения ПМК
П	4	12	15. Широта охвата
П	4	12	16. Простота архитектуры проекта
П	7	25	16. То же
П	4	13	17. Зависимость от используемого комплекса технических средств
П	4	13	18. Зависимость от базового программного обеспечения
П	4	13	19. Способы устранения немобильности
П	4	14	20. Сложность архитектуры проекта
П	4	14	21. Структурность программных кодов
П	4	14	22. Применение стандартных протоколов связи
П	4	14	23. Применение стандартных интерфейсных подпрограмм
П	4	15	24. Простота кодирования
П	4	15	25. Количество комментариев
П	4	15	26. Качество комментариев
П	4	15	27. Использование описательных средств языка реализации
П	4	15	28. Независимость модулей
П	5	16	29. Полнота документации разработчика
П	5	16	30. Полнота программной реализации
П	5	17	31. Единообразие кодирования, символики и определения общих переменных
П	5	17	32. Единообразие интерфейса между модулями и пользователями
П	5	18	33. Полнота тестирования
П	5	18	34. Информативность
П	5	18	35. Независимость модели
П	5	18	36. Инструментированность
П	5	19	37. Реализация всех способов решений
П	5	19	38. Отсутствие явных ошибок и заложенных реквизитов
П	5	20	39. Соответствие документации стандартам
П	5	20	40. Соответствие ПМК стандартам программирования
П	5	20	41. Соответствие ПМК документации
П	5	21	42. Непротиворечивость документации
П	5	21	43. Непротиворечивость ПМК
П	6	22	44. Реализация управления средствами восстановления
П	6	23	45. Средства восстановления при ошибках на входе
П	6	24	46. Средства восстановления при сбоях оборудования
П	7	25	47. Сложность архитектуры проекта
П	7	25	48. Простота кодирования
П	6	23	49. Средства поддержки при возникновении помех
П	6	23	50. Средства безаварийного завершения в случае помех
П	6	23	51. Средства локализации ошибок
П	6	24	52. Полнота тестирования проекта
П	7	27	53. Использование основных логических структур
П	7	27	54. Соблюдение принципа нисходящего программирования
П	7	27	55. Комментарии обоснования декомпозиции программ
П	7	26	56. Комментарии логики программ проекта
П	7	26	57. Оформление текста программ
П	7	26	58. Принятая система идентификации
П	8	28	59. Характер эксплуатации
П	8	28	60. Управление с помощью «меню»
П	8	28	61. Функции
П	8	28	62. Управление данными
П	8	28	63. Рабочие процедуры
П	8	29	64. Полнота пользовательской документации
П	8	29	65. Точность пользовательской документации
П	8	29	66. Понятность пользовательской документации
П	8	29	67. Техническое исполнение пользовательской документацией
П	8	29	68. Прослеживание вариантов пользовательской документации
П	8	30	69. Освоение ПМК
П	8	30	70. Документация для освоения
Т	10	35, 36	71. Показатели качества объекта проектирования и математического обеспечения
Т	10	37	72. Образцы соответствия документов, полученных в ПМК и стандартах
Т	11	38, 39, 40	73. Проектирование типового объекта с помощью ПМК на установленной структуре технических средств и системного программного обеспечения
Т	12	41, 42	74. Структура программного обеспечения ПМК
Т	12	43	75. Документация на НИР по разработке ПМК
П	7	25	76. Межмодульные связи

Примечание. Единичные показатели для определения групповых показателей комплексного показателя «эффективность» (9), определяются по отраслевым стандартам и руководящим документам.

3. МЕТОДЫ ОПРЕДЕЛЕНИЯ ЗНАЧЕНИЙ ПОКАЗАТЕЛЕЙ КАЧЕСТВА ПМК

3.1. Классификация методов.

3.1.1. Методы определения показателей качества ПМК по аналогии с промышленной продукцией можно подразделить на расчетный и экспертный.

3.1.2. Расчетный метод основан на использовании теоретических и эмпирических зависимостей на ранних стадиях разработки, а также на стадии использования статистических данных, накапливаемых при испытаниях и эксплуатации ПМК. Расчетным методом прогнозируются критерии точности вычислений, реактивности, затрат времени, используемые ресурсы и другие показатели на этапе проектирования ПМК. Расчетный метод может быть использован и для определения фактических значений этих показателей по результатам испытаний и (или) эксплуатации ПМК.

3.1.3. Определение значений показателей качества экспертным методом осуществляется группой экспертов-специалистов, компетентных в решении данной задачи, при этом решение базируется на опыте и интуиции экспертов. Экспертный метод применяется в следующих случаях:

оценка не может быть проведена другим существующим способом;

другие способы являются более трудоемкими.

Экспертный метод рекомендуется применять при определении групповых показателей, пригодности документации пользователя, легкости освоения, широты охвата, структурности и др.

4. МЕТОДИЧЕСКИЕ ПРИНЦИПЫ ОЦЕНКИ ПОКАЗАТЕЛЕЙ КАЧЕСТВА ПМК

4.1. Организация определения показателей качества ПМК.

4.1.1. Оценку качества ПМК проводят:

на этапах разработки ПМК;

на этапах передачи ПМК в фонд;

на этапах тиражирования ПМК;

на этапах внедрения и эксплуатации ПМК.

4.1.2. При оценке качества ПМК следует решать следующие основные задачи:

планирование уровня качества ПМК;

контроль значений показателей качества в процессе разработки ПМК;

испытание ПМК;

эксплуатационный контроль заданного уровня качества;

выбор базовых образцов по подвидам ПМК;

методическое руководство разработкой нормативно-технических документов по оценке качества ПМК.

4.2. Выбор базовых образцов.

4.2.1. Уровень качества оцениваемого ПМК определяется путем сравнения полученных в результате испытаний значений показателей качества с соответствующими базовыми значениями показателей качества фактически существующего или гипотетического (воображаемого) ПМК, принимаемого за базовый образец. Базовым образцом называется реально достижимая совокупность значений показателей качества ПМК, принятых для сравнения.

Показатели качества базового образца называются базовыми значениями показателей. Совокупность базовых значений показателей должна характеризовать оптимальный уровень качества ПМК на некоторый заданный период времени.

4.2.2. Значения базовых показателей ПМК должны соответствовать показателям качества аналогов ПМК и прогнозируемому мировому уровню качества.

4.2.3. К аналогам относятся реально существующие в мире ПМК того же вида, что и сравниваемый, обладающий общностью функционального назначения, основных параметров, структуры и условий эксплуатации.

4.2.4. При выборе в роли базового образца (при отсутствии аналогов) гипотетических образцов, последние должны пройти опытную научно-техническую проработку, исключающую произвольный выбор характеристик.

4.3. Методы оценки уровня качества ПМК.

4.3.1. До начала разработки ПМК следует провести выбор номенклатуры показателей качества и соответствующих базовых значений, входящих в ПМК.

4.3.2. Первым шагом в отборе показателей качества является исследование условий использования создаваемого ПМК. В процессе такой работы составляется эскизный перечень комплексных показателей, присутствие которых в ПМК максимально отвечало бы ожиданиям пользователей.

4.3.3. Для показателей качества ПМК на уровнях иерархической структуры принимается шкала оценки от 0 до 1 для единичных и оценочных показателей и от 0 до 10 для комплексных и групповых.

4.3.4. Показатели качества ПМК на каждом вышестоящем уровне (кроме уровня оценочных элементов) определяются показателями качества нижестоящего уровня, т.е.:

результаты оценки каждого комплексного показателя определяются результатами оценки соответствующих ему групповых показателей;

результаты оценки каждого группового показателя определяются результатами оценки соответствующих ему единичных показателей;

результаты оценки каждого единичного показателя определяются результатами оценки определяющих ее оценочных элементов.

4.3.5. В процессе определения качества ПМК на каждом уровне (кроме уровня оценочных элементов) проводятся вычисления характеристик качества ПМК, т.е. определение количественных значений абсолютных показателей - P_ij (j - порядковый номер характеристик данного уровня для i-й характеристики вышестоящего уровня) и относительных показателей K_ij, являющихся функцией показателя - P_ij и базового значения -

4.3.6. Каждая характеристика качества 2-го и 3-го уровня характеризуется двумя числовыми параметрами - ее количественным значением и весомостью V_ij.

4.3.7. Сумма весомостей характеристик качества ПМК одного уровня (l), относится к одной i-й характеристике вышестоящего уровня, (l - 1) есть величина постоянная.

4.3.8. В методике сумма весомостей принимается равной 1,, где i = 1 ÷ n, n - количество характеристик данного уровня, относящихся к i-й характеристике вышестоящего уровня.

4.3.9. Качество ПМК в целом определяется по результатам оценки каждого выбранного для ПМК комплексного показателя качества в соответствии с установленным приоритетом важности комплексного показателя для данного ПМК.

4.3.10. Оценка качества ПМК в целом осуществляется по полученным значениям комплексных показателей качества, на основании которых принимается решение о качестве ПМК, или рассчитывается интегральный показатель.

4.3.11. Для принятия решений по оценке качества ПМК различного назначения методом экспертного опроса необходимо обратиться к базовому значению комплексного показателя (см. п. 4.2).

4.3.12. Определение итоговой оценки нескольких значений оценочных элементов по формуле

где t - количество значений оценочных элементов.

4.3.13. Определение итоговой оценки k-гo единичного показателя j-го группового показателя по формуле

4.3.14. Определение абсолютных значений групповых показателей i-го комплексного показателя качества по формуле

4.3.15. Вычисления относительного показателя j-го группового показателя i-го комплексного показателя качества - K_ij по формуле

4.3.16. Вычисление оценки комплексного показателя качества - по формуле

4.3.17. После определения оценочных элементов, единичных, групповых, комплексных показателей, заполняется карта оценки качества (см. табл. 3).

Для получения более объективной оценки качества ПМК определение показателей качества всех уровней иерархии проводится в несколько итераций.

Таблица 3

Форма карты оценки качества

Номер п/п	Обозначение единичного показателя и их оценочных элементов	Определение единичного показателя и их оценочных элементов	Оценка характеристики	Коэффициент весомости единичного показателя
1	2	3	4	5
1	M_j1	-
1.1		-	m₁₁	-
1.2		-	m₁₂	-
2	M_j2	-
2.1		-	m₂₁	-
2.2		-	m₂₂	-
2.3		-	m₂₃	-
	...		...
	M_jn	-
n.1		-	m_n1	-
n.2		-	m_n₂	-

Примечание.

п - количество единичных показателей, составляющих оцениваемый групповой показатель;

M_jk - обозначение k-го единичного показателя j-го группового показателя;

- обозначение g-гo оценочного элемента, составляющего k-й единичный показатель;

- значение показателя k-гo единичного показателя j-го группового показателя;

m_k_g - значение g-го оценочного элемента k-го единичного показателя;

j - порядковый номер группового показателя качества, который выбирается из табл. 1;

- коэффициент весомости k-го единичного показателя j-го группового показателя;

k - порядковый номер единичного показателя (k = 1 ÷ n), (см. табл. 2);

g - порядковый номер оценочного элемента (g = 1 ÷ Q) (см. приложение);

п - количество единичных показателей j-го группового показателя;

Q - количество оценочных элементов k - гo единичного показателя.

4.3.18. Карта оценки качества может составляться на любом уровне и в ней отражается полная иерархия оценок, сделанных на каждом этапе.

4.3.19. Карты оценок обеспечивают наглядность применения процедур оценки качества на всех уровнях и служат средством отчетности по оценке качества.

4.3.20. Оценка качества ПМК осуществляется путем проверки документов (перечень которых носит рекомендательный характер):

а) этап разработки технического задания:

отчет о научных исследованиях при выработке требований к ПМК;

технико-экономическое обоснование разработки ПМК (ТЭО);

техническое задание на разработку ПМК;

б) этап технического проектирования:

функциональное описание ПМК.

в) этап рабочего проектирования:

тексты программ ПМК;

описание программы ПМК;

описание применения ПМК;

руководство системного программиста;

руководство программиста;

руководство оператора;

описание контрольного примера;

описание процедур тестирования программных компонентов;

описание процедур тестирования системы;

листинги тестовых примеров.

г) этап передачи ПМК в фонд алгоритмов и программ:

листинги программ;

описание программы;

описание применения;

описание контрольного примера службы сопровождения;

отчет о внедрении ПМК;

руководство по внедрению.

4.4. Формирование словаря-справочника оценочных элементов.

4.4.1. Словарь - справочник элементов формируется путем анализа опыта по оценке качества ПМК. При этом учитываются особенности различных классов ПМК, областей их применения, статистика результатов испытаний ПМК. Поэтому необходимо хранить все данные по оценке качества ПМК для дальнейшего их анализа и обобщения. Одним из наиболее важных аспектов в этом отношении является накопление статистики ошибок и отклонений, которые наблюдают организации, ведущие фонды алгоритмов и программ. В результате анализа и классификации ошибок и отклонений формализуются новые классы ошибок, которые позволяют формулировать вопросы для специалистов, занимающихся испытаниями, на которые они должны ответить, наблюдая за проведением программ в процессе испытаний ПМК. Эти вопросы и составляют источник пополнения словаря-справочника оценочных элементов.

4.4.2. Словарь-справочник оценочных элементов заполняется по каждому комплексному показателю.

4.4.3. Словарь-справочник оценочных элементов представляет упорядоченную по группам вопросов табл. 4.

Таблица 4

Структура словаря-справочника оценочных элементов

Порядковый номер элемента	Наименование	Метод оценки
...	...	...

4.4.4. Предлагаемый исходный словарь-справочник приведен в приложении 2.

4.4.5. Словарь-справочник каждой отрасли должен отражать ее специфику.

Рис. Структура показателей и методический принцип оценки качества ПМК

ПРИЛОЖЕНИЕ 1

Справочное

Модель жизненного цикла ПМК

Процесс	Фазы	Результаты
Разработка	Анализ	Определение требований, спецификация требований, техническое задание
Создание	Реализация	Модули, программы, система, средства тестирования, дополняющая документация
	Тестирование	Оттестированные модули, программы, система, дополняющая документация, сдача в фонд (при необходимости)
	Внедрение	Программное средство в форме, готовой для тиражирования, документация, правила внесения изменений, постановка на систему пользования, организация применения, отчет об испытаниях, отзыв пользователя
Применение	Опытная эксплуатация	Подтверждение стабильной эксплуатации, представление набора услуг по внедрению (при необходимости)
	Эксплуатация	Предложения об усовершенствовании, сообщение о функциональных отклонениях
	Обслуживание (сопровождение)	Информация об опыте сопровождения программ, информация об изменениях, внесенных в ПМК

ПРИЛОЖЕНИЕ 2

Обязательное

СЛОВАРЬ-СПРАВОЧНИК ОЦЕНОЧНЫХ ЭЛЕМЕНТОВ

1. Класс функциональных показателей

Код элемента	Наименование	Метод оценки
Ф.1.1.1.01	Имеется возможность использования ПМК непосредственно пользователем на рабочем месте	Экспертный
Ф.1.1.1.01		а; а = 0 - 1
	Имеется возможность использования ПМК только специально обученным персоналом	(1 - b); b = (0 - 1)
	Имеется возможность контроля результатов работы ПМК непосредственно на рабочем месте	c = 0 - 1
Ф.1.1.2.01	Пользователь может начать эксплуатацию ПМК:	Экспертный
	под руководством самого ПМК в диалоговом режиме;	а = 10
	при изучении инструкции к ПМК;	а = 5
	после специального обучения на базе разработчика или под руководством его;	а = 3
	после специального обучения	а = 1
Ф.1.1.3.01	Структура ПМК:	Экспертный
	позволяет;	а = 5
	не позволяет;	а = 3
	допускает с дополнительными действиями проектировать в различной комбинации с другими ПМК	а = 1
Ф.1.1.3.02	Переход от одной формы представления входной и выходной информации осуществляется:	Экспертный
	внутрипрограммно операторами языка;	а = 5
	заменой в программных блоках отдельных операторов;	а = 3
	добавлением блоков;	а = 2
	не осуществляется	а = 0
Ф.1.1.4.01	Объект проектирования учитывается в ПМК на уровне (т. е. требует изменения при переходе к новому типу):	Экспертный
	параметров модели;	а = 5
	структуры модели;	а = 3
	алгоритма расчета	а = 1
Ф.1.2.5.01	Пользователь может пополнить базу данных по имеющейся методике:	Экспертный
	по справочникам;	а = 5
	по результатам дополнительных расчетов и (или) экспериментов;	а = 3
	при взаимодействии с разработчиком	а = 1
Ф.1.2.5.02		Экспертный
	Имеется только своя база данных.	а = 1
	Есть возможность использования БД вместе со средствами внешней СУБД.	а = 3
	Есть возможность использования внешней БД за счет функций программного обеспечения ПМК	а = 5
Ф.1.3.6.01	База данных содержит данные:	Экспертный
	только по некоторым типам объектов, использованных при разработке ПМК;	а = 1
	широкую номенклатуру объектов;	а = 3
	полные в соответствии с имеющимися справочниками	а = 5
Ф.1.4.7.01	Обнаружение ошибок только синтаксического типа программным обеспечением ПМК.	Экспертный
	Обнаружение семантических ошибок:	а = 1
	К	а = 3
	М	а = 5
Ф.1.4.8.01	Обнаружение фактов выхода за область допустимых значений:	Экспертный
	К - с констатацией места ошибки;	а = 3
	М - с диагностикой причин ошибки;	а = 5
	N - диалоговой системой устранения ошибки	а = 10
Ф.2.5.9.01	Информация для работы получается по документу путем ручного кодирования	Экспертный
Ф.2.5.9.01		а = 2
	Информация для работы собирается пользователем по специальной методике	а = 1
	Информация для работы получается с помощью специальных устройств	а = 3
	Информация для работы получается автоматически по результатам работы предыдущих ПМК	а = 5
Ф.2.6.10.01	Выходная информация получается на АЦПУ.	Экспертный
Ф.2.6.10.01	Выходная информация получается на АЦПУ.	а = 0 - 1
	Выходная информация получается на перфоленте.	а = 0 - 1
	Выходная информация получается на магнитной ленте.	а = 0 - 1
	Выходная информация получается на магнитном диске	а = 0 - 1
Ф.2.6.10.02	Имеются блоки формирования для указанных других ПМК.	Экспертный
Ф.2.6.10.02	Имеются блоки формирования для указанных других ПМК.	а = 3
	Имеется возможность формирования данных формату связанных ПМК	а = 5
Ф.2.6.11.01	Получается один документ.	Экспертный
Ф.2.6.11.01	Получается один документ.	а = 1
	Получается несколько документов.	а = 3
	Имеется возможность на языковом уровне формировать любой формы документ	а = 5
Ф.2.8.12.01	ПМК настроен на один вид устройства.	Экспертный
Ф.2.8.12.01	ПМК настроен на один вид устройства.	а = 1
	Выбор типа устройства предусмотрен в языке общения из заданного класса:
	класс не может пополняться пользователем;	а = 3
	класс может пополняться пользователем	а = 5
Ф.3.9.13.01	Предусмотрена возможность пополнения ПМК:	Экспертный
Ф.3.10.13.01	процедурами;	а = 10
Ф.3.11.13.01	методами;	а = 5
	сервисными блоками;	а = 4
	формами представления данных;	а = 3
	моделями	а = 3
Ф.3.9.14.01	Защита предусмотрена:	Экспертный
	от сбоев технических средств;	а = 1
	от некомпетентности пользователя;	а = 3
	от преднамеренной порчи текста и данных;	а = 5
	от несанкционированного изменения видов обеспечения	а = 6
Ф.3.11.14.01	При повторном использовании ПМК повторяется заново вся процедура:	Экспертный
Ф.3.11.14.01		а = 0
	исправление входных данных, расчет тот же;	а = 1
	исправление исходных данных и работа только части блоков программных средств ПМК, но процесс весь;	а = 3
	сокращается технологический маршрут использования ПМК	а = 5
Ф.3.11.14.02	Имеется возможность построения моделей нового вида объектов:	Экспертный
	на уровне средств ПМК;	а = 5
	с изучением дополнительной литературы самостоятельно пользователем;	а = 3
	с участием разработчика ПМК	а = 1

2. По классу показателей качества программных средств ПМК

Код элемента	Наименование	Метод оценки
П.4.12.15.01	Количество пользователей	Экспертный	0 - 1
П.4.12.15.02	Количество функций исполняемых ПС	То же	0 - 1
П.4.12.15.03	Широта покрытия требований пользователей	«»	0 - 1
П.4.12.15.04	Широта покрытия иерархических уровней	«»	0 - 1
П.4.12.15.05	Независимость выходных данных от конкретных пользователей	«»	0 - 1
П.4.12.16.01	Наличие схемы отображающей иерархическую декомпозицию системы	«»	0 - 1
П.4.12.16.02	Реализация независимости модуля	«»	0 - 1
П.4.12.16.03	Количество уникальных элементов (реквизитов) на базе	«»	0 - 1
П.4.12.16.04	Использование в текущем вызове модуля информации, полученной в предыдущем вызове	«»	0 - 1
П.4.12.16.05	Точки входа-выхода модуля	«»	0 - 1
П.4.12.16.06	Описание атрибутов модуля	«»	0 - 1
П.4.13.17.01	Зависимость от емкости оперативной памяти	«»	0 - 1
П.4.13.17.02	Зависимость от скорости вычислений ЭВМ	«»	0 - 1
П.4.13.17.03	Зависимость от количества и емкости внешних памятей	«»	0 - 1
П.4.13.17.04	Зависимость от применения специальных устройств ввода-вывода	«»	0 - 1
П.4.13.18.01	Применение специальных языков программирования	«»	0 - 1
П.4.13.18.02	Зависимость от программ операционной системы	«»	0 - 1
П.4.13.18.03	Зависимость от другого специального программного обеспечения	«»	0 - 1
П.4.13.19.01	Изоляция немобильности	«»	0 - 1
П.4.14.20.01	Количество переходов точек ветвления	Измерение	0 - 1
П.4.14.21.01	Использование метода пошагового уточнения	Экспертный	0 - 1
П.4.14.21.02	Описание структуры программ	То же	0 - 1
П.4.14.21.03	Описание связей между элементами структуры программ	«»	0 - 1
П.4.14.21.04	Наличие повторных функций	Экспертный или измерение	0 - 1
П.4.14.21.05	Зависимость выполнения модуля от предыдущего выполнения	То же	0 - 1
П.4.14.22.01	Применение стандартных протоколов связи	Измерение и расчет	0 - 1
П.4.14.23.01	Применение стандартных интерфейсных подпрограмм	Экспертный	0 - 1
П.4.15.24.01	Использование отрицательных или булевых выражений	Измерение и расчет	0 - 1
П.4.15.24.02	Помеченные операторы	Измерение и расчет	0 - 1
П.4.15.24.03	Максимальный уровень гнездования	Измерение	0 - 1
П.4.15.24.04	Условные переходы	Измерение и расчет	0 - 1
П.4.15.24.05	Безусловные переходы	То же	0 - 1
П.4.15.24.06	Оформление входов из циклов	«»	0 - 1
П.4.15.24.07	Модификация переменной индексации в поле цикла	«»	0 - 1
П.4.15.24.08	Направление потока управления в модуле	«»	0 - 1
П.4.15.24.09	Локальные переменные	«»	0 - 1
П.4.15.25.01	Количество комментариев	Измерение	0 - 1
П.4.15.26.01	Наличие блока заголовка	Экспертный	0 - 1
П.4.15.26.02	Комментарии точек ветвления	То же	0 - 1
П.4.15.26.03	Комментарии машинозависимых фрагментов кода	«»	0 - 1
П.4.15.26.04	Комментарии машинозависимых операторов программы	«»	0 - 1
П.4.15.26.05	Комментарии операторов объявления переменных	«»	0 - 1
П.4.15.26.06	Семантика операторов	«»	0 - 1
П.4.15.26.07	Соглашение по представлению комментариев	«»	0 - 1
П.4.15.26.08	Общие комментарии по программам	«»	0 - 1
П.4.15.27.01	Использование языка высокого уровня	«»	0 - 1
П.4.15.27.02	Мнемоничность имен используемых переменных	«»	0 - 1
П.4.15.27.03	Использование отступов, сдвигов и пропусков для представления текста	«»	0 - 1
П.4.15.27.04	Размещение операторов по строкам	Измерение и расчет	0 - 1
П.4.15.28.01	Параметрическая передача информации для управления	То же	0 - 1
П.4.15.28.02	Параметрическая передача входных данных	Измерение	0 - 1
П.4.15.28.03	Реализация передачи результатов работы между модулями	Измерение и расчет	0 - 1
П.4.15.28.04	Реализация проверки правильности данных, получаемых модулями от вызываемого	Экспертный	0 - 1
П.4.15.28.05	Совместное использование общих областей памяти	Измерение и расчет	0 - 1
П.5.16.29.01	Наличие всех необходимых документов для понимания и использования системы	-
П.5.16.29.02	Наличие описания (и схемы) иерархической декомпозиции системы на модули	-
П.5.16.29.03	Наличие описаний всех основных функций	-
П.5.16.29.04	Наличие описаний всех детальных функций	-
П.5.16.29.05	Наличие описаний всех данных	-
П.5.16.29.06	Наличие описаний всех алгоритмов	-
П.5.16.29.07	Наличие описаний всех интерфейсов между модулями	-
П.5.16.29.08	Наличие описаний всех интерфейсов с пользователем	-
П.5.16.29.09	Описаны ли все используемые численные методы	-
П.5.16.29.10	Указаны ли все используемые численные методы	-
П.5.16.29.11	Наличие описаний всех параметров	-
П.5.16.29.12	Наличие описаний методов настройки системы	-
П.5.16.29.13	Наличие описаний всех диагностических сообщений	-
П.5.16.29.14	Описаны ли способы проверки работоспособности системы	-
П.5.16.30.01	Наличие исходного кода всех модулей	-
П.5.16.30.02	Наличие реализации всех основных функций	-
П.5.16.30.03	Наличие реализации всех детальных функций	-
П.5.16.30.04	Наличие реализации всех алгоритмов	-
П.5.16.30.05	Наличие реализации всех взаимосвязей в системе	-
П.5.16.30.06	Наличие реализации всех интерфейсов между модулями	-
П.5.16.30.07	Наличие реализации возможности настройки системы	-
П.5.16.30.08	Наличие диагностики для всех чрезвычайных ситуаций	-
П.5.16.30.09	Наличие определения всех данных (переменные, индексы, массивы и пр.)	-
П.5.16.30.10	Наличие реализации интерфейсов с пользователем	-
П.5.17.31.01	Используется ли один и тот же способ оформления программ	-
П.5.17.31.02	Используются ли стандартные конструктивные элементы	-
П.5.17.31.03	Все ли физические величины встречаются во всех программах под одинаковыми именами	-
П.5.17.31.04	Все ли одинаковые переменные встречаются во всех программах под одинаковыми именами	-
П.5.17.31.05	Все ли одинаковые константы встречаются во всех программах под одинаковыми именами	-
П.5.17.31.06	Все ли внешние этикеты встречаются во всех программах под одинаковыми именами	-
П.5.17.31.07	Используются ли разные наименования для разных физических величин	-
П.5.17.31.08	Все ли общие переменные объявлены везде как таковые	-
П.5.17.31.09	Определены ли одинаковые атрибуты общих переменных в разных программах	-
П.5.17.32.01	Единообразие способов вызова модулей	-
П.5.17.32.02	Единообразие возврата управления из модулей	-
П.5.17.32.03	Единообразие способов сохранения информации для возврата	-
П.5.17.32.04	Единообразие способов восстановления информации для возврата	-
П.5.17.32.05	Единообразие конструкций списков передаваемых параметров	-
П.5.20.39.01	Комплектность документации в соответствии со стандартом	-
П.5.20.39.02	Правильное оформление частей документов	-
П.5.20.39.03	Правильность оформления титульных и заглавных листов	-
П.5.20.39.04	Наличие в документах всех разделов, обязательных по стандартам	-
П.5.20.39.05	Полнота отражения отдельных разделов в соответствии со стандартами	-
П.5.20.39.06	Правильное деление документа на структурные элементы: разделы, подразделы, пункты, подпункты	-
П.5.20.40.01	Соответствие организации вычислительного процесса организации, описанной в эксплуатационной документации	-
П.5.20.40.02	Соответствие задания на выполнение, правильность и соответствие управляющих строк и операторов (отсутствие ошибок)	-
П.5.20.40.03	Отсутствие ошибок в описании действий	-
П.5.20.40.04	Отсутствие ошибок в описании по запуску	-
П.5.20.40.05	Отсутствие ошибок в описании по генерации	-
П.5.20.40.06	Отсутствие ошибок в описании по настройке	-
П.5.20.40.07	Соответствие декомпозиции системы	-
П.5.21.42.01	Отсутствие противоречия в описании основных функций в разных документах	-
П.5.21.42.02	Отсутствие противоречий в описании детальных функций	-
П.5.21.42.03	Отсутствие противоречий в описании алгоритмов	-
П.5.21.42.04	Отсутствие противоречий в описании взаимосвязей в системе	-
П.5.21.42.05	Отсутствие противоречий в описании интерфейсов между модулями	-
П.5.21.42.06	Отсутствие противоречий в описании интерфейсов с потребителем	-
П.5.21.42.07	Отсутствие противоречий в описании настройки системы	-
П.5.21.42.08	Отсутствие противоречий в описании параметров	-
П.5.21.42.09	Отсутствие противоречий иерархической структуры сообщений	-
П.5.21.42.10	Отсутствие противоречий в описании диагностических сообщений	-
П.5.21.43.01	Отсутствие противоречий для реализации основных функций	-
П.5.21.43.02	Отсутствие противоречий в реализации детальных функций	-
П.5.21.43.03	Отсутствие противоречий в реализации алгоритмов	-
П.5.21.43.04	Отсутствие противоречий в реализации взаимосвязей	-
П.5.21.43.05	Отсутствие противоречий в реализации интерфейса между модулями	-
П.5.21.43.06	Отсутствие противоречий в реализации интерфейса с пользователем	-
П.5.21.43.07	Отсутствие противоречий в реализации настройки системы	-
П.5.21.43.08	Отсутствие противоречий в реализации диагностики системы	-
П.5.21.43.09	Отсутствие противоречий в использовании общих переменных	-
П.6.22.44.01	Предусмотрена ли реализация централизованного управления средствами управления, конкурирующих из-за ресурсов	Экспертный	0 - 1
П.6.22.44.02	Есть ли возможность автоматически обходить ошибочные ситуации в процессе вычислений	То же	0 - 1
П.6.22.45.01	Имеются ли в описании требований сведения в отношении устойчивости функционирования при наличии ошибок во входных данных	«»	0 - 1
П.6.22.45.02	Реализована ли обработка ошибочных ситуаций	«»	0 - 1
П.6.22.45.03	Количество обрабатываемых ошибочных ситуаций	«»	0 - 1
П.6.22.45.04	Тесты для проверки значений из области допустимых значений входных данных	«»	0 - 1
П.6.22.45.05	Предусмотрена ли система контроля полных входных данных	«»	0 - 1
П.6.22.45.06	Предусмотрены ли средства контроля корректности входных данных	«»	0 - 1
П.6.22.45.07	Предусмотрены ли средства контроля непротиворечивости входных данных	«»	0 - 1
П.6.22.46.01	Имеются ли в описании требований сведения в отношении возможностей восстановления по сбоям операционной системы, процесса, внешних устройств	«»	0 - 1
П.6.22.46.02	Предполагается ли реализация мер по восстановлению результатов при неожиданных отказах процесса, ОС	«»	0 - 1
П.6.22.46.03	Имеются ли средства защиты от сбоев оборудования	«»	0 - 1
П.6.22.46.04	Имеется ли возможность разделения во времени выполнения отдельных функций программ	«»	0 - 1
П.6.22.46.05	Предусмотрена ли возможность повторного рестарта программы с точки останова	«»	0 - 1
П.6.23.49.01	Наличие проверок входных данных	«»	0 - 1
П.6.23.49.02	Наличие проверки параметров, адресов и прочее по диапазону их значений	«»	0 - 1
П.6.23.49.03	Наличие поддержки критических результатов	Экспертный	0 - 1
П.6.23.49.04	Наличие обработки неопределенностей (деление на ноль, квадратный корень из отрицательного числа ...)	То же	0 - 1
П.6.23.49.05	Наличие средств, обеспечивающих безаварийное завершение в случае помех	«»	0 - 1
П.6.23.49.06	Наличие средств, обеспечивающих функционирование в сокращенном объеме в случае ошибок или помех	«»	0 - 1
П.6.23.50.01	Имеются ли требования по времени обработки запросов и директив пользователя	«»	0 - 1
П.6.23.50.02	Соответствуют ли требования по времени обработки запросов и директив пользователя характеру задач	«»	0 - 1
П.6.23.51.01	Вероятность безотказной работы	Расчетный	Р = 1 - Q/N,
			где Q - число зарегистрированных отказов;
			N - число экспериментов;
			Р - вероятность безотказной работы
П.6.23.51.02	Прогноз общего числа ошибок	Расчетный	В = К· R / 1000,
П.6.23.51.02	Прогноз общего числа ошибок	Расчетный	где R - общее число команд в программе К_o = 0,25 - 10 ошибок на 1000 команд (конкретное значение коэффициента К_o устанавливается экспертным путем)
П.6.23.51.03	Показатель устойчивости к искажающим воздействиям	Расчетный	Р = 1 - D / K,
П.6.23.51.03	Показатель устойчивости к искажающим воздействиям	Расчетный	где К - число экспериментов, в которых имитировались искажающие воздействия; D - число экспериментов, в которых искажающие воздействия приводили к отказу
П.6.23.51.04	Среднее время восстановления	Расчетный	Z_B = 1 / N_b·Т,
П.6.23.51.04	Среднее время восстановления	Расчетный	где N_B - количество отказов; Т - время восстановления работоспособности после отказа
П.6.23.51.05	Продолжительность преобразования входного набора данных в выходной	Расчетный	∆T_pi = T_в_i - T_ni
П.6.23.51.06	Среднее значение продолжительности преобразования данных	Расчетный	где T_в_i - время выдачи потребителю результатов преобразования i-го набора входных данных; T_ni - время поступления i-го набора входных данных
П.7.25.16.01	Имеется ли наличие схемы, отображающей иерархическую декомпозицию системы на модули	Экспертный	0 - 1
П.7.25.16.02	Каково количество уникальных модулей	То же	0 - 1
П.7.25.47.01	Имеются ли ограничения на размеры модулей	«»	0 - 1
П.7.25.48.01	Используется язык высокого уровня	«»	0 - 1
П.7.25.48.02	Общее количество переходов по условию - (A)	Расчетный	оценка = (1 - А / В)
П.7.25.48.03	Общее количество исполняемых операторов - (В)	То же	оценка = (1 - А / В)
П.7.25.76.01	Реализована ли проверка корректности передаваемых данных	«»	0 - 1
П.7.25.76.02	Общее количество точек входа в модули - (D)	«»	оценка = (1 / (D + 1))
П.7.25.76.03	Общее количество точек выхода из него - (F)	«»	оценка = (1 / (DF + 1))
П.7.25.76.04	Каково суммарное значение общего количества циклов	Расчетный	0 - 1
П.7.25.76.04	Осуществляется ли передача результатов работы модуля через вызывающий его модуль	Расчетный	0 - 1
П.7.25.76.05	Предусмотрена ли реализация независимости модуля от типов и форматов входных данных	То же	0 - 1
П.7.26.56.01	Снабжены ли комментариями все машинозависимые фрагменты	«»	0 - 1
П.7.26.56.02	Снабжены ли комментариями машинозависимые операторы программы	«»	0 - 1
П.7.26.56.03	Имеются ли комментарии в точках программы, являющихся точками входа (выхода)	«»	0 - 1
П.7.26.57.01	Представлены ли комментарии единым образом в соответствии с принятыми соглашениями	«»	0 - 1
П.7.26.57.02	Имеются ли комментарии-заголовки программы с указанием основных ее конструкционных и функциональных характеристик	«»	0 - 1
П.7.26.57.03	Достаточно ли ясно и точно описана последовательность всех элементов функционирования системы	«»	0 - 1
П.7.27.54.01	Принят ли при построении программ метод структурного программирования	«»	0 - 1
П.7.27.54.02	Соблюдается ли принцип развития программы сверху вниз	«»	0 - 1
П.7.27.54.03	Общее количество циклов с одним входом и общим выходом	Экспертный	0 - 1
П.8.28.59.01	ПС используется язык общения, близкий к разговорному	То же	0 - 1
П.8.28.59.02	ПС легко и быстро загружается и запускается	«»	0 - 1
П.8.28.59.03	Легко и быстро заканчивается работа ПС	«»	0 - 1
П.8.28.59.04	Имеется возможность банка данных	«»	0 - 1
П.8.28.59.05	Имеется возможность приостановка и повторного запуска работы без потерь	«»	0 - 1
П.8.28.60.01	Соответствие меню требованиям пользователя (представление управляющих данных меню, близкое к естественному)	«»	0 - 1
П.8.28.60.02	Имеется возможность реализации перехода вверх и вниз по многоуровневому меню на основе знаний пользователя (пропуск иерархических уровней)	«»	0 - 1
П.8.28.61.01	Короткая или длинная информация, запрашивается в определенную точку программы	«»	0 - 1
П.8.28.61.02	Полученная информация достаточна для продолжения работы	«»	0 - 1
П.8.28.62.01	Обеспечивается удобство ввода данных	«»	0 - 1
П.8.28.62.02	Выходные данные легко воспринимаются	«»	0 - 1
П.8.28.63.01	ПС обеспечивает разработанные рабочие процедуры	«»	0 - 1
П.8.28.63.02	ПС обеспечивает достаточную информацию для дополнительного составления специальных рабочих процедур	«»	0 - 1
П.8.29.64.01	Имеется общая формулировка работы ПС	«»	0 - 1
П.8.29.64.02	Имеется описание решаемых задач	«»	0 - 1
П.8.29.64.03	Имеется описание ограничений применения	«»	0 - 1
П.8.29.64.04	Имеется описание иерархической структуры модулей ПС	«»	0 - 1
П.8.29.64.05	Имеется описание основных функций ПС	«»	0 - 1
П.8.29.64.06	Имеется описание частных функций ПС	«»	0 - 1
П.8.29.64.07	Имеется описание алгоритмов	Экспертный	0 - 1
П.8.29.64.08	Имеется описание межмодульных интерфейсов	То же	0 - 1
П.8.29.64.09	Имеется описание пользовательских интерфейсов	«»	0 - 1
П.8.29.64.10	Имеется описание входных и выходных данных	«»	0 - 1
П.8.29.64.11	Имеется описание сообщений ПС об ошибках	«»	0 - 1
П.8.29.64.12	Имеется описание характеристик мощности ПС	«»	0 - 1
П.8.29.64.13	Имеется описание аппаратурного фона, необходимого для функционирования ПС	«»	0 - 1
П.8.29.64.14	Имеется описание программного фона, необходимого для функционирования ПС	«»	0 - 1
П.8.29.64.15	Имеется описание информации, необходимой для ввода в эксплуатацию	«»	0 - 1
П.8.29.64.16	Имеется описание информации о мобильности	«»	0 - 1
П.8.29.65.01	Правильность содержания документации	«»	0 - 1
П.8.29.65.02	Правильность оформления документации	«»	0 - 1
П.8.29.65.03	Правильность с точки зрения грамматики	«»	0 - 1
П.8.29.65.04	Отсутствие противоречий	«»	0 - 1
П.8.29.65.05	Отсутствие неправильных ссылок	«»	0 - 1
П.8.29.65.06	Ясность каждого высказывания	«»	0 - 1
П.8.29.65.07	Отсутствие неоднозначных высказываний	«»	0 - 1
П.8.29.65.08	Использование соответствующих терминов	«»	0 - 1
П.8.29.65.09	Краткость, отсутствие лишней детализации	«»	0 - 1
П.8.29.65.10	Единство формулировки	«»	0 - 1
П.8.29.65.11	Единство обозначения	«»	0 - 1
П.8.29.65.12	Отсутствие лишних повторений	«»	0 - 1
П.8.29.65.13	Присутствие нужных объяснений	«»	0 - 1
П.8.29.65.14	Единство содержания	«»	0 - 1
П.8.29.65.15	Точность представления	«»	0 - 1
П.8.29.66.01	Стиль, подходящий пользователю	«»	0 - 1
П.8.29.66.02	Дидактическая разделенность	«»	0 - 1
П.8.29.66.03	Формальная разделенность	«»	0 - 1
П.8.29.66.04	Ясная логическая структура	«»	0 - 1
П.8.29.66.05	Верность теме	Экспертный	0 - 1
П.8.29.66.06	Читаемость	То же	0 - 1
П.8.29.66.07	Разборчивость	«»	0 - 1
П.8.29.66.08	Соблюдение стандартов и грамматических правил языков	«»	0 - 1
П.8.29.66.09	В тексте мало ссылок вперед	«»	0 - 1
П.8.29.67.01	Имеется оглавление	«»	0 - 1
П.8.29.67.02	Имеется предметный указатель	«»	0 - 1
П.8.29.67.03	Имеется сквозная референция	«»	0 - 1
П.8.29.67.04	Найдены все главы	«»	0 - 1
П.8.29.67.05	Непрерывная нумерация страниц	«»	0 - 1
П.8.29.67.06	Отсутствие незаконченных разделов, абзацев, предложений	«»	0 - 1
П.8.29.67.07	Присутствие всех рисунков, формул, таблиц	«»	0 - 1
П.8.29.67.08	Присутствие всех строк и примечаний	«»	0 - 1
П.8.29.67.09	Логический порядок глав	«»	0 - 1
П.8.29.67.10	Логический порядок частей внутри главы	«»	0 - 1
П.8.29.68.01	Имеется список вариантов документации	«»	0 - 1
П.8.30.69.01	Освоение использования программного средства путем изучения документации	«»	0 - 1
П.8.30.69.02	Освоение программного средства с помощью информации для пользователя (контрольный пример) путем ознакомления на ЭВМ	«»	0 - 1
П.8.30.69.03	Возможность постепенного освоения всего программного средства	«»	0 - 1
П.8.30.70.01	Полнота и понятность документации для освоения	«»	0 - 1
П.8.30.70.02	Точность документации для освоения	«»	0 - 1
П.8.30.70.03	Техническое исполнение документации	«»	0 - 1
П.9.31.00.01	Проблемно-ориентированные функции	«»	0 - 1
П.9.31.00.02	Машинно-ориентированные функции	«»	0 - 1
П.9.31.00.03	Функции ведения и управления	«»	0 - 1
П.9.31.00.04	Функции ввода-вывода	«»	0 - 1
П.9.31.00.05	Функции защиты данных и проверки данных	Экспертный	0 - 1
П.9.31.00.06	Функции защиты доступа	То же	0 - 1
П.9.31.00.07	Функции контроля доступа	«»	0 - 1
П.9.31.00.08	Функции защиты от внесения изменений	«»	0 - 1
П.9.31.00.09	Соответствующие границы функциональных областей	«»	0 - 1
П.9.32.00.01	Время выполнения программ	Расчетный	0 - 1
П.9.32.00.02	Время реакции и ответов	То же	0 - 1
П.9.32.00.03	Время подготовки	«»	0 - 1
П.9.32.00.04	Время рестарта	«»	0 - 1
П.9.32.00.05	Затраты времени для защиты данных	«»	0 - 1
П.9.33.00.01	Количество позиций после запятой в результате вычислений	«»	0 - 1
П.9.34.00.01	Требуемый объем внутренней памяти	«»	0 - 1
П.9.34.00.02	Требуемый объем внешней памяти	«»	0 - 1
П.9.34.00.03	Требуемые периферийные устройства	«»	0 - 1
П.9.34.00.04	Требуемое базовое программное обеспечение	«»	0 - 1

Выбор оценочных элементов по классу технико-экономических показателей производят по отраслевым стандартам и руководящим документам.

ИНФОРМАЦИОННЫЕ ДАННЫЕ

1. РАЗРАБОТАН И ВНЕСЕН Государственным комитетом СССР по стандартам, Министерством высшего и среднего специального образования СССР (МИЭТ), Министерством высшего и среднего специального образования РСФСР (МАТИ), Министерством приборостроения, средств автоматизации и систем управления СССР (Центрпрограммсистем)

ИСПОЛНИТЕЛИ

О.Б. Брусникина; Н.М. Королькова; А.В. Котков; С.Л. Котов; О.И. Лисов, к.т.н.; З.И. Ломакина; О.С. Самсонов, к.т.н.; М.С. Суровей; B.C. Хухорев, к.т.н.; П.А. Шалаев, к.т.н. (руководитель темы)

2. УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Государственного комитета СССР по стандартам № 3659 от 24.09.87

СОДЕРЖАНИЕ

1. Общие положения. 1

2. Классификация показателей оценки качества ПМК.. 1

3. Методы определения значений показателей качества ПМК.. 7

4. Методические принципы оценки показателей качества ПМК.. 7

Приложение 1 Модель жизненного цикла ПМК.. 12

Приложение 2 Словарь-справочник оценочных элементов. 12