Автоматическая идентификация

ИДЕНТИФИКАЦИЯ БИОМЕТРИЧЕСКАЯ

Эксплуатационные испытания и протоколы
испытаний в биометрии

Часть 2

Методология проведения технологического
и сценарного испытаний

ISO/IEC 19795-2:2006
Information Technology - Biometric performance testing and
reporting - Part 2: Testing methodologies for technology and scenario evaluation
(IDT)

Предисловие

Цели и принципы стандартизации в Российской Федерации установлены Федеральным законом от 27 декабря 2002 г. № 184-ФЗ «О техническом регулировании», а правила применения национальных стандартов Российской Федерации - ГОСТ Р 1.0-2004 «Стандартизация в Российской Федерации. Основные положения»

Сведения о стандарте

1 ПОДГОТОВЛЕН Научно-исследовательским и испытательным центром биометрической техники Московского государственного технического университета имени Н.Э. Баумана (НИИЦ БТ МГТУ им. Н.Э. Баумана) на основе собственного аутентичного перевода стандарта, указанного в пункте 4, при консультативной поддержке Ассоциации автоматической идентификации «ЮНИСКАН/ГС1 РУС»

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 355 «Автоматическая идентификация»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 декабря 2008 г. № 448-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 19795-2:2006 «Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 2. Методология проведения технологического и сценарного испытаний» (ISO/IEC 19795-1:2006 «Information Technology - Biometric performance testing and reporting - Part 2: Testing methodologies for technology and scenario evaluation») за исключением приложения F. Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2004 (пункт 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных (региональных) стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении F

5 ВВЕДЕН ВПЕРВЫЕ

Информация об изменениях к настоящему стандарту публикуется в ежегодно издаваемом информационном указателе «Национальные стандарты», а текст изменений и поправок - в ежемесячно издаваемых информационных указателях «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячно издаваемом информационном указателе «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии

СОДЕРЖАНИЕ

Введение

Настоящий стандарт входит в комплекс стандартов и технических отчетов, которые были разработаны подкомитетом ИСО/МЭК СТК1/ПК37 с целью установления требований к автоматической идентификации на основе биометрических характеристик.

Стандарт устанавливает общие требования к разработке, проведению и представлению результатов двух основных видов эксплуатационных испытаний биометрических систем - технологического и сценарного.

Настоящий стандарт рекомендуется использовать совместно с другими стандартами комплекса «Идентификация биометрическая».

Сноски в тексте стандарта приведены для пояснения текста стандарта и выделены курсивом.

Автоматическая идентификация

ИДЕНТИФИКАЦИЯ БИОМЕТРИЧЕСКАЯ

Эксплуатационные испытания и протоколы испытаний в биометрии

Часть 2

Методология проведения технологического и сценарного испытаний

Automatic identification. Biometrics. Biometric performance testing and reporting. Part 2. Testing methodologies for
technology and scenario evaluation

1 Область применения

Настоящий стандарт устанавливает требования к сбору, анализу данных и протоколированию результатов двух основных видов испытаний - технологического и сценарного.

Требования настоящего стандарта распространяются на:

- разработку и полноценное описание протоколов для технологического и сценарного испытаний;

- методы проведения испытаний биометрических систем и протоколирование их результатов, отражающих параметры, присущие определенным видам биометрических испытаний.

2 Соответствие

Методы проведения технологического и сценарного испытаний должны соответствовать требованиям настоящего стандарта.

Требования настоящего стандарта к методам проведения сценарного испытания отличаются от требований, установленных для технологического испытания. Требования настоящего стандарта к методам проведения испытания систем идентификации отличаются от требований, установленных для испытания систем верификации. Соответствие систем автоматической идентификации требованиям настоящего стандарта может быть обеспечено только в случае соответствия методов испытаний требованиям, изложенным в следующих разделах настоящего стандарта (см. таблицу 1).

Таблица 1 - Требования соответствия методов испытаний типам сравнения

3 Нормативные ссылки

В стандарте использована нормативная ссылка на следующий стандарт, который необходимо учитывать при использовании настоящего стандарта. В случае ссылок на документы, у которых указана дата утверждения, необходимо пользоваться только указанной редакцией. В случае, когда дата утверждения не приведена, следует пользоваться последней редакцией ссылочных документов, включая любые поправки и изменения к ним:

ИСО/МЭК 19795-1 Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура

4 Термины и определения

В настоящем стандарте применены термины и определения, установленные в ИСО/МЭК 19795-1, а также следующие термины:

4.1 Биометрические данные

4.1.1 биометрический шаблон/эталон/модель (biometric reference/template/model): Хранимое контрольное измерение пользователя, основанное на признаках, извлеченных из зарегистрированных образцов.

4.2 Компоненты биометрической системы

4.2.1 блок извлечения признаков (feature extractor): Устройство, предназначенное для извлечения признаков из образца.

4.2.2 блок создания биометрического шаблона (biometric reference generator): Устройство, предназначенное для преобразования образца в биометрический шаблон.

4.3 Взаимодействие пользователя с биометрической системой

4.3.1 акклиматизация (acclimatization): Временное ухудшение биометрических характеристик в процессе испытания, которое может влиять на способность датчика обрабатывать образец.

4.3.2 уровень затрачиваемых усилий (effort level): Число представлений, попыток или транзакций, необходимых для успешной регистрации или успешного сравнения в биометрической системе.

4.3.3 попытка регистрации (enrollment attempt): Предоставление испытуемым субъектом одного или нескольких биометрических образцов для регистрации в биометрической системе.

Примечание 1 - Для совершения транзакции регистрации может разрешаться или требоваться одна или несколько попыток регистрации. Попытка регистрации может состоять из одного или нескольких представлений данных для регистрации.

Примечание 2 - Взаимосвязь между представлениями, попытками и транзакциями указана в приложении В.

4.3.4 предельное число попыток регистрации (enrollment attempt limit): Максимальное число попыток (или максимальная продолжительность попытки регистрации), которое может осуществить испытуемый субъект, прежде чем транзакция регистрации будет прекращена.

4.3.5 представление для регистрации (enrolment presentation): Предоставление экземпляра биометрической характеристики испытуемого субъекта для регистрации.

Примечание - Для совершения попытки регистрации может разрешаться или требоваться одно или несколько представлений для регистрации. Представление для регистрации может приводить или не приводить к формированию попытки регистрации.

4.3.6 предельное число представлений для регистрации (enrolment presentation limit): Максимальное число представлений (или максимальная продолжительность представления), которое может осуществить испытуемый субъект до того, как попытка регистрации будет прекращена.

4.3.7 инструкция (guidance): Указания, предоставляемые администратором биометрической системы испытуемому субъекту в процессе регистрации или распознавания.

Примечание - Инструкция не является частью звуковой или графической обратной связи, обеспечиваемой биометрической системой в процессе регистрации или распознавания.

4.3.8 навыки (habituation): Уровень знаний испытуемого субъекта об устройстве.

Примечание - Испытуемый субъект, обладающий знаниями об использовании биометрического устройства, рассматривается как испытуемый субъект, обладающий навыками.

4.3.9 попытка сравнения (comparison attempt): Предоставление одного или нескольких биометрических образцов испытуемого субъекта с целью их дальнейшего сравнения в биометрической системе.

4.3.10 предельное число попыток сравнения (comparison attempt limit): Максимальное число попыток (или максимальная продолжительность попытки), которое может осуществить испытуемый субъект до того, как транзакция сравнения будет прекращена.

4.3.11 представление для сравнения (comparison presentation): Предоставление экземпляра биометрической характеристики испытуемого субъекта для сравнения с шаблоном.

Примечание - Для совершения попытки сравнения может разрешаться или требоваться одно или несколько представлений для сравнения. Представление для сравнения может в результате приводить или не приводить к формированию попытки сравнения.

4.3.12 предельное число представлений для сравнения (comparison presentation limit): Максимальное число представлений (или максимальная продолжительность представления для сравнения), которое может осуществить испытуемый субъект до того, как попытка сравнения будет прекращена.

4.4 Эксплуатационные характеристики

4.4.1 вероятность отказа обработки исходных данных (failure at source rate): Доля образцов, удаленных из базы данных (либо вручную, либо автоматически) до начала ее использования в технологическом испытании.

Пример - Доля изображений, собранных в процессе сбора данных лица, которые могут быть удалены в случае, если изображения лица являются дефектными.

5 Обзор технологических и сценарных испытаний

Настоящий стандарт устанавливает методы проведения двух видов испытаний - технологического и сценарного. Протокол испытания должен включать в себя информацию о виде проводимого испытания - технологического, сценарного или смешанного, которое совмещает элементы технологического и сценарного испытаний.

Технологическое испытание - это испытание одного или нескольких алгоритмов для одной биометрической модальности, проводимое в режиме отложенного задания и использующее ранее существовавшую либо специально собранную базу данных образцов. Преимущество технологического испытания заключается в его отделении от процесса взаимодействия человека с датчиком при сборе данных и процесса распознавания, что обеспечивает следующие возможности:

- возможность проведения испытания путем использования полного перекрестного сравнения. Технологическое испытание позволяет использовать всю испытуемую выборку в качестве претендентов на идентичность всем остальным субъектам (то есть самозванцам), что позволяет оценить вероятность ложного совпадения при сравнении «одного к N²», а не «одного к N»;

- возможность проведения пробных испытаний. Технологическое испытание может быть проведено без вывода результатов в режиме реального времени, что позволяет использовать его в рамках научно-исследовательской работы. Например, проведение замкнутых циклов испытаний позволяет определить влияние модификаций алгоритмов обработки, изменений динамических параметров (таких как уровень и структура затрачиваемых усилий) и использования различных баз данных изображений;

- возможность проведения испытаний на нескольких экземплярах биометрической характеристики с применением нескольких алгоритмов. Использование типовых процедур испытаний, стандартных интерфейсов и одинаковых метрик предоставляет возможность проведения серии испытаний биометрических систем с использованием нескольких экземпляров биометрической характеристики (например, три изображения лица) с применением нескольких алгоритмов (например, алгоритм А и алгоритм Б) или их комбинации;

- при условии, что база данных содержит подходящие образцы, технологическое испытание позволяет провести испытания всех модулей после интерфейса получения биометрических данных с помощью датчика, в том числе модуль (модули) проверки качества и обратной связи, модуль (модули) обработки сигнала, модуль (модули) обобщения изображений (в случае работы с мультимодальными биометрическими системами или системами, использующими несколько экземпляров биометрической характеристики), модуль (модули) извлечения и нормализации признаков, модуль (модули) обобщения признаков, модуль (модули) вычисления и обобщения степеней схожести и модуль (модули) нормализации показателей;

- какие-либо непредвиденные события, возникающие в процессе взаимодействия человека с датчиком, препятствуют воспроизводимости результатов, что усложняет проведение сравнительных испытаний биометрических систем. Устранение данного взаимодействия как фактора, влияющего на эксплуатационные характеристики, позволяет обеспечить воспроизводимость результатов испытаний. В режиме отложенного задания данное испытание можно повторять множество раз при незначительных затратах;

- если доступны данные образцов, то эксплуатационные характеристики могут быть определены по очень большим целевым выборкам с использованием образцов, собранных за длительный промежуток времени (в течение нескольких лет).

Примечание 1 - Составление базы данных образцов для проведения регистрации и вычисления степеней схожести в режиме отложенного задания позволяет точнее определять те образцы и попытки регистрации, которые будут использоваться в транзакциях.

Примечание 2 - Технологическое испытание всегда предполагает наличие хранилища данных для их последующей обработки в режиме отложенного задания. При сценарном испытании использование транзакций в режиме реального времени может быть проще для экспериментатора, поскольку система работает в обычном режиме и сохранение образцов не требуется, хотя и рекомендуется.

Сценарное испытание - это определение эксплуатационных характеристик биометрической системы с помощью прототипа или имитирующего приложения, осуществляемое в режиме реального времени. Преимущество проведения сценарного испытания заключается в учете процесса взаимодействия человека с датчиком при регистрации и распознавании, что обеспечивает следующие возможности:

- возможность определения влияния дополнительных попыток или транзакций на способность биометрической системы регистрировать или распознавать испытуемых субъектов;

- возможность определения пропускной способности биометрической системы при регистрации и распознавании с учетом продолжительности процессов представления и сбора образцов.

Примечание 3 - При испытаниях в режиме реального времени экспериментатор может принять решение не сохранять биометрические образцы, что снижает требования к подсистеме хранения данных и, в некоторых случаях, обеспечивает реальные условия работы системы. Однако при испытаниях в режиме реального времени образцы рекомендуется сохранять, что впоследствии позволяет проводить испытания и дальнейший анализ в режиме отложенного задания.

Примечание 4 - Испытание биометрической системы включает в себя сбор изображений или сигналов, используемых для формирования биометрических шаблонов при регистрации и расчета степеней схожести при последующих попытках. Собранные изображения и/или сигналы могут использоваться либо сразу для регистрации, верификации или идентификации в режиме реального времени попытки, либо сохраняться для последующего проведения указанных процедур в режиме отложенного задания.

Различия между технологическим и сценарным испытаниями приведены в таблице 2.

Таблица 2 - Различия между технологическим и сценарным испытанием

Примечание 5 - В таблице 2 приведены основные отличительные особенности испытаний биометрических систем; в некоторых случаях возможны исключения.

6 Технологическое испытание

6.1 Программа испытаний

6.1.1 Цель

Целью испытания является оценка характеристик биометрической системы при работе с целевым приложением в процессе регистрации, сбора данных и сравнения.

6.1.2 Степень соответствия приложения действительности

Если испытание проводят с целью оценки эксплуатационных характеристик биометрической системы в рамках одного приложения или одного принципа действия, то оно должно быть разработано и проведено таким образом, чтобы имитировать функциональные (ввод/вывод) и практические (например, процессы регистрации или верификации) особенности подобного приложения или принципа действия.

Пример - Если в реальных условиях в ходе попытки регистрации для образования транзакции регистрации собирается несколько изображений, то и программа технологического испытания должна соответствовать данным условиям.

По возможности испытуемые биометрические системы должны выводить степени схожести каждой попытки сравнения.

6.1.3 Определение соответствующих эксплуатационных характеристик

Экспериментаторы должны определить, какие эксплуатационные характеристики в дополнение к указанным в 6.3 могут быть проверены в процессе данного испытания.

Программа испытания должна обеспечивать, чтобы в процессе испытания все требуемые характеристики были проверены.

Экспериментаторы должны определить тип (типы) сравнения, которые будут применяться в ходе технологического испытания. Должны быть указаны один или несколько из следующих типов сравнения:

a) верификация;

b) идентификация на открытом множестве;

c) идентификация на замкнутом множестве.

Необходимо предоставить обоснование выбора того или иного типа сравнения, применяемого в рамках технологического испытания. Испытуемое сравнение должно быть применимо к рассматриваемому алгоритму. Испытание систем, разработанных для проведения особых типов сравнения (например, идентификация по спискам), должно обеспечивать формирование результатов соответствующего вида.

Примечание - Формулы расчета вероятностей ошибок приведены в ИСО/МЭК 19795-1, раздел 7.

6.1.4 Приоритет реализации биометрической системы

Программа испытания не должна устанавливать метод (методы), с помощью которых система биометрического распознавания реализует свои функции. Биометрическая система, осуществляющая распознавание, должна реализовывать данную функцию неким своим способом.

Примечание - Разделение того, что делает биометрическая система, и того, как она это делает, является фундаментальным принципом, позволяющим проводить испытания системы в режиме отложенного задания. В первую очередь необходимо определить ответственность экспериментатора и разработчика системы и разграничить их. По возможности испытуемая система должна рассматриваться как «черный ящик», основной функцией которой является принятие решений по результатам обработки полученных образцов. Алгоритмы принятия решений могут являться объектом интеллектуальной собственности, но в любом случае экспериментатора не должна интересовать данная проблема. Подобный подход упрощает проведение испытаний любых биометрических образцов.

Примеры

1 Если разрешение изображения отпечатка пальца составляет 1000 точек на дюйм, а испытуемая система способна обрабатывать изображения только с вдвое меньшим разрешением, то экспериментатор должен, во-первых, не уменьшать разрешение, так как метод уменьшения разрешения является нетривиальным, и, во-вторых, проинформировать разработчика системы о необходимости внедрения в систему функции уменьшения разрешения изображения.

2 Ряд одновременно полученных нефронтальных изображений лица может обрабатываться биометрической системой или устройством как минимум тремя способами: выбор наилучшего изображения, обобщение изображений или создание пространственной трехмерной модели. В любом случае система или устройство принимает решение самостоятельно.

3 Большинство автоматизированных систем идентификации по изображениям отпечатков пальцев (т.е. систем, которые идентифицируют записи, содержащие несколько отпечатков) содержат в себе механизм исключительной классификации, позволяющий разделять базу данных на части в соответствии с определенным критерием (наиболее простой пример - класс Генри) и осуществлять поиск только в той части базы данных, которой соответствует категория образца пользователя или «самозванца». За счет этого повышается пропускная способность, но при этом возникает вероятность снижения точности обработки. Компромиссное решение достигается путем установки разработчиком параметров исключительной классификации, а пропускная способность и точность обработки определяются путем выполнения полномасштабных испытаний для каждой конфигурации.

4 Если требуется показать эффективность использования нескольких изображений отпечатков пальцев в системе распознавания, то экспериментатор не должен вводить в систему отдельные изображения как отдельные образцы и проводить последующее обобщение показателей, полученных для каждого отдельного изображения (см. документы Американского национального института стандартов (ANSI), Национального института стандартов и технологий (NIST), а также разделы ИСО/МЭК 19794-2, касающиеся единых форматов обмена биометрическими данными (CBEFF)). Необходимо все изображения рассматривать как единственный обобщенный образец, при этом биометрическая система должна сама проводить обобщение. Более подробно данный вопрос рассмотрен в ИСО/МЭК 19794-2, а вопросы в отношении записей ANSI-NIST - в ANSI/NIST-ITL 1-2000 NIST Special Publication 500-245.

6.1.5 Политика раскрытия информации разработчикам

Экспериментатор перед началом испытания должен сформулировать политику, в соответствии с которой определяют, какая информация должна быть предоставлена разработчику перед транспортированием, установкой и настойкой испытательного оборудования, а какая - в процессе испытания.

6.1.6 Отсутствие взаимозаменяемости между попытками идентификации и попытками верификации

Степени схожести, полученные в ходе идентификации при поиске «один ко многим», не должны необоснованно представляться как результаты попыток верификации.

Примечание 1 - В соответствии с принципом максимального приближения испытания к реальным условиям эксплуатации, характеристики системы следует рассчитывать по результатам проведенных попыток (т.е. исходя из числа принятых и отклоненных попыток). Характеристики системы верификации следует оценивать по результатам последовательности запросов пользователя на проверку идентичности. Характеристики системы идентификации следует оценивать аналогичным образом при поиске «один ко многим». Даже в случае, если при поиске «один ко многим» создается полный список кандидатов, он не должен рассматриваться как результат N-го числа попыток верификации и использоваться в процессе оценки эксплуатационных характеристик системы верификации.

Примечание 2 - Расхождение результатов единичной попытки идентификации и N-го числа попыток верификации, в процессе которых осуществлялось сравнение «один к одному», обусловлено тем, что результаты верификации могут быть более точными, если в ходе так называемого процесса общей нормализации полученный от пользователя образец сравнивается с дополнительными скрытыми образцами. Данный метод позволяет регулировать первичную степень схожести с целью снижения вероятности ложного допуска за счет возможности более эффективной работы с порогами, зависящими от пользователей. При использовании данного метода эксплуатационные характеристики улучшаются за счет пропускной способности, так как дополнительные сравнения означают, что верификация в режиме «один к одному» также включает в себя сравнения в режиме «один к M», где М - число скрытых биометрических шаблонов.

Примечание 3 - Использование метода общей нормализации, осуществляемого самим биометрическим устройством, делает скрытым использование любой внутренне определенной зарегистрированной выборки.

6.1.7 Подтверждение моделей

Если модель, приближенный результат или прогноз эксплуатационных характеристик систем биометрической идентификации представляется вместо или в дополнение к эмпирическим данным, то такая модель должна быть по возможности подтверждена с помощью всех имеющихся данных, а результаты проверки должны быть полностью задокументированы.

6.1.8 Последовательность использования данных

Программа испытания должна определять порядок использования данных, который должен быть применим к используемому приложению. Биометрическая система должна обрабатывать данные только в заданной последовательности.

Примечание 1 - Транзакции, как правило, выполняются отдельно, поэтому биометрическая система требует завершения одной транзакции до начала другой.

Примечание 2 - Большинство биометрических приложений предполагает последовательное и раздельное использование биометрических систем или устройств, то есть если пользователи являются подлинными лицами, то биометрические системы используются после прохождения регистрации.

Примечание 3 - Некоторые задачи по идентификации могут быть непоследовательными. Например, групповую идентификацию всех людей в замкнутом помещении осуществить довольно просто, так как процесс идентификации представляет собой линейную задачу.

6.1.9 Процедуры, предшествующие испытанию

6.1.9.1 Установка и проверка работоспособности

Испытательная организация должна проследить за тем, что все аппаратное и программное обеспечение установлено и должным образом настроено, и убедиться в том, что биометрическая система функционирует правильно.

Примечание - При установке, настройке и проверке работоспособности биометрической системы может потребоваться участие разработчика (разработчиков).

6.1.9.2 Подготовка данных

Подготовка данных заключается в удалении из образцов персонифицированных данных об испытуемом субъекте и любых других метаданных, которые, как правило, будут недоступны системе (например, пол, возраст). В противном случае разработчик может получить истинную идентификационную информацию об испытуемых субъектах и сфальсифицировать результаты испытания.

6.1.10 Общая последовательность проведения испытания

Технологическое испытание проводят в следующей последовательности:

- зарегистрированные образцы преобразуют в биометрические шаблоны, которые могут быть сохранены в виде линейной подборки;

- образцы, используемые для идентификации и верификации, преобразуют в признаки образца;

- попытки верификации представляют собой прямое сравнение признаков образца с биометрическими шаблонами;

- попытки идентификации на замкнутом множестве представляют собой поиск аналогичного образца среди зарегистрированной выборки с целью установления идентификатора пользователя;

- попытки идентификации на открытом множестве представляют собой поиск аналогичного образца в базе данных зарегистрированных пользователей, а также

a) установление одного или нескольких идентификаторов;

b) вывод нулевого идентификатора, указывающего на то, что испытуемый субъект не найден в базе данных зарегистрированных пользователей.

Примечание 1 - Указанные выше операции могут быть реализованы как на уровне API (интерфейса прикладного программирования), так и с помощью создания скриптов для программных модулей.

Примечание 2 - Описание последовательности проведения основных видов технологических испытаний приведено в приложении А.

6.2 Компоновка подходящей для испытания базы данных

6.2.1 Общие положения

Технологическое испытание предназначено для оценки эксплуатационных характеристик одного или нескольких биометрических алгоритмов регистрации и сравнения. При планировании технологического испытания необходимо учитывать, какие данные должен получить экспериментатор.

6.2.2 Однозначная регистрация

Все образцы, находящиеся в базе данных, должны соответствовать реальным людям. Программа испытания не должна включать в себя преднамеренную регистрацию нескольких биометрических образцов одного и того же субъекта, как если бы они были получены от разных субъектов. Испытания, при которых каждая идентичность соответствует конкретному субъекту, испытательная организация должна сопровождать описанием процедур, обеспечивающих выполнение данного требования.

Если структура базы данных такова, что она может содержать несколько идентичностей, соответствующих одному субъекту, то, если это целесообразно, такая база данных может быть приведена в соответствие данному требованию путем удаления идентичностей. В противном случае испытание должно проводиться с допущением, что каждая идентичность соответствует разным субъектам.

Примечание 1 - Биометрические системы предназначены для однозначной идентификации субъектов. Если одному субъекту соответствует несколько изображений или сигналов, то для регистрации и сравнения они должны быть обобщены в один образец.

Примечание 2 - Не допускается использовать в системе идентификации несколько образцов (одной или нескольких модальностей), соответствующих одному и тому же субъекту, и при этом рассматривать попытки регистрации с использованием данных образцов как обособленные. Это недопустимо по следующим причинам:

- при идентификации осуществляется поиск по уже зарегистрированным образцам и формирование списка кандидатов. Когда несколько образцов проходят регистрацию независимо друг от друга, то обобщение показателей для каждого из этих образцов предполагается с использованием критерия максимума, потому что наибольший показатель имеет преимущество. Даже если число образцов, соответствующих каждому отдельному субъекту, одинаково для всех субъектов, применять подобную практику не рекомендуется, так как обобщение образцов является задачей разработчика и он должен предоставить наилучшее по его мнению решение;

- если объем зарегистрированной выборки не будет соответствовать числу субъектов, то вероятности ошибок, которые зависят от числа зарегистрированных пользователей N, также будут неправильным.

Примечание 3 - В данном разделе не рассматривается испытание, в процессе которого оценивается влияние использования нескольких (отдельных) зарегистрированных биометрических шаблонов от каждого испытуемого субъекта, поскольку оно должно быть описано в программе и протоколе испытания.

6.2.3 Повторяемость процесса сбора данных

В зависимости от уровня доступа экспериментатора к испытуемой выборке каждый испытуемый субъект может предоставлять свои данные несколько раз в нескольких сеансах. Число транзакций и сеансов может быть увеличено с целью более точной оценки эффекта старения биометрических шаблонов, а также эффектов приобретения испытуемыми субъектами навыков использования устройств.

6.2.4 Идентификация испытуемого субъекта

Экспериментатор должен предоставить информацию, относящуюся к процессу идентификации испытуемого субъекта, включая, как минимум, следующие данные:

a) типы идентификаторов, использовавшихся для идентификации испытуемых субъектов;

b) объем и тип собранных персональных данных.

6.2.5 Предоставление небиометрической информации

Метаданные, если таковые присутствуют в базе данных и могут быть использованы, также должны быть предоставлены испытуемой биометрической системе (системам). Протокол испытания должен содержать информацию о наименованиях и типах переменных метаданных, которые в ходе испытания были доступны системе.

Пример - К таким данным относятся, например, особенности датчика (его настройки), условия окружающей среды (температура, влажность), особенности испытуемого субъекта (пол, возраст) или любая другая подобная информация.

Примечание - В рамках технологического испытания невозможно учесть все аспекты работы биометрической системы в реальных условиях, но из программы испытания не следует исключать те аспекты работы системы, которые в реальных условиях являются излишними.

6.2.6 Репрезентативность базы данных

Программа испытания должна учитывать, а протокол испытания должен включать в себя оценку данных из базы данных на предмет их пригодности для целей испытания или использования в соответствующих приложениях.

Если данные получены под контролем испытательной организации, то информация о взаимодействии экспериментатора и испытуемого субъекта по вопросам акклиматизации, приобретения навыков и получения инструкций также должна быть занесена в протокол испытания.

Примечание 1 - Использование технологического испытания с целью прогнозирования эксплуатационных характеристик системы основано на предположении, что образцы данных, собираемые в реальных условиях, будут иметь тот же формат и то же качество, что и образцы, использовавшиеся в процессе испытания.

Примечание 2 - В идеальном случае при сборе данных для различных модальностей уровни навыков, акклиматизации, инструктажа и т.д. должны быть одинаковыми.

6.2.7 Объективность базы данных

База данных может считаться в той или иной степени необъективной, если:

a) разработчик имел доступ к базе данных;

b) разработчик предоставил оборудование, использовавшееся при создании или обработке базы данных, особенно если подобная деятельность повлияла на характер или качество базы данных (например, удаление некоторых образцов);

c) испытуемая система ранее была проверена и настроена с использованием данной базы данных.

Необходимость использования необъективной базы данных должна быть отражена в протоколе испытания.

Данные образцов не должны использоваться в испытании, если один или несколько разработчиков ранее имели к ним доступ. Предыдущее испытание или настройка системы с использованием базы данных (всей или ее фрагмента) должно быть отражено в протоколе испытания.

Примечание 1 - Данным требованием не следует пренебрегать, поскольку эксплуатационные характеристики могут быть необоснованно улучшены (сфальсифицированы).

Примечание 2 - Следует иметь в виду, что, как правило, простого изменения образца недостаточно для того, чтобы обойти ограничение на его повторное использование. Необоснованное улучшение (фальсификация) результатов возможно в случае, если сохранена хотя бы одна уникальная особенность образцов, ранее использовавшихся в испытании.

6.2.8 Изъятие базы данных из использования

Образцы не должны повторно использоваться в испытании, если одна или несколько испытуемых систем были настроены на основе эксплуатационных характеристик, полученных в ходе предыдущих испытаний с использованием этих данных.

Примечание 1 - Как правило, данная ситуация возникает при использовании обособленных данных.

Примечание 2 - При изъятии базы данных могут потребоваться дополнительные затраты, так как необходимо провести дополнительный сбор данных.

6.2.9 Проверка корректности базы данных

Проверка корректности - это процесс, с помощью которого данные испытуемых субъектов подвергаются отбору с целью удаления непригодных для испытания.

Проверка корректности также может также включать в себя проверки наличия данных испытуемых субъектов, корректности формата этих данных, правильности сбора образцов и того, что определены ошибки истинной информации.

Экспериментатор должен указать в протоколе, была ли проведена проверка корректности данных испытуемых субъектов. Если проверка корректности данных была проведена, экспериментатор должен предоставить детальный протокол о примененных методах проверки. Кроме того, протокол должен включать в себя информацию об объеме удаленных данных и о критериях, в соответствии с которым эти данные были удалены.

Примеры

1 Контроль качества базы данных может использоваться для отбора и удаления из базы данных испытуемых субъектов изображений, имеющих низкий контраст.

2 Из базы данных могут быть удалены образцы данных, которые не содержат изображения лица при использовании технологии распознавания по лицу (например, изображение лица отсутствует либо изображено тело целиком) или не содержат изображений отпечатков пальцев при использовании технологии распознавания по отпечаткам пальцев (например, присутствует только изображение ладони).

Примечание 1 - Так как проверка корректности некоторых типов биометрических данных может быть осуществлена проще, чем других, то процесс проверки корректности данных может приводить к ошибочным результатам испытания.

Примечание 2 - Данные, удаленные в процессе проверки корректности базы данных, следует отличать отданных, удаленных при отказе обработки исходных данных. В некоторых случаях для определения того, являются ли исключенные данные некорректными или ошибкой обработки исходных данных, требуется воспользоваться оценкой, проводимой экспертом.

6.2.10 Условия сбора базы данных

Условия окружающей среды, в которых происходил сбор данных, могут быть известны или определены. Такой сбор данных позволяет оценить эксплуатационные характеристики системы в особых условиях по отношению к нормальным условиям. Подобный контроль может устанавливаться за температурой, освещенностью, влажностью и другими факторами, которые предположительно оказывают влияние на эксплуатационные характеристики биометрической системы.

Доступная информация об условиях окружающей среды, в которых происходит сбор базы данных, имеющая значение для различных испытуемых модальностей, должна быть включена в протокол и отражать, например, следующие факторы:

- температуру окружающей среды;

- степень внешнего воздействия условий окружающей среды на компоненты биометрической системы;

- освещение (тип, направление, интенсивность);

- фоновые шумы;

- уровень вибрации.

В случае недоступности подобной информации экспериментатор должен указать это в протоколе испытания.

Примечание - Подробная информация о внешних факторах, влияющих на эксплуатационные характеристики, приведена в ИСО/МЭК 19795-1 (приложении С, подраздел С.2.6).

6.2.11 Отказ обработки исходных данных

При испытаниях в режиме отложенного задания используются сохраненные биометрические образцы, полученные либо с участием, либо без участия биометрической системы в процессе сбора данных. Протокол испытания должен содержать всю доступную информацию о предварительной обработке данных перед их использованием в испытании. В частности, если какие-то образцы были удалены (вручную или автоматической биометрической системой), то необходимо указывать вероятность отказа обработки исходных данных (далее - ВООИД).

Примечание 1 - Отказ обработки исходных данных может возникать из-за применяемого биометрического датчика или алгоритма оценки качества изображений, а не из-за самой испытуемой системы.

Примечание 2 - В некоторых случаях может потребоваться оценка эксперта. Например, если несколько ранее полученных образцов изображений будут полностью пустыми, то они обоснованно могут не учитываться при подсчете вероятности отказа обработки исходных данных, за исключением тех случаев, когда подобные образцы регулярно будут регулярно появляться в приложении, имитируемом в процессе испытания.

6.3 Оценка эксплуатационных характеристик

6.3.1 Регистрация

Протокол испытания в режиме отложенного задания должен содержать информацию о вероятности отказа регистрации, т.е. доле испытуемых субъектов, чьи предназначенные для регистрации образцы были объявлены системой непригодными для регистрации. Должен быть установлен критерий, в соответствии с которым объявляется отказ регистрации.

Примечание 1 - Отказ регистрации, определяемый в ходе технологического испытания, является только частью множества отказов, возникновение которых возможно при сборе образцов в реальных условиях.

Примечание 2 - Отказ регистрации может быть объявлен системой по любой причине. Как правило, система (соответствующим образом настроенная на определение и обработку изображения или сигнала и имеющая определенный критерий оценки качества) не может получить необходимый сигнал из-за его низкого качества.

Примечание 3 - Объявление системой отказа регистрации позволяет достичь при сравнении получения лучших эксплуатационных характеристик. Такое изменение одного показателя за счет другого должно учитываться путем обобщения вероятности отказа регистрации и вероятности ложного несовпадения при расчете обобщенной вероятности ложного недопуска (далее - ОВЛНД).

Экспериментатор должен указать минимальное и максимальное допустимые числа образцов для осуществления успешной регистрации.

Для каждой испытуемой биометрической системы экспериментатор должен вычислить следующее:

- распределение показателей качества регистрации, если это возможно;

- вероятность отказа регистрации для различных демографических групп, образцов, собранных при различных условиях окружающей среды, или для других логических сегментов базы данных.

6.3.2 Отказ сбора данных

Протокол испытания в режиме отложенного задания должен содержать информацию о доле попыток верификации или идентификации, в ходе которых системе не удалось получить или отобрать изображение или сигнал удовлетворительного качества. Данный показатель является вероятностью отказа сбора данных (далее - ВОСД).

Примечание 1 - Вероятность отказа сбора данных на этапе сравнения аналогична вероятности отказа регистрации на этапе регистрации, поэтому примечания 1 и 2 пункта 6.3.1 в данном случае также применимы.

Примечание 2 - Вероятность отказа сбора данных, а также вероятность ложного совпадения используются для определения вероятности ложного допуска.

Примечание 3 - В процессе технологического испытания отказ сбора данных, как правило, объявляется либо блоком декодирования, либо блоком сравнения и рассматривается как отказ в процессе совершения попытки.

Экспериментатор должен указать минимальное и максимальное допустимое число образцов для формирования признаков образца.

Формула для расчета ВОСД приведена в ИСО/МЭК 19795-1.

6.3.3 Эксплуатационные характеристики системы верификации

Для каждой испытуемой системы верификации экспериментатор должен вычислить следующее:

a) вероятность ложного совпадения (далее - ВЛС) и вероятность ложного несовпадения (далее - ВЛНС);

b) вероятность ложного недопуска (далее - ВЛНД) и вероятность ложного допуска (далее - ВЛД), кроме случаев, когда в соответствии с программой испытания ВЛД и ВЛНД идентичны ВЛС и ВЛНС;

c) число сравнений, проведенных для подлинных лиц и «самозванцев»;

d) для подлинных испытуемых субъектов - распределение времени, прошедшего в промежутке между регистрацией и получением признаков образца, если это возможно;

e) неопределенность результатов испытания, а также принципы и формулы для оценки неопределенности.

ВЛС и ВЛНС, а также ВЛД и ВЛНД могут быть представлены в виде кривых рабочих характеристик (далее - РХ) или кривых компромиссного определения ошибки (далее - КОО). Следует также определить число испытуемых субъектов и транзакций, используемых для получения данных вероятностей.

Примечание - Для систем, которые возвращают решение о схожести/несхожести без определения степеней схожести, эксплуатационные характеристики могут быть указаны одной рабочей точкой на кривой РХ или кривой КОО.

Для системы верификации экспериментатор также должен определить следующее:

a) распределение степеней схожести для подлинных испытуемых субъектов и «самозванцев»;

b) результаты верификации для различных демографических групп, образцов, собранных при различных условиях окружающей среды, или для других логических сегментов базы данных.

6.3.4 Эксплуатационные характеристики биометрической системы идентификации

Для всех биометрических систем идентификации экспериментатор должен вычислить неопределенность результатов испытания, а также определить принципы и формулы для вычисления неопределенности.

Для систем идентификации на замкнутом множестве экспериментатор должен вычислить следующее:

a) характеристики совокупной схожести (далее - ХСС);

b) число выполненных операций поиска.

Для систем идентификации на открытом множестве экспериментатор должен вычислить следующее:

c) вероятности ложноположительной идентификации (далее - ВЛПИ) и соответствующие вероятности ложноотрицательной идентификации (предпочтительно для нескольких порогов);

d) в случае использования исключительной классификации - вероятность ошибки исключительной классификации и вероятность проникновения.

Для всех систем идентификации экспериментатор должен вычислить следующее:

e) результаты идентификации для различных демографических групп, образцов, собранных при различных условиях окружающей среды, или для других логических сегментов базы данных.

6.3.5 Обобщенные вероятности ошибок, включающие в себя отказы регистрации и отказы сбора данных

6.3.5.1 Общие положения

Непосредственные результаты испытания, проведенного в режиме отложенного задания, - набор парных значений (ВЛС/ВЛНС) - должны быть обобщены с измеренными значениями ВОСД и вероятности отказа регистрации (далее - ВОР).

Примечание 1 - Поскольку биометрическая система может улучшить характеристики ложного допуска и ложного недопуска за счет отбраковки низкокачественных образцов, то для получения итоговых эксплуатационных характеристик системы необходимо обобщить ВОСД и ВОР с измеренными ВЛС и ВЛНС.

Если ВОСД и ВОР равны нулю, то это необходимо указать в протоколе испытания. В подобных случаях обобщенная вероятность ложного допуска (далее - ОВЛД) и ОВЛНД для транзакций, состоящих из одной попытки, не отличаются от обобщенных ВЛС и ВЛНС. Если ВОСД и ВОР не равны нулю, необходимо вычислить ВЛД и ВЛНД, что позволит отличать их от ВЛС и ВЛНС.

Примечание 2 - В некоторых случаях образцы, приведшие к отказу сбора данных или отказу регистрации, могут быть переданы разработчикам системы для дальнейшего изучения.

Примечание 3 - Для биометрических систем, которые возвращают решение о схожести/несхожести без определения степеней схожести, эксплуатационные характеристики могут быть указаны в виде одной рабочей точки на кривой РХ или кривой КОО.

Примечание 4 - При очень большом числе отказов регистрации или отказов сбора данных в результате испытания может быть получено низкое значение ОВЛД при высоком значении ОВЛНД.

6.3.5.2 Транзакции, состоящие из одной попытки

Для каждой испытуемой биометрической системы экспериментатор должен определить ОВЛД и ОВЛНД для транзакций, состоящих из одной попытки.

В случаях, когда транзакции состоят из одной попытки, ОВЛД может быть рассчитана как доля «самозванцев», успешно прошедших сбор данных и сравнение при некотором пороге t, по следующей формуле

ОВЛД(t) = ВЛС(t)(1 - ВОСД)(1 - ВОР),

где ОВЛНД - это доля подлинных лиц, образцы которых не были получены или зарегистрированы, либо при некотором пороге t произошел ложный недопуск. ОВЛНД рассчитывают по следующей формуле

ОВЛНД(t) = ВОСД + (1 - ВОСД)ВОР + (1 - ВОСД)(1 - ВОР)ВЛНС(t).

Данные формулы для вычисления ОВЛД и ОВЛНД справедливы только в том случае, если n = 1, где n - число попыток, разрешенных в транзакции.

Примечание 1 - Если регистрация проводится выборочно, то может потребоваться использование других формул.

Примечание 2 - Определения отказов регистрации и отказов сбора данных можно избежать, если указать, что все верификационные сравнения будут давать в результате степень схожести. Разработчик может выполнить данное требование путем внесения в биометрическую систему условий отказа регистрации или отказа сбора данных и указания в протоколе соответствующих минимальных значений, при которых биометрические шаблоны используются для сравнения в режиме «один к одному». Данный метод позволяет включить отказы регистрации и отказы сбора данных в характеристику КОО.

Примечание 3 - Кроме того, ОВЛД и ОВЛНД также могут быть определены путем:

- включения транзакций «самозванца» с отказом (т.е. транзакций, которые не были ни приняты, ни отвергнуты), а также транзакций «самозванца» с отказом регистрации в общее число транзакций «самозванца»;

- включения транзакций подлинного лица с отказом (т.е. транзакций, которые не были ни приняты, ни отвергнуты), а также транзакций подлинного лица с отказом регистрации в общее число транзакций подлинного лица;

- рассмотрения транзакций подлинного лица с отказом (т.е. транзакций, которые не были ни приняты, ни отвергнуты) и транзакций подлинного лица с отказом регистрации как ложного недопуска.

6.3.5.3 Транзакции, состоящие из нескольких попыток

В случаях, когда транзакции состоят из нескольких попыток, вычислить ОВЛД и ОВЛНД сложнее. Формулы для таких испытаний должны быть составлены в соответствии со спецификой испытания.

6.3.6 Пропускная способность

6.3.6.1 Общие положения

Испытательная организация может измерять пропускную способность методом, подходящим для испытуемой биометрической системы.

Если время транзакции является одной из измеряемых в процессе испытания эксплуатационных характеристик, то экспериментатор должен указать метод измерения времени транзакции, подходящий для испытуемой биометрической системы.

Примечание 1 - Рекомендуется, по возможности, измерять время всех операций регистрации и сравнения.

Примечание 2 - При испытании в режиме отложенного задания учитывается пропускная способность, определяемая только вычислительными компонентами биометрической системы. Например, при регистрации в процессе испытания в режиме отложенного задания из общего процесса регистрации учитываются только процессы анализа изображения и создания биометрического шаблона, в то время как аспекты, связанные с действиями человека (например, размещение пальца на датчике или снятие очков), не учитываются. Поэтому показатели пропускной способности системы при регистрации, полученные в процессе технологического испытания, являются нижней границей рабочих показателей ее пропускной способности.

6.3.6.2 Протоколирование результатов испытания пропускной способности

При вычислении статистических показателей пропускной способности биометрической системы в протоколе необходимо указать ее среднее значение. Также могут быть указаны следующие статистические показатели:

a) минимальное значение;

b) максимальное значение;

c) медиана;

d) стандартное отклонение.

Примечание - Если при испытаниях (в частности, испытаниях биометрической системы идентификации) используются зарегистрированные выборки разного объема, то экспериментатор должен указать временные характеристики биометрической системы, позволяющие оценить функциональную зависимость пропускной способности системы от размера базы данных, например, выявить линейную или квадратичную зависимость.

6.3.6.3 Протоколирование результатов испытания процесса сопоставления и пропускной способности

Пропускная способность биометрической системы является важным аспектом технологического испытания, так как в общем случае за счет снижения пропускной способности можно добиться уменьшения числа ошибок распознавания. В таких случаях полным описанием эксплуатационных характеристик является кривая КОО с дополнительной третьей осью показателя пропускной способности, с помощью которой персонал, подготавливающий систему к использованию, сможет выбрать подходящую рабочую точку. Кроме того, во многих биометрических системах изменение порога принятия решений требует предоставления либо большего, либо меньшего числа образцов, необходимых для успешного распознавания попытки регистрации подлинного лица, что также оказывает влияние на пропускную способность.

6.3.6.4 Измерение времени формирования биометрического шаблона и времени извлечения признаков образцов

В некоторых биометрических системах при формировании биометрических шаблонов и извлечении признаков для верификации и идентификации используются разные виды образцов и алгоритмов их обработки. Вследствие этого временные характеристики формирования биометрических шаблонов и извлечения признаков должны быть указаны в протоколе испытаний отдельно.

6.3.6.5 Одновременное измерение пропускной способности и вероятностей ошибок распознавания

Измерение пропускной способности может быть проведено при измерении вероятностей ошибок распознавания. В этом случае статистические данные результатов испытаний могут быть объединены.

6.3.6.6 Пропускная способность при попытках подлинных лиц и «самозванцев»

В соответствии с принципом максимальной приближенности испытания к реальным условиям пропускная способность биометрической системы может быть вычислена как для подлинных лиц, так и для «самозванцев». Полученные статистические данные могут быть указаны отдельно.

6.3.6.7 «Отладка» данных после регистрации

Следует иметь в виду, что после того как при испытании биометрических систем идентификации выборка пройдет регистрацию, может быть проведена так называемая «отладка» данных. Под «отладкой» данных понимается любой процесс, выполняемый биометрической системой в конце регистрации, который обычно используется для разделения векторов признаков с целью улучшения эксплуатационных характеристик.

6.3.6.8 Поиск уникальных образцов при регистрации

Регистрация выборки, проводимая в реальных условиях, как правило, включает в себя проверку уникальности образцов каждого нового регистрируемого субъекта. Это означает, что регистрация выборки, включающей в себя N субъектов, будет иметь затраты, пропорциональные квадрату объема выборки, т.е. N². В процессе технологического испытания уникальность образцов, как правило, изначально предполагается программой испытания, поэтому затраты на регистрацию линейно зависят от объема выборки.

Экспериментатор должен установить, является ли проверка уникальности образцов путем поиска «один ко многим» частью процесса регистрации. Это может быть установлено путем измерения продолжительности времени, затрачиваемого на регистрацию по мере увеличения объема базы данных зарегистрированных пользователей. Если увеличение времени регистрации наблюдается или известно, что оно будет происходить, экспериментатор должен указать это в протоколе испытания. Для того чтобы отделить время, необходимое для проверки уникальности образцов, от времени, затрачиваемого на регистрацию, программа испытания может потребовать отключения функции поиска дубликатов образцов.

Примечание - Допускается проведение отдельного испытания процесса регистрации с построением базы данных, начиная с нуля.

6.3.6.9 Аппаратное обеспечение

Если проводится оценка пропускной способности только программного обеспечения, а также сравнение нескольких алгоритмов, то испытания могут проводиться на одних и тех же аппаратных средствах и в одинаковых операционных средах. При этом необходимо проводить перезагрузку биометрической системы между определением пропускной способности каждого алгоритма.

Примечание - Под операционной средой понимаются одни и те же операционные системы, компиляции и компоновки программного обеспечения, а также одинаковый набор фоновых процессов, которые не должны быть ресурсоемкими (т.е. не должны загружать систему ввода/вывода, центральный процессор и т.д.).

6.4 Формирование протоколов

6.4.1 Общие положения

Результаты испытания должны быть представлены в виде протокола, который должен содержать описание всего процесса испытания. Все требования, изложенные в подразделах 6.1 - 6.3, также должны быть отражены в протоколе. Если требование невыполнимо или выходит за рамки испытания, протокол должен содержать соответствующую информацию.

Пример - Для биометрических систем, не позволяющих совершать несколько попыток или транзакций с целью сравнения, в протоколе необходимо указать, что необходимые результаты оценки эксплуатационных характеристик при различном уровне затрачиваемых усилий не могут быть предоставлены.

Если требование не было выполнено по причине недоступности информации, то в протоколе должно быть указано, что необходимые данные неизвестны, и приведена причина недоступности данных.

Пример - Испытательная организация может не иметь прав на сбор демографической информации по причине ее конфиденциальности. В данном случае в протоколе должно быть указано, что информация о демографических данных не была собрана из-за ее конфиденциального характера.

Протокол может быть ориентирован на разную аудиторию и предоставляться в виде отдельных частей в разное время.

6.4.2 Системная информация

6.4.2.1 Спецификации

Экспериментатор должен указать следующую информацию об испытуемых биометрических системах:

a) для устройств сбора данных: наименование предприятия-изготовителя, модель, версии устройства и программного обеспечения (ПО), если возможно. Если основные компоненты устройства сбора данных интегрированы с другими устройствами, изготовленными третьей стороной (например, если дактилоскопический датчик встроен в некое периферийное устройство), то достаточно указать только наименование предприятия изготовителя, модель, версии устройства и ПО основных компонентов сбора данных;

b) для алгоритмов сравнения: разработчик, версия;

c) спецификации платформы, на которой проводятся испытания биометрической системы, в том числе операционная система, вычислительная мощность процессора, память, наименование предприятия-изготовителя, тип базы данных, размер базы данных, модель.

6.4.3 Процесс сбора данных

Экспериментатор должен указать следующую информацию, относящуюся к сбору данных:

a) методы записи данных для каждой эксплутационной характеристики, в том числе тех, которые не записываются биометрической системой (системами);

b) процессы контроля и проверки сбора данных эксплуатационных характеристик, в том числе тех, которые не записываются биометрической системой (системами).

Экспериментатор должен привести примеры отдельных этапов сбора данных, таких как таблицы или протоколы, в виде снимков экрана («скриншотов») или в распечатанном виде.

6.4.3.1 Архитектура

Экспериментатор должен указать следующую информацию об испытуемой биометрической системе:

a) архитектуру, лежащую в основе сбора, обработки и хранения биометрических данных;

b) алгоритмы обмена данными между компонентами системы.

6.4.3.2 Результаты

Экспериментатор должен указать следующую информацию об испытуемой биометрической системе:

a) результаты, предоставляемые системой, в том числе степени схожести, решения о допуске/недопуске, список кандидатов, показатели качества регистрации и качества образцов;

b) диапазон степеней схожести, который способна выдавать система, а также соответствующие пороговые значения, установленные разработчиком;

c) диапазон показателей качества регистрации, который способна выдавать система, а также соответствующие пороговые значения, установленные разработчиком;

d) диапазон показателей качества образцов, который способна выдавать система, а также соответствующие пороги, определенные разработчиком;

e) метод (методы), с помощью которого(ых) система выдает результаты.

6.4.3.3 Метод реализации биометрической системы

Для каждой испытуемой биометрической системы в протоколе необходимо указать следующее:

a) способ сбора данных биометрической системой и платформой, на которой проводятся испытания биометрической системы;

b) степень вовлеченности разработчика в процесс выполнения системой своих функций.

6.4.4 Степень раскрытия информации

6.4.4.1 Предоставление протоколов сторонним организациям

Программа испытания должна содержать информацию о том, какие входные, промежуточные и выходные данные могут быть предоставлены сторонним организациям, не участвовавшим в разработке системы, в каком порядке и кому именно.

Примечание 1 - Некоторые испытания могут проводиться без предоставления каких-либо результатов сторонним организациям (полностью закрытые испытания), некоторые - с предоставлением результатов определенному кругу лиц, а некоторые могут быть полностью открытыми.

Примечание 2 - При полностью открытой информации об испытании протокол должен содержать следующую информацию: наименование предприятия-изготовителя, его контактные данные, протоколы обмена, исходные образцы, биометрические шаблоны, исходные степени схожести, данные о времени осуществления транзакций, данные по сбоям системы, вероятности ошибок и окончательные выводы.

Примечание 3 - Проведение сравнительного испытания является важным в коммерческом плане, поэтому официальное объявление видов и типов планируемых результатов является важным аспектом.

6.4.4.2 Степень раскрытия информации о признаках образцов

В программе испытания должно быть указано, какая информация об образцах может быть предоставлена разработчику биометрической системы и в какие сроки. Данное условие может быть изменено по официальному требованию разработчика.

Примечание - Как правило, любую запрашиваемую разработчиком информацию, которая не станет известной в процессе испытания, не предоставляют. Разработчики в официальном порядке могут запрашивать информацию о целевом применении биометрической системы, так как она должна быть настроена таким образом, чтобы обеспечивалось выполнение требований, установленных экспериментатором, например, общее число пользователей, число зарегистрированных пользователей, число «самозванцев», размер изображений, степень сжатия информации, продолжительность видеофрагментов и т.д.

6.4.5 Структура протокола

Протокол испытания должен содержать следующие разделы:

- основные положения;

- характеристики базы данных;

- методы испытания;

- сбор данных;

- анализ данных;

- хранение данных;

- результаты испытания;

- полную программу испытания.

7 Сценарное испытание

7.1 Разработка испытания

7.1.1 Характеристики приложения в режиме эмуляции

7.1.1.1 Принцип выполнения операций

Должно быть представлено описание приложения, моделируемого в процессе сценарного испытания.

Примечание - Приложение, моделируемое в процессе сценарного испытания, может варьироваться от базового до специального. Для базового приложения должен быть установлен ограниченный набор параметров. Примером такого приложения является испытание систем верификации, осуществляющих сравнение «один к одному» и применяемых внутри учреждения. Для специального приложения должно быть установлено множество параметров. Примером подобного приложения является испытание систем контроля доступа, осуществляющих сравнение «один к одному», основанных на маркерах доступа и применяемых внутри учреждения, где пользователи не имеют опыта работы с подобными устройствами.

7.1.1.2 Возможности сравнения

Экспериментаторы должны определить, будут ли в сценарное испытание включены процессы верификации, идентификации на открытом множестве и/или идентификации на замкнутом множестве.

Испытуемые возможности сравнения должны быть применимы для опытного образца системы или приложения в режиме эмуляции.

Должно быть предоставлено обоснование выбора того или иного типа сравнения, используемого в рамках сценарного испытания.

Примечание 1 - Сценарное испытание обычно используют для испытания биометрических систем, в которых осуществляется сравнение «один к одному» и транзакция совершается на основании запроса об идентичности. Системы идентификации могут быть подвергнуты сценарному испытанию при условии, что транзакции осуществляются в режиме реального времени, а результаты предоставляются наблюдателю в течение времени, необходимого для дальнейшего взаимодействия с системой.

Примечание 2 - Сценарное испытание может применяться для сравнения эксплуатационных характеристик биометрических систем верификации и идентификации. Для проведения таких испытаний необходима тщательная разработка программы испытаний и протоколирования результатов, обеспечивающих объективность представления полученных данных. Например порядок регистрации, число попыток для подлинных лиц и «самозванцев» может меняться в зависимости от типа сравнения (идентификация или верификация), осуществляемого биометрической системой.

7.1.1.3 Условия проведения испытания

Протокол испытания должен включать в себя следующую информацию об условиях, в которых проводится сценарное испытание:

- место проведения испытания - в помещении или на улице;

- если испытание проводят в помещении, то должен быть указан его тип;

- если испытание проводят вне помещения, то должна быть указана степень внешнего воздействия на компоненты биометрической системы.

Характеристики окружающей среды, имеющие отношение к испытуемым системам и приложению, должны быть измерены и указаны в протоколе.

Пример - Так как температура окружающей среды и относительная влажность воздуха при проведении испытаний могут влиять на эксплуатационные характеристики некоторых датчиков отпечатков пальцев, при проведении сценарного испытания с применением технологии идентификации по отпечаткам пальцев следует проводить измерения и указывать в протоколе значения температуры и влажности.

Измерение характеристик окружающей среды следует проводить с интервалами, достаточными для временной оценки условий окружающей среды.

Примечание - Условия окружающей среды могут быть либо естественными, либо привнесенными и контролируемыми специально для целей испытания.

Примеры

1 Системы кондиционирования воздуха могут создавать фоновый шум, влияющий на эксплуатационные характеристики систем идентификации диктора.

2 Освещение из окон может влиять на эксплуатационные характеристики систем идентификации лица.

7.1.1.4 Испытательная платформа

Вычислительные мощности и параметры систем должны соответствовать требованиям выполняемого сценарного испытания.

7.1.2 Процедура испытания

7.1.2.1 Информация об испытании и общие указания

В протоколе испытания необходимо привести общую информацию об испытании и условиях его проведения, которая должна быть предоставлена испытуемым субъектам перед началом сценарного испытания.

Примечание 1 - В информации об испытании должны быть отражены общая цель испытания, описание испытуемых устройств или технологий, а также описание целевого применения биометрической системы. В общих указаниях по проведению испытания должен быть определен порядок выполнения испытания, общий для всех биометрических систем.

Примечание 2 - В некоторых случаях информация об испытании и общие указания по проведению испытания могут содержать информацию о способе взаимодействия испытуемых субъектов с устройствами. Например, если испытуемые субъекты знают о том, что некоторые представления биометрических характеристик соответствуют попыткам «самозванцев», то они могут изменить способ представления биометрических характеристик.

7.1.2.2 Обучение

В протоколе необходимо привести информацию об объеме и методике обучения (приобретения навыков) испытуемого субъекта перед началом сценарного испытания.

Примечание 1 - Обучение предусматривает взаимодействие испытуемого субъекта с испытуемой биометрической системой, в том числе выполнение представления биометрических характеристик для каждого устройства, а также получение обратной связи и указаний от каждой биометрической системы.

Примечание 2 - Обучение испытуемых субъектов может быть необязательным, если отсутствие опыта взаимодействия с биометрической системой не противоречит ее целевому применению.

Примечание 3 - Обучение может быть проведено в виде предоставления письменных и/или устных инструкций.

Примечание 4 - Если способы представления биометрических характеристик или способы получения обратной связи от системы в процессах регистрации и распознавания отличаются, то может потребоваться проведение специального обучения по выполнению операций регистрации и распознавания.

В протоколе испытания необходимо привести информацию об использовании сценариев, инструкций и прочих средств обучения, предоставленных разработчиком.

В процессе сравнительных сценарных испытаний, предусматривающих обучение испытуемых субъектов, процесс обучения должен быть одинаковым для всех биометрических систем. Инструкторы должны обеспечить, чтобы средняя продолжительность времени между обучением испытуемых субъектов и началом использования биометрической системы была примерно одинаковой для всех систем. Если испытуемый субъект приобрел опыт работы с несколькими биометрическими системами непосредственно перед началом испытания, то системы, с которыми испытуемый субъект будет взаимодействовать в первую очередь, могут иметь преимущество перед устройствами, которые будут использоваться позже.

7.1.2.3 Неавтоматизированное/автоматизированное испытание

В течение всего времени участия испытуемого субъекта в процедуре испытания рекомендуется постоянное присутствие администратора и/или оператора.

Примечание - Присутствие администратора и/или оператора позволяет испытательной организации своевременно обнаруживать и исправлять ошибки взаимодействия испытуемых субъектов с биометрическими системами.

7.1.2.4 Инструкции

Инструкции, получаемые испытуемыми субъектами в процессе регистрации и распознавания, должны соответствовать инструкциям целевого применения биометрической системы в процессе испытания.

Примечание 1 - Объем инструкций, предоставляемых испытуемому субъекту в процессе сценарного испытания, может оказать существенное влияние на вероятность возникновения ошибок, в частности, на вероятность отказа сбора данных и вероятность отказа регистрации, а также на показатели пропускной способности биометрической системы. Более подробные инструкции в ходе испытания способствуют снижению вероятности ложного несовпадения, отказа сбора данных и отказа регистрации. Избыточный или недостаточный объем инструкций может привести к нерепрезентативным отказам сбора данных и отказам регистрации.

Примеры

1 Сценарное испытание биометрических систем, которое не предполагает предоставления инструкций, не должно включать в себя предоставление каких-либо инструкций, так как в противном случае полученные результаты могут не отражать истинных эксплуатационных характеристик системы для целевого применения.

2 Если это допускается в целевом применении, администратор может давать испытуемому субъекту корректирующие инструкции при неправильном использовании устройства. Инструкции могут быть предоставлены в процессе регистрации и не должны предоставляться в процессе распознавания.

При сценарных испытаниях, предусматривающих возможность предоставления испытуемым субъектам инструкций, следует задокументировать процедуру предоставления инструкций с указанием следующей информации:

- в какой момент (моменты) проведения попытки регистрации или распознавания разрешены или необходимы инструкции;

- специальные инструкции, предоставляемые администратором испытуемому субъекту;

- особенности применения инструкций (если имеются), которые администратор считает нужным сообщить испытуемому субъекту.

Примечание 2 - В процедуре предоставления инструкций может быть оговорено, что инструкции должны предоставляться только в исключительных случаях, например, если испытуемый субъект неправильно использует устройство сбора данных или если биометрическая система не смогла получить образцы даже при соблюдении порядка представления биометрических характеристик. В данном случае администратор должен проследить за представлением биометрической характеристики и/или за откликом системы и определить целесообразность предоставления инструкций. Или в процедуре предоставления инструкций может быть оговорено, что администратор должен предоставлять одинаковые инструкции каждому испытуемому субъекту в одних и тех же случаях, независимо от результатов представления биометрических характеристик.

При сценарных испытаниях, предусматривающих возможность предоставления испытуемым субъектам инструкций, они должны быть одинаковыми применительно ко всем биометрическим системам.

Примечание 3 - Несмотря на все усилия, предпринимаемые для того, чтобы процедуры предоставления инструкций были едиными для всех испытуемых биометрических систем, отдельные системы могут оказаться в более или менее выгодных условиях, в зависимости от объема предоставляемых испытуемым субъектам инструкций. Система, отличающаяся простотой использования или обладающая способностью автоматического предоставления корректирующих инструкций в процессе использования, при предоставлении инструкций может получить меньше преимуществ, чем сложная в использовании система или система, в которой предоставление пользователю корректирующих инструкций в процессе использования не предусмотрено. Это относится к системам с различными типами биометрических модальностей (например, к системам идентификации по лицу и отпечаткам пальцев), а также к разным моделям систем с определенным типом биометрической модальности.

Необходимо регистрировать все случаи, когда объем инструкций, предоставленных оператором, превышает предварительно установленный порог в рамках данного целевого применения биометрической системы, а также долю данных случаев.

7.1.2.5 Порядок проведения испытания и акклиматизация

При испытании нескольких биометрических систем необходимо выбрать оптимальный порядок взаимодействия испытуемых субъектов с системами, обеспечивающий баланс факторов акклиматизации, уровня навыков и порядка расположения систем. Каждая система должна подвергаться испытанию примерно одинаковое число раз сначала первой по порядку, затем второй по порядку и так далее до последней по порядку; кроме того, каждая система должна предшествовать всем остальным системам примерно одинаковое число раз. В протоколе испытания необходимо указать все наблюдаемые эффекты влияния порядка расположения биометрических систем на их эксплуатационные характеристики.

Примечание - При сценарном испытании нескольких биометрических систем порядок расположения устройств является одним из важнейших факторов. Поскольку уровень навыков испытуемых субъектов предположительно может повышаться после выполнения некоторого числа операций взаимодействия с биометрическими системами, то результаты испытания первых систем с заданным типом биометрической модальности могут оказаться хуже, чем результаты испытания систем, проводимые позднее, поскольку испытуемые субъекты в процессе испытания выбирают наиболее эффективный способ взаимодействия с биометрической системой определенной модальности. Кроме того, в процессе испытания испытуемый субъект может устать, особенно если требуется писать или повторять кодовые фразы для нескольких биометрических систем.

Программой испытания должно быть сведено к минимуму наличие каких-либо непостоянных во времени условий, влияющих на биометрические характеристики и тем самым оказывающих воздействие на способность датчиков обрабатывать образцы.

Пример - Испытуемый субъект может войти в испытательное помещение с улицы, где температура заметно ниже, и сразу же начать взаимодействовать с устройствами считывания отпечатков пальцев. Поскольку во многих устройствах считывания отпечатков пальцев возможность получения образцов от холодных и сухих пальцев ниже по сравнению с пальцами, имеющими комнатную температуру, то устройства, с которыми испытуемый субъект взаимодействует в самом начале, будут в большей степени подвержены ошибкам, чем устройства, с которыми пользователь будет взаимодействовать спустя некоторое время, когда температура и влажность пальцев приблизятся к нормальным значениям, характерным для помещения. Программа испытания должна предусматривать наличие времени для адаптации испытуемого субъекта к среде испытания; если это невозможно, то порядок испытания должен быть таким, чтобы эффект акклиматизации в одинаковой степени учитывался для всех испытуемых устройств.

7.1.2.6 Идентификаторы испытуемых субъектов

При описании идентификаторов испытуемых субъектов в протоколе испытаний следует указывать:

- идентификаторы, используемые для обозначения испытуемых субъектов;

- метод запроса идентичности субъекта в системах верификации;

- метод определения идентичности субъекта в системах идентификации.

7.1.3 Уровень затрачиваемых усилий и политика принятия решений

7.1.3.1 Уровень затрачиваемых усилий и политика принятия решений при регистрации

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать уровень затрачиваемых усилий и политику принятия решений для регистрации, например:

- минимальное и максимальное число представлений биометрических характеристик, попыток и транзакций, необходимых и разрешенных для регистрации;

- максимальный период времени, необходимый для каждого представления биометрических характеристик, попытки или транзакции во время регистрации.

Примечание 1 - Биометрическая система может прекратить попытку или транзакцию регистрации по истечении установленного периода времени. Это может произойти из-за:

1) признания полученного образца непригодным из-за недостаточной различимости данных;

2) невозможности получения образца.

Примечание 2 - Биометрическая система может осуществить регистрацию испытуемого субъекта после одной попытки или потребовать проведения нескольких дополнительных попыток регистрации.

Примечание 3 - Максимальное число или продолжительность представлений биометрических характеристик, попыток и транзакций в процессе регистрации называют предельным числом представлений для регистрации, предельным числом попыток регистрации и предельным числом транзакций регистрации соответственно.

7.1.3.2 Уровень затрачиваемых усилий и политика принятия решений при сравнении

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать уровень затрачиваемых усилий и политику принятия решений для выполнения сравнения, например:

- минимальное и максимальное числа представлений биометрических характеристик, попыток и транзакций, разрешенных или необходимых для выполнения сравнения;

- минимальный и максимальный допустимые периоды времени, необходимые для каждого представления, попытки или транзакции при сравнении.

Примечание 1 - Система может прекратить попытку или транзакцию сравнения по истечении установленного периода времени. Это может произойти из-за:

1) признания полученного образца непригодным из-за недостаточной различимости данных;

2) невозможности получения образца;

3) невозможности создания биометрического шаблона из полученного образца.

Примечание 2 - Биометрическая система может осуществить сравнение испытуемого субъекта после одной попытки или потребовать проведения нескольких дополнительных попыток сравнения.

Примечание 3 - Максимальное число или продолжительность представлений биометрических характеристик и попыток в процессе сравнения называют предельным числом представлений для сравнения и предельным числом попыток для сравнения соответственно.

7.1.3.3 Адаптация биометрических шаблонов

Экспериментатор должен определить, используется ли в испытуемых системах при выполнении транзакций распознавания адаптация биометрических шаблонов. Если в биометрических системах применяется адаптация биометрических шаблонов, то в протоколе испытания необходимо указать метод выполнения такой адаптации. Если известны доли транзакций подлинных лиц и транзакций «самозванцев», в которых была осуществлена адаптация биометрических шаблонов, то эта информация также должна быть приведена в протоколе.

7.1.3.4 Обоснованность уровня затрачиваемых усилий и политики принятия решений

Уровень затрачиваемых усилий и политика принятия решений в процессе регистрации и сравнения должны соответствовать испытуемым биометрическим системам и сценарию.

Примечание - Во всех испытуемых биометрических системах процессы сбора данных, регистрации и сравнения могут существенно различаться, однако предельные числа попыток и транзакций должны быть постоянными.

Пример - Биометрическая система идентификации по лицу может выдать сообщение об отказе регистрации после окончания предварительно установленного периода времени, в то время как система идентификации по отпечаткам пальцев может выдать сообщение об отказе регистрации после проведения определенного числа попыток регистрации.

7.1.3.5 Используемые по умолчанию и настраиваемые уровни затрачиваемых усилий и политика принятия решений

Для каждой биометрической системы необходимо указывать используемые по умолчанию и настраиваемые уровни затрачиваемых усилий и политику принятия решений.

Примечание - В системе могут использоваться постоянные ненастраиваемые функции регистрации и распознавания, предусматривающие определенное число попыток или период времени, необходимый для регистрации или сравнения. Кроме того, в биометрической системе могут также использоваться настраиваемые функции регистрации и распознавания, позволяющие экспериментатору изменять число попыток или период времени, необходимый для регистрации или сравнения.

7.1.4 Многократные сессии и транзакции

Для получения максимального объема данных с целью оценки эксплуатационных характеристик биометрической системы могут использоваться многократные транзакции и сессии. В данном случае повторные транзакции должны максимально соответствовать сценарию. Это, как правило, означает, что многократные сессии являются более предпочтительными, чем многократные транзакции в течение одной сессии.

Примечание - В зависимости от уровня доступа экспериментатора к испытуемой выборке, каждый испытуемый субъект может выполнить несколько транзакций в каждой сессии в процессе многократных сессий.

Необходимо рассчитать параметры распределения периода времени между регистрацией и получением признаков образца.

7.1.5 Проведение транзакций подлинных лиц и «самозванцев»

В протоколе испытания необходимо указывать методы проведения транзакций подлинных лиц и «самозванцев».

Процессы испытания и реакция биометрической системы, которые может наблюдать испытуемый субъект, для попыток и транзакций допуска и недопуска не должны отличаться.

Примечание - Основной вопрос, который необходимо решить при проведении сценарного испытания, - будут ли результаты попыток сравнения подлинных лиц и «самозванцев» сохраняться на уровне каждой транзакции в виде решений о совпадении/несовпадении, являющихся результатами N представлений биометрических характеристик, попыток и транзакций, или же результаты будут сохраняться в виде степеней схожести, полученных путем сравнения с каждым биометрическим шаблоном. В протоколе сценарного испытания может предусматриваться запись степеней схожести, являющихся результатом попыток подлинных лиц и «самозванцев», что, в отличие от режима реального времени, позволяет вычислять вероятности ошибок после фактического анализа степеней схожести. Также в протоколе испытания может быть указано, что решение должно приниматься в реальном времени, что делает необходимым применение фиксированных порогов принятия решений.

7.1.6 Сбор данных

В протоколе испытаний должны быть указаны следующие методы сбора данных:

- методы записи данных для каждой эксплуатационной характеристики, в том числе тех, которые не записываются биометрической системой (системами);

- процессы контроля и проверки характеристик сбора данных, в том числе тех, которые не записываются биометрической системой (системами).

В протоколе испытаний должны быть приведены примеры отдельных этапов сбора данных, такие как таблицы или протоколы, в виде снимков экрана («скриншотов») или в распечатанном виде.

7.2 Испытуемая группа

7.2.1 Общие положения

Испытуемая группа должна быть создана для проведения регистрации и распознавания в испытуемых системах.

7.2.2 Навыки

В протоколе испытания должен быть указан уровень ознакомления испытуемой группы с каждым испытуемым устройством.

Если уровень навыков у испытуемых субъектов таков, что позволяет разделить испытуемую выборку на категории, соответствующие навыкам, то вероятности ошибок необходимо указывать для каждой данной категории.

Примечание 1 - Уровень навыков испытуемой группы при использовании испытуемых устройств в значительной степени влияет на вероятности ошибок и пропускную способность испытуемого устройства. Если испытуемая группа обладает достаточными навыками, то ВЛНС, ВОСД и ВОР будут меньше, чем у испытуемой группы, не обладающей навыками.

Примечание 2 - Уровень навыков испытуемой группы может варьировать в пределах от нулевого значения (отсутствие каких-либо навыков работы с устройствами у любого члена группы) до максимального (у всех членов группы есть большой опыт работы с устройствами). Во избежание субъективной оценки навыков испытуемой группой данная оценка должна быть количественной и должна отражать, например, хронологию и регулярность использования устройств.

Если испытание проводится с привлечением обладающей навыками испытуемой группы, то необходимо указать метод, с помощью которого испытуемая группа приобрела навыки работы с каждым испытуемым устройством.

Пример - Испытуемая группа может приобрести навыки при выполнении своих прямых обязанностей или в результате практических занятий в условиях испытаний до начала их проведения.

При испытании нескольких устройств уровень навыков испытуемой группы должен быть одинаковым для каждого испытуемого устройства.

Примечание 3 - Несмотря на то, что уровень навыков определяется тем, насколько испытуемый субъект знаком с использованием того или иного устройства, ознакомление с процедурами использования какого-либо схожего по типу устройства может быть достаточным для того, чтобы испытуемый субъект или испытуемая группа смогли освоить работу с аналогичными устройствами. Например, опыт использования устройств идентификации по отпечаткам пальцев, в которых при представлении используется прокатывание и перемещение пальца, может быть полезен при использовании других устройств, в которых применяется аналогичный метод представления биометрических характеристик.

Примечание 4 - Навыки использования устройств могут по-разному влиять на эксплуатационные характеристики, получаемые для различных испытуемых устройств. Наличие навыков не является определяющим фактором для устройств, где представление биометрических характеристик выполняется пассивно, в отличие от устройств, где для представления биометрических характеристик требуется точное позиционирование или участие пользователя с помощью обратной связи. Кроме того, навыки использования устройств могут по-разному влиять на эксплуатационные характеристики, получаемые для устройств с различными биометрическими модальностями.

В ходе сценарного испытания с целью определения эксплуатационных характеристик устройства в приложении, в котором пользователи, как правило, обладают навыками, необходимо использовать испытуемую группу, имеющую навыки работы с испытуемыми устройствами. В ходе сценарного испытания с целью определения эксплуатационных характеристик устройства в приложении, в котором пользователи, как правило, не обладают навыками, необходимо использовать испытуемую группу, не имеющую навыков работы с испытуемыми устройствами.

Примечание 5 - Подбор испытуемой группы, имеющей навыки работы с устройствами, может оказаться непростой задачей. Для имитирования навыков использования устройств опытными пользователями испытуемые субъекты должны получить данные навыки до начала испытания.

7.2.3 Персональный состав группы

В протоколе испытания необходимо указать сведения о персональном составе испытуемой группы, включая распределение группы по возрасту и полу.

Примечание 1 - В случае целесообразности необходимо также указать образование, род занятий и этническую принадлежность каждого испытуемого субъекта.

Примечание 2 - В некоторых случаях экспериментатор может позволить испытуемому субъекту отказаться от предоставления той или иной личной информации.

Примечание 3 - Персональный состав испытуемой группы определяется, как правило, путем подбора участников. В этом заключается отличие сценарного испытания от некоторых видов технологических испытаний, предусматривающих предварительный сбор образцов, и от некоторых видов оперативных испытаний, предусматривающих использование определенной предоставленной испытуемой выборки.

Примечание 4 - Хотя сценарное испытание позволяет получить различные эксплуатационные характеристики в зависимости от возраста, пола, этнической принадлежности, полученного образования, рода занятий субъектов или прочих факторов, процесс подбора испытуемой группы может оказаться сложной или дорогостоящей задачей.

7.2.4 Использование испытуемых субъектов

В протоколе испытаний при описании процессов использования испытуемых субъектов необходимо указывать следующие сведения:

- метод первичной регистрации испытуемого субъекта;

- метод обеспечения уникальности испытуемого субъекта;

- объем и тип собранных персональных данных;

- использование маркеров доступа или идентификационных жетонов.

7.3 Оценка эксплуатационных характеристик

7.3.1 Общие положения

Экспериментаторы должны определить типы оцениваемых при выполнении сценарного испытания эксплуатационных характеристик в дополнение к перечисленным в 7.3.2 - 7.3.6.

При проведении сценарного испытания в протоколе испытания необходимо указать следующее:

a) для подлинных испытуемых субъектов - распределение периода времени между регистрацией и получением признаков образца;

b) достоверность результатов испытания, определяемую на основе числа ошибок, вероятностей ошибок, испытуемой выборки и числа выполненных транзакций;

c) результаты для различных демографических групп или полученные в разных условиях окружающей среды или для различных логических сегментов базы данных.

7.3.2 Регистрация

Для каждой испытуемой биометрической системы необходимо вычислить ВОР.

Необходимо вычислить число испытуемых субъектов и транзакций, используемых для расчета ВОР.

Для биометрических систем, в которых для регистрации разрешается или требуется совершить несколько представлений биометрических характеристик, попыток или транзакций, ВОР должна вычисляться для каждого уровня затрачиваемых усилий, от наименьшего до наибольшего наблюдаемого значения.

Пример - Для биометрической системы, в которой для регистрации разрешается выполнение от двух до пяти попыток, необходимо вычислить процент испытуемых субъектов, прошедших регистрацию за две, три, четыре и пять попыток. Если для регистрации система также разрешает выполнение двух транзакций, то необходимо вычислить процент испытуемых субъектов, прошедших регистрацию за одну и две транзакции.

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать следующее:

a) процент испытуемых субъектов, не прошедших регистрацию из-за отсутствия биометрических характеристик;

b) среднее, минимальное, максимальное значения и стандартное отклонение времени, затраченного на регистрацию, прошедшее с момента первого представления первой характеристики датчику до успешной регистрации;

c) распределение показателей качества регистрации.

7.3.3 Отказ сбора данных

В процессе сценарного испытания в протоколе испытания необходимо записывать информацию о доле попыток верификации или идентификации, для которых системе не удалось получить или отобрать изображение или сигнал удовлетворительного качества. Данный показатель является вероятностью отказа сбора данных.

Необходимо вычислить число представлений биометрических характеристик и момент, в который произошел отказ сбора данных. Необходимо указать числа испытуемых субъектов и транзакций, используемых для вычисления данной вероятности.

Примечание - В сценарном испытании ВОСД может определяться программным обеспечением датчика или рабочей станции сбора данных либо блоком кодирования или сравнения. В данном испытании ВОСД, как правило, связана с отказом при получении или отборе изображения или сигнала, но также может быть связана с отказом при обработке (например, при извлечении признаков или сравнении с биометрическим шаблоном).

Формула для вычисления ВОСД приведена в ИСО/МЭК 19795-1.

7.3.4 Эксплуатационные характеристики биометрической системы верификации

Для каждой испытуемой биометрической системы верификации в протоколе испытаний необходимо указать следующее:

a) ВЛНС и ВЛС в зависимости от числа попыток. Такие данные могут быть представлены в виде кривых РХ или КОО. Необходимо указать число испытуемых субъектов и попыток, используемых для вычисления данных вероятностей.

b) ВЛД и ВЛНД кроме случаев, когда в соответствии с программой испытания ВЛД и ВЛНД идентичны ВЛС и ВЛНС соответственно. Такие данные также могут быть представлены в виде кривой РХ или КОО. Необходимо вычислить числа испытуемых субъектов и транзакций, используемых для расчета данных вероятностей. Для систем, в которых для сравнения разрешается или требуется совершить несколько представлений биометрических характеристик, попыток или транзакций, ВЛД и ВЛНД должны вычисляться для каждого уровня затрачиваемых усилий, от наименьшего до наибольшего наблюдаемого значения.

Пример - Для биометрической системы, в которой для сравнения разрешается проведение от одной до трех попыток, необходимо вычислить процент испытуемых субъектов, прошедших сравнение за одну, две и три попытки. Если для выполнения сравнения данная система разрешает выполнение двух транзакций, то необходимо вычислить процент испытуемых субъектов, успешно прошедших сравнение за одну и две транзакции.

Примечание 1 - Для биометрических систем, которые возвращают решение о схожести/несхожести без указания степени схожести, эксплуатационные характеристики могут быть вычислены для одной рабочей точки на кривой РХ или КОО.

Примечание 2 - Более подробная информация о протоколировании результатов испытаний эксплуатационных характеристик при различном уровне затрачиваемых усилий приведена в приложении С.

Для каждой испытуемой биометрической системы в протоколе испытаний должно быть указано следующее:

a) распределение степеней схожести для подлинных испытуемых субъектов и «самозванцев»;

b) среднее, минимальное, максимальное значения и стандартное отклонение времени, затраченного на сравнение, т.е. прошедшего от момента первого представления датчику первой характеристики до успешного завершения транзакции сравнения.

7.3.5 Эксплуатационные характеристики биометрической системы идентификации

При испытании биометрической системы идентификации на замкнутом множестве необходимо вычислить характеристики совокупной схожести.

При испытании биометрической системы идентификации на открытом множестве в протоколе испытаний необходимо указать следующее:

a) ВЛС и ВЛНС (желательно для нескольких порогов);

b) вероятности ложноположительной и ложноотрицательной идентификаций.

Для биометрических систем, в которых для сравнения разрешается совершить несколько представлений биометрических характеристик, попыток или транзакций, вышеупомянутые вероятности должны быть определены для каждого уровня затрачиваемых усилий.

7.3.6 Обобщенные вероятности ошибок, включающие в себя отказы регистрации и отказы сбора данных

Для каждой испытуемой биометрической системы экспериментатор должен определить ОВЛД и ОВЛНД. Данные вероятности должны учитывать:

- транзакции «самозванца» с отказом (т.е. ни допуск, ни недопуск) и транзакции «самозванцев», для которых произошел отказ регистрации;

- транзакции подлинного лица с отказом (т.е. ни допуск, ни недопуск) и транзакции подлинных лиц, для которых произошел отказ регистрации;

- транзакции «самозванца» и транзакции подлинного лица с отказами (т.е. ни допуск, ни недопуск), для которых произошел отказ регистрации, учитывающиеся как транзакции с ложным недопуском.

7.3.7 Промежуточный анализ

Анализ типичных эксплуатационных характеристик биометрической системы при регистрации и сравнении должен проводиться до составления протокола о результатах испытания. Такой промежуточный анализ должен быть достаточным для проверки процессов сбора данных и обеспечения работы биометрических систем в порядке, предусмотренном программой испытания. Необходимо указать метод проведения промежуточного анализа. Все некорректные результаты, полученные в процессе промежуточного анализа и приведшие к пересмотру процедуры испытания или изменению какого-либо элемента системы, также должны быть запротоколированы.

Примечание - Проведение в сценарном испытании промежуточного анализа необходимо из-за невозможности быстрого создания новой программы испытания, так как данное испытание связанно с участием испытуемых субъектов, а не с сохраненными данными.

7.4 Формирование протоколов

7.4.1 Общие положения

Результаты испытания должны быть указаны в протоколе испытания.

Все нормативные элементы программы испытания и измерения эксплуатационных характеристик, рассмотренные в 7.1 - 7.3, должны быть указаны в протоколе испытания. Если какое-либо требование 7.1, 7.2 или 7.3 не рассматривается или не применяется, то в протоколе необходимо указать, что данное положение не рассматривается или не применяется.

Пример - Если испытуемая биометрическая система не позволяет совершать несколько попыток или транзакций для выполнения сравнения, то результаты для нескольких попыток или транзакций не могут быть отражены в протоколе. В данном случае в протоколе необходимо указать, что требование о предоставлении результатов оценки эксплуатационных характеристик при разном уровне затрачиваемых усилий не применимо к данной системе.

Если требование не было выполнено из-за недостатка информации, то в протоколе должно быть указано, что требуемые данные не были доступны. Протокол должен содержать описание причины недоступности этих данных.

Пример - Организация, проводящая испытание, может не иметь прав на сбор демографической информации по причине ее конфиденциальности. В протоколе должно быть указано, что демографические данные не были собраны из-за их конфиденциального характера.

7.4.2 Информация об испытуемой биометрической системе

7.4.2.1 Общие положения

Информация, собираемая экспериментатором об испытуемой биометрической системе (системах), должна быть достаточной для проведения испытания и составления протокола о результатах испытания.

Примечание 1 - В отличие от технологического испытания, предполагающего использование общей аппаратной платформы для испытания нескольких компонентов биометрической системы, сценарное испытание предполагает испытание нескольких биометрических систем на различных платформах - от автономных устройств до многопроцессорных рабочих станций.

Примечание 2 - Сценарное испытание применяют для оценки серийно выпускаемых биометрических систем, специализированных биометрических систем или их сочетаний. Ориентация на системные требования только серийно выпускаемых биометрических систем или только специализированных биометрических систем имеет ряд преимуществ. При испытании серийно выпускаемых систем испытательная организация может с большей долей вероятности полагаться на то, что полученные эксплуатационные характеристики являются характерными для доступной на рынке комбинации датчик - алгоритм. С другой стороны, применение специализированных биометрических систем дает возможность испытательной организации использовать любые комбинации датчик - алгоритм с учетом требований конкретного сценария испытания. Специальная настройка биометрической системы может привести к необходимости изменения пороговых значений некоторых параметров при регистрации с учетом особенностей испытуемой выборки. Возможность специальной настройки систем для испытания обычно не рассматривается как идеальный вариант, поскольку результаты в большей степени могут отражать возможности разработчика осуществлять специальную настройку системы с учетом специфики сценария испытания, а не возможности ядра биометрической системы выполнять регистрацию и верификацию пользователей. Тем не менее, интерес представляет именно возможность точной настройки биометрической системы с учетом специфики протокола испытания.

7.4.2.2 Технические характеристики

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать следующее:

a) для устройств получения данных: наименование предприятия-изготовителя, модель, версию и версию ПО, если возможно. Если основные компоненты устройства получения данных интегрированы с другими устройствами, изготовленными третьей стороной (например, если датчик для получения изображений отпечатков пальцев встроен в некое периферийное устройство), то достаточно указать только наименование предприятия-изготовителя, модель, версию и версию ПО основных компонентов устройства получения данных;

b) для алгоритмов сравнения: наименование организации-разработчика, версию, номер сборки;

c) если в процессе сценарного испытания будет использоваться прикладное программное обеспечение, например демонстрационное приложение или интерфейс доступа на логическом уровне, то необходимо указать наименование организации-разработчика, название, версию и номер сборки такого приложения;

d) для систем, испытанных на персональных компьютерах, карманных персональных компьютерах (КПК) и иных вычислительных устройствах или с использованием данных устройств: платформу, операционную систему, вычислительную мощность, объем памяти, наименование предприятия-изготовителя и модель вычислительного устройства.

7.4.2.3 Архитектура

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать следующее:

a) архитектуру, лежащую в основе получения, обработки и хранения биометрических данных;

b) алгоритмы обмена данными между компонентами системы.

7.4.2.4 Выходные данные

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать следующее:

a) доступные выходные данные системы, например степени схожести, решения о допуске/недопуске, списки кандидатов, показатели качества регистрации и показатели качества образцов;

b) диапазон значений для каждого выходного значения;

c) указанные разработчиком пороговые значения параметров и описание значений или параметров.

Пример - Степени схожести в биометрической системе могут варьироваться в пределах от 0 до 100, где 0 обозначает минимальное сходство, а 100 - максимальное, при этом 75 является минимальным пороговым значением полного сходства.

d) метод (методы) представления выходных данных системой.

Пример - Степени схожести могут записываться приложением или визуально представляться на графическом пользовательском интерфейсе.

7.4.3 Параметры сбора данных и реализации биометрической системы

Для каждой испытуемой биометрической системы в протоколе испытания необходимо указать следующее:

a) способ сбора данных биометрической системой и платформой;

b) степень вовлеченности разработчика в процесс выполнения биометрической системой своих функций.

7.4.4 Физические характеристики условий проведения испытания

Необходимо указать, по крайней мере, следующие физические характеристики условий проведения испытаний:

a) размер территории, на которой проводилось сценарное испытание;

b) наличие естественного и искусственного освещения;

c) расположение устройств сбора биометрических данных;

d) местоположение каждой биометрической системы с указанием его на схеме;

e) фотографии условий места проведения испытаний, в достаточной степени иллюстрирующие местоположение биометрических устройств и испытуемых субъектов во время испытания.

7.4.5 Структура протокола

Протокол испытания должен содержать следующие разделы:

- краткое изложение;

- описание сценария;

- особые процедуры испытания;

- сбор данных;

- метод анализа данных;

- способ хранения данных;

- результаты испытания, эксплуатационные характеристики;

- полное описание программы испытания.

8 Другие аспекты технологического и сценарного испытаний

8.1 Участники испытаний

Испытание должен проводить экспериментатор. Испытуемая биометрическая система предоставляется одним или несколькими разработчиками. Если экспериментатор и разработчик являются одной и той же организацией или они каким-либо образом связанны между собой, то это должно быть указано в протоколе испытания.

Участие разработчика в технологическом и сценарном испытаниях должно ограничиваться поставкой, установкой и настройкой программного и/или аппаратного обеспечения. Испытательная организация должна проводить испытания регистрации и сравнения без участия разработчика.

Примечание - При необходимости возможно проведение испытания, в котором роли экспериментатора и разработчика будут отличаться от описанных в 8.1. В так называемых внутренних испытаниях, проводимых непосредственно разработчиком, могут использоваться образцы, предоставленные экспериментатором, но при этом разработчик сам проводит настройку и работу с биометрической системой. В данном случае экспериментатор освобождается от ответственности в том случае, если результаты испытаний будут не соответствовать действительности. Подобные испытания должны использовать принцип «клиент - сервер». Следует иметь в виду, что подобная схема вызывает много вопросов, связанных с затратами, возможностью фальсификации результатов и конфиденциальности образцов.

8.2 Объективность испытаний

Условия проведения сравнительного испытания должны быть одинаковы для всех разработчиков.

Примечание 1 - Данное положение не относится к организациям, проводящим технологические испытания для целей собственной научно-исследовательской деятельности.

Примечание 2 - Как правило, после анонсирования испытания предполагаемые разработчики пытаются получить разного рода информацию (например, о формате образцов, их свойствах, качестве, интерфейсах, различных административных процедурах и т.п.); если подобная информация предоставляется, то она должна быть предоставлена публично. Например, можно создать некую базу вопросов и ответов, доступную через сеть Интернет. В таком случае информация о пользователе, запрашивающем подобную информацию, будет недоступна. Уведомление о подобном решении должно быть во вводной информации к данной базе и при анонсировании самого испытания.

Примечание 3 - В случае проведения технологического испытания экспериментатор должен предоставить всем разработчикам некоторый типичный образец данных в том формате, который будет использоваться в процессе испытания.

Экспериментатор должен указывать в протоколе испытания любое участие испытательной организации в настройке, модификации, обновлении или адаптации испытуемой биометрической системы.

Экспериментатор должен указывать в протоколе испытания любой интеллектуальный или физический вклад испытательной организации, который может повлиять на результаты испытаний.

Если испытаниям подвергаются несколько компонентов или систем, то экспериментатор должен указать, испытывались ли они на одинаковых по своим аппаратным и программным средствам испытательных стендах и переустанавливалась ли операционная система перед началом каждой отдельной стадии испытания.

8.3 Основания для включения в испытания

В протоколе испытания экспериментатор должен указать основания, согласно которым алгоритмы и системы включаются в технологическое или сценарное испытание. Включение алгоритмов и систем в испытание должно основываться на:

а) непосредственной заявке на участие;

b) выборе испытательной организации (в таком случае испытательная организация должна указать критерий выбора);

c) положении договора с разработчиком или с третьей стороной об испытании той или иной биометрической системы.

Технологическое и сценарное испытания могут включать в себя испытание как одной биометрической системы, так и нескольких систем или их компонентов. Технологическое и сценарное испытания также могут проводиться для комбинаций нескольких биометрических систем или компонентов. Испытание нескольких биометрических систем позволяет получить диапазон эксплуатационных характеристик, с которым впоследствии могут сравниваться другие системы. Определение степени отклонения эксплуатационных характеристик от установленного уровня с помощью испытания одной биометрической системы может быть сложной задачей. Число биометрических систем, подвергаемых испытанию, может быть ограничено бюджетом, доступностью подходящих технологий или временем, которое требуется для получения образцов или обработки данных.

8.4 Использование базы вопросов и ответов

При проведении сравнительных технологических или сценарных испытаний база вопросов и ответов может использоваться как средство связи между разработчиками и испытательной организацией. При этом информация об авторах вопросов не должна быть опубликована.

8.5 Правовые вопросы

При составлении программы технологического или сценарного испытания, их проведении и формировании протоколов испытаний необходимо уделять должное внимание правовым вопросам. Может потребоваться заключение соглашения о конфиденциальности между разработчиками и испытательной организацией. В некоторых случаях может потребоваться заключение соглашения о неразглашении личной информации между испытательной организацией и испытуемым субъектом.

8.6 Предоставление исходной программы испытания

В некоторых случаях в зависимости от вида и целей испытания целесообразно предоставить разработчикам исходную программу испытания.

8.7 Комментарии разработчиков

В некоторых случаях в зависимости от типа и целей испытания целесообразно предоставить разработчикам возможность комментировать предварительную версию протокола испытаний в порядке, установленном испытательной организацией.

Приложение А
(справочное)

Этапы основных видов технологического испытания и действия, выполняемые в ходе данного испытания

А.1 Простое испытание верификации

Простое испытание верификации является основным средством оценки производительности алгоритмов биометрической системы при работе с базой данных. Данный вид испытания может проводиться многократно, например, при разработке компонентов или при сравнительном испытании биометрических систем. Кроме того, данное испытание позволяет определить сложные для обработки элементы данных.

Простое испытание верификации позволяет определить ВЛНД, ВЛНС, ВЛД и ВЛС.

Пример - Данное испытание может быть репрезентативным для биометрических систем с одним зарегистрированным субъектом, например, таких как КПК.

Порядок проведения испытания приведен в таблице А.1.

Таблица А.1

Примечание 1 - Если число образцов в разделах «Е» и «U» не одинаково, то наборы исходных образцов из разделов «Е» и «U» могут быть переставлены местами, после чего необходимо провести повторное испытание. Однако это не всегда возможно для целевого применения биометрической системы.

Примечание 2 - Если есть основания предполагать, что результат попытки «самозванца» зависит от того, использовался ли другой образец «самозванца» ранее (в качестве регистрационного образца в разделе «Е» или образца пользователя в разделе «U»), то может понадобиться проведение испытания «истинного самозванца», что предполагает использование третьего раздела «I», содержащего образцы «истинных самозванцев», которые должны сопоставляться с образцами из раздела «Е» таким образом, что образец из раздела «I» никогда не должен использоваться в качестве регистрационного образца.

А.2 Испытание верификации с участием нескольких зарегистрированных пользователей

Испытание верификации с участием нескольких зарегистрированных пользователей аналогично простому испытанию верификации; отличием является испытание биометрического устройства, способного работать с несколькими пользователями. Данный тип испытания может применяться для оценки возможностей усовершенствованной верификации с использованием других зарегистрированных биометрических шаблонов, например путем общей нормализации. Испытание верификации с участием нескольких зарегистрированных пользователей влечет за собой большее число запросов на идентичность в линейной зарегистрированной выборке. Испытуемый алгоритм может использовать данные других зарегистрированных пользователей для того, чтобы сформировать зависимости между биометрическими шаблонами или провести нормализацию.

Испытание верификации с участием нескольких зарегистрированных пользователей позволяет определить ВЛНД, ВЛНС, ВЛД и ВЛС.

Пример - Верификация в системе контроля доступа при входе в здание.

Порядок проведения испытания приведен в таблице А.2.

Таблица А.2

А.3 Испытание верификации с участием нескольких зарегистрированных пользователей и «истинных самозванцев»

Испытание верификации с участием нескольких зарегистрированных пользователей и «истинных самозванцев» добавляет в испытания параметр зависимости биометрических шаблонов путем включения незарегистрированных пользователей в качестве «самозванцев».

Испытание верификации с участием нескольких зарегистрированных пользователей и «истинных самозванцев» позволяет определить ВЛНД, ВЛНС, ВЛД и ВЛС.

Порядок проведения испытания приведен в таблице А.3.

Таблица А.3

А.4 Испытание верификации с выдачей решения «да/нет»

Испытание верификации с выдачей решения «да/нет» представляет собой испытание алгоритма, который выдает только окончательные решения. Данный тип испытания применим при отсутствии возможности изменения программного обеспечения с целью получения степеней схожести. Испытание проводят путем наблюдения результатов верификации, осуществляемого в «пакетном» режиме.

Испытание верификации биометрической системы с выдачей решения «да/нет» позволяет определить пару значений (ВПНС/ВПС) в одной рабочей точке.

ВЛС определяют как число транзакций «самозванцев» с выданным решением о допуске, разделенное на общее число транзакций «самозванцев».

ВЛ НС определяют как число транзакций подлинных лиц c выданным решением о недопуске, разделенное на общее число транзакций подлинных лиц.

А.5 Простое испытание идентификации на замкнутом множестве

Простое испытание идентификации на замкнутом множестве проводят с целью определения эксплуатационных характеристик биометрической системы в случаях, когда заранее известно, что каждый пользователь имеет совпадающий зарегистрированный образец. Данное испытание не позволяет определить ВЛС. Испытание проводят путем выполнения полного числа сравнений «один ко многим».

Простое испытание идентификации на замкнутом множестве позволяет вычислить характеристики совокупной схожести.

Пример - Круизный лайнер, на борту которого установлена система распознавания по лицу. Регистрация пользователей происходит при посадке, а сбор данных (возможно, скрытый) осуществляется позднее.

Порядок проведения испытания приведен в таблице А.4.

Таблица А.4

А.6 Простое испытание идентификации на открытом множестве

Простое испытание идентификации на открытом множестве проводят с целью определения эксплуатационных характеристик биометрической системы в случаях, когда субъекты могут являться «самозванцами» (т.е. не иметь совпадающих зарегистрированных образцов). Данный тип испытания подразумевает проведение сравнений «один ко многим» с дальнейшей оценкой ВЛНС по всем субъектам, а также вычислением ВЛС с привлечением «истинных самозванцев». Результаты сравнения «один к одному» в данном случае не используют.

Простое испытание идентификации на открытом множестве позволяет получить характеристики совокупной схожести и построить эмпирические кривые КОО для сравнения «один ко многим».

Порядок проведения испытания приведен в таблице А.5.

Таблица А.5

Приложение В
(справочное)

Взаимосвязь между представлениями, попытками и транзакциями

В.1 Взаимосвязь между представлениями, попытками и транзакциями

На рисунке В.1 показана взаимосвязь между представлениями, попытками и транзакциями. Подобные взаимосвязи уровнем ниже транзакций более характерны для сценарного испытания, чем для технологического.

Рисунок В.1 - Взаимосвязь между представлениями, попытками и транзакциями

Приложение С
(справочное)

Протоколирование результатов испытаний при различном уровне затрачиваемых усилий

С.1 Уровень затрачиваемых усилий при сравнении

На рисунке С.1 показана примерная зависимость эксплуатационных характеристик при различном уровне затрачиваемых усилий (временных усилий и усилий, определяемых числом представлений). Данная диаграмма позволяет определить точку, в которой эксплуатационные характеристики (при малых значениях ВЛС и ВЛНС) и число представлений сбалансированы. В идеальном случае биометрическая система должна иметь нулевую ВЛНС при единственном представлении и нулевую ВЛС при максимальном числе представлений. Однако, как правило, ВЛНС растет при уменьшении числа представлений, в то время как ВЛС увеличивается по мере увеличения числа представлений.

На рисунке С.1 показано, что для некой условной биометрической системы единственное представление влечет за собой неприемлемо большую ВЛНС, а при числе представлений больше четырех ВЛНС снижается весьма незначительно (при незначительном увеличении ВЛС). Следует обратить внимание на то, что для биометрических систем, в которых затрачиваемые усилия обусловлены не числом представлений, а временем, отведенным на их выполнение (продолжительность взаимодействия пользователя с системой для выполнения регистрации или сравнения), ось «представления» может быть обозначена как «период времени», что более логично.

Рисунок С.1 - Зависимость вероятностей ошибок от числа представлений

С.2 Уровень усилий, затрачиваемых при регистрации

Уровень усилий, затрачиваемых при регистрации, может быть представлен в зависимости от процента пользователей, успешно прошедших регистрацию в биометрической системе. На рисунке С.2 показан метод представления уровня усилий, затрачиваемых при регистрации, и возможностей биометрической системы при регистрации для трех условных биометрических систем А, Б и В.

Рисунок С.2 - Зависимость процента успешно зарегистрировавшихся от числа представлений

Приложение D
(справочное)

Испытание по схеме «клиент - сервер»

D.1 Введение

В случае, если разработчик намерен провести внутренние испытания, то для получения достоверных результатов и для имитации последующей реальной работы биометрической системы рекомендуется использовать схему «клиент - сервер». Возможно несколько путей реализации данного подхода, но рекомендуется использовать такой протокол передачи данных, который позволяет отправлять образцы и получать результат по обычной гигабитной сети. Для этих целей может подойти протокол HTTP (протокол передачи гипертекстовых документов), т.к. он поддерживает передачу файлов, обладает большими возможностями, очень широко распространен, поддерживает работу с несколькими клиентами, обеспечивает шифрование данных и известен почти всем системным администраторам. При определении пропускной способности необходимо также учитывать пропускную способность сети и ее латентность. Клиент не должен заранее располагать информацией о числе пользователей и должен работать независимо. Эксплуатационные характеристики системы могут быть определены на некотором подмножестве образцов, которое составляется всеми разработчиками. Порядок совершения транзакций подлинных лиц и «самозванцев» должен быть случайным.

D.2 Процедура измерения времени идентификации «один ко многим»

В данном разделе приведен общий обзор процедуры этого испытания. Данное испытание является последовательностью испытаний. Каждое испытание представляет собой последовательность транзакций Р пользователей. Одно подобное испытание состоит из следующих этапов:

1 Клиент запрашивает регистрационные образцы.

2 Сервер принимает и подтверждает запрос, фиксирует время, начинает загрузку ряда изображений.

3 Клиент получает и обрабатывает образцы, создает регистрационную базу данных.

4 Клиент запрашивает первое изображение пользователя:

a) сервер фиксирует время и отправляет либо изображение, либо признак завершения испытания;

b) клиент либо прекращает запросы после завершения испытания, либо осуществляет поиск «один ко многим», отправляет список кандидатов серверу, и запрашивает следующего пользователя;

c) сервер прибавляет значение счетчика обработанных пользователей;

d) процедура повторяется, начиная с перечисления а).

Для реализации подобной процедуры может быть использована улучшенная версия BioAPI. Испытание, как правило, состоит из заранее неизвестного числа подобных сессий и не предполагает простоя системы. Время может фиксироваться также самим клиентом.

D.3 Процедура измерения времени верификации «один к одному»

В данном разделе приведен общий обзор процедуры этого испытания. Данное испытание является последовательностью испытаний. Каждое испытание представляет собой последовательность транзакций Р пользователей. Одно подобное испытание состоит из следующих этапов:

1 Клиент запрашивает регистрационные образцы.

2 Сервер принимает и подтверждает запрос, фиксирует время, начинает загрузку образцов на клиента.

3 Клиент получает и обрабатывает образцы, создает регистрационную базу данных и запрашивает образец первого пользователя:

a) сервер фиксирует время и отправляет либо изображение, либо признак завершения испытания;

b) клиент либо прекращает запросы после завершения испытания, либо осуществляет поиск «один ко многим», отправляет список кандидатов серверу, и запрашивает следующего пользователя;

c) сервер прибавляет значение счетчика обработанных пользователей;

d) процедура повторяется начиная с перечисления а).

Для реализации подобной процедуры может быть использована улучшенная версия BioAPI. Испытание, как правило, состоит из заранее неизвестного числа подобных сессий и не предполагает простоя системы.

Примечание - Необходимо провести оценку влияния служебных данных, передаваемых по сети.

Приложение Е
(справочное)

Сравнение результатов испытаний нескольких биометрических систем

Е.1 Введение

Результаты испытаний нескольких биометрических систем указывают на возможность испытуемых субъектов проходить процедуру регистрации или сравнения на различных биометрических системах. В протоколе также может быть указана информация, касающаяся невозможности для некоторых субъектов проведения регистрации или сравнения на нескольких системах, а также чувствительности систем к сравнению «самозванцев». Подобные результаты могут быть указаны только в случае испытания нескольких биометрических систем.

В зависимости от объема испытаний и числа ошибок данные о возможностях нескольких биометрических систем при регистрации и сравнении могут быть представлены в виде таблиц.

Е.2 Регистрация

При испытании процесса регистрации на нескольких биометрических системах в протоколе испытания может быть указана следующая информация:

- системы, на которых каждый испытуемый субъект не смог зарегистрироваться;

- график зависимости показателей качества регистрации испытуемых субъектов для каждой системы, на которой испытуемые субъекты не смогли зарегистрироваться, от показателей качества других испытуемых субъектов для каждой системы.

Е.3 Испытания с участием подлинных лиц

При испытании нескольких биометрических систем с участием подлинных лиц в протоколе испытания рекомендуется приводить следующую информацию:

- системы, в которых для каждого испытуемого субъекта произошел ложный недопуск или ложное несовпадение;

- системы, в которых в процессе испытаний идентификации испытуемым субъектам был возвращен неверный идентификатор;

- системы, в которых случаи недопуска или несовпадения были отнесены к отказам сбора данных;

- график зависимости степеней схожести испытуемых субъектов для каждой системы от степеней схожести других испытуемых субъектов для каждой системы.

Е.4 Испытания с участием «самозванцев»

При испытании нескольких биометрических систем с участием «самозванцев» в протоколе испытания рекомендуется приводить следующую информацию:

- системы, в которых для испытуемых субъектов произошел ложный допуск или ложное совпадение, в том числе случаи, когда определенные образцы были ошибочно признаны совпадающими на нескольких системах;

- системы, в которых для ряда испытуемых субъектов произошел ложный допуск или ложное совпадение, в том числе случаи, когда определенные пробные образцы были ошибочно признаны совпадающими с рядом испытуемых субъектов на нескольких системах;

- график зависимости степеней схожести испытуемых субъектов для каждой системы от степеней схожести других испытуемых субъектов для каждой системы.

Приложение F
(справочное)

Сведения о соответствии ссылочных международных стандартов национальным стандартам
Российской Федерации

Сведения о соответствии ссылочных международных стандартов национальным стандартам приведены в таблице F.1.

Таблица F.1 - Сведения о соответствии ссылочных международных стандартов национальным стандартам

 

 

Ключевые слова: информационная технология, биометрическая идентификация, эксплуатационные испытания, эксплуатационные характеристики, протокол испытаний