Автоматическая идентификация

ИДЕНТИФИКАЦИЯ БИОМЕТРИЧЕСКАЯ

Эксплуатационные испытания и протоколы испытаний в биометрии

Часть 3

Особенности проведения испытаний при различных
биометрических модальностях

ISO/IEC TR 19795-3:2007
Information Technology - Biometric performance testing and reporting -
Part 3: Modality-specific testing
(IDT)

Предисловие

Цели и принципы стандартизации в Российской Федерации установлены Федеральным законом от 27 декабря 2002 г. № 184-ФЗ «О техническом регулировании», а правила применения национальных стандартов Российской Федерации - ГОСТ Р 1.0-2004 «Стандартизация в Российской Федерации. Основные положения»

Сведения о стандарте

1 ПОДГОТОВЛЕН Научно-исследовательским и испытательным центром биометрической техники Московского государственного технического университета имени Н. Э. Баумана (НИИЦ БТ МГТУ им. Н. Э. Баумана) на основе собственного аутентичного перевода стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 355 «Автоматическая идентификация»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 22 октября 2009 г. № 465-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК ТО 19795-3:2007 «Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 3. Особенности проведения испытаний при различных биометрических модальностях» (ISO/IEC TR 19795-3:2007 «Information Technology - Biometric performance testing and reporting - Part 3: Modality-specific testing») за исключением приложения А. Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2004 (пункт 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных (региональных) стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении А

5 ВВЕДЕН ВПЕРВЫЕ

Информация об изменениях к настоящему стандарту публикуется в ежегодно издаваемом информационном указателе «Национальные стандарты», а текст изменений и поправок - в ежемесячно издаваемых информационных указателях «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячно издаваемом информационном указателе «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет

Содержание

Введение

Настоящий стандарт входит в комплекс стандартов и технических отчетов, которые были разработаны подкомитетом ИСО/МЭК СТК1/ПК37 с целью установления требований к автоматической идентификации на основе биометрических характеристик.

Настоящий стандарт предназначен для использования при разработке методов проведения испытаний биометрических систем с различными биометрическими модальностями. В стандарте приведены рекомендации по разработке испытаний с целью определения технических эксплуатационных характеристик биометрических систем с учетом особенностей биометрической модальности.

Настоящий стандарт рекомендуется использовать вместе с другими стандартами комплекса «Идентификация биометрическая».

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Дата введения - 2011-01-01

1 Область применения

При проведении эксплуатационных испытаний в биометрии и формировании протоколов испытаний необходимо учитывать разные биометрические характеристики каждой модальности (отпечатки пальцев, лицо, радужная оболочка глаза и др.). Данные различия естественным образом требуют внесения изменений в общие методы проведения испытаний, определенные в ИСО/МЭК 19795-1.

Настоящий стандарт содержит описание методов проведения испытаний, учитывающих разные биометрические характеристики каждой модальности. В стандарте приведены методы разработки испытаний с целью определения технических эксплуатационных характеристик с учетом особенностей биометрической модальности.

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт, который необходимо учитывать при использовании настоящего стандарта:

ИСО/МЭК 19795-1 Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура

3 Термины и определения

В настоящем стандарте применяются термины по ИСО/МЭК 19795-1, а также следующие термины с соответствующими определениями:

3.1 фактор воздействия (influencing factor): Фактор, оказывающий влияние на эксплуатационные характеристики биометрической системы.

3.2 испытание на робастность (robustness test): Испытание, проводимое с целью оценки степени влияния определенных факторов воздействия на эксплуатационные характеристики биометрической системы.

3.3 активная попытка фальсификации (active forgery attempt): Попытка самозванца, при которой субъект пытается получить совпадение с шаблоном другого субъекта путем представления поддельного или скопированного биометрического образца или путем умышленного изменения собственных биометрических характеристик.

3.4 вид фальсификации (forgery type): Вид метода активной попытки фальсификации.

3.5 степень фальсификации (forgery level): Степень сложности активной попытки фальсификации

4 Условные обозначения и сокращения

РХ (ROC) - рабочая характеристика;

ВСС (CMR) - вероятность совокупной схожести;

ХСС (CMC) - характеристика совокупной схожести;

ВЛНС (FNMR) - вероятность ложного несовпадения;

ВЛС (FMR) - вероятность ложного совпадения.

5 Разработка испытаний при различных типах модальностей

5.1 Этапы разработки

С целью обеспечения учета всех основных факторов, зависящих от типа модальности, в процессе разработки испытаний для оценки эксплуатационных характеристик биометрической системы необходимо придерживаться следующей последовательности (рисунок 1):

- этап 1 - определение и анализ факторов воздействия, которые могут повлиять на эксплуатационные характеристики биометрической системы;

- этап 2 - рассмотрение и утверждение политики в отношении испытуемых субъектов;

- этап 3 - рассмотрение и утверждение политики в отношении сбора данных;

- этап 4 - рассмотрение и утверждение политики в отношении транзакций самозванцев;

- этап 5 - рассмотрение и утверждение политики в отношении формирования протоколов испытаний.

Рисунок 1 - Этапы разработки

Данная последовательность предполагает, что определены модальность и вид испытания (т.е. технологическое /сценарное /оперативное).

5.2 Факторы, которые зависят от модальности и могут влиять на эксплуатационные характеристики (этап 1)

Факторы, влияющие на эксплуатационные характеристики биометрической системы (далее - факторы воздействия), должны быть определены и проанализированы на первом этапе разработки испытания, поскольку на эксплуатационные характеристики биометрических систем может значительно влиять широкий спектр факторов воздействия. При изменении данных факторов одна и та же биометрическая система может показывать при испытаниях различные результаты. Для проведения периодических эксплуатационных испытаний и для прогнозирования рабочих эксплуатационных характеристик необходимы контроль, регистрация и занесение в протокол информации о факторах воздействия.

В процессе разработки методов испытаний разработчик должен определить и проанализировать все известные факторы воздействия, которые при данной модальности влияют на эксплуатационные характеристики биометрической системы. Разработчик также может включить в рассмотрение зависящие от модальности факторы, влияние которых на эксплуатационные характеристики биометрической системы предполагается, но неизвестно.

В ходе определения факторов воздействия разработчик должен принять во внимание, по меньшей мере, следующие аспекты (см. также ИСО/МЭК 19795-1, приложение С):

А) Характеристики и качество биометрического датчика.

B) Биологические или поведенческие характеристики субъектов, имеющие отношение к сбору данных (основные статистические или демографические сведения):

- неизменные: пол, национальная принадлежность;

- изменяющиеся:

- биологические: возраст, размеры тела/антропометрические параметры (рост, масса тела и т.д.), скелетно-мышечные повреждения;

- привычки/социальные факторы: курение, прическа, макияж, ношение очков или контактных линз, одежда, профессия.

C) Условия окружающей среды, влияющие на биометрическое устройство, датчик или приложение, такие как:

- температура окружающей среды;

- относительная влажность воздуха;

- освещение, в том числе тип (стандартная лампа накаливания, люминесцентная, галогеновая или зеркальная лампа, светодиоды, солнечный свет и т.д.);

- шумы;

- положение датчика по отношению к пользователю.

D) Изменение биометрических признаков с течением времени.

E) Влияние активных попыток фальсификации на ложный допуск, особенно для поведенческих модальностей.

F) Использование на этапе регистрации и на этапе верификации/идентификации различных подсистем сбора данных и обработки сигналов.

Порядок проведения испытаний на робастность определен в разделе 6. Данные испытания зависят от типа модальности и позволяют определить влияние факторов внешней среды, указанных в перечислении С.

5.3 Политики в отношении испытуемых субъектов, зависящие от модальности (этап 2)

5.3.1 Политики и требования в отношении испытуемых субъектов

Политики и требования в отношении испытуемых субъектов должны быть рассмотрены и утверждены на втором этапе разработки испытания. Данные политики относятся к области биологических и поведенческих характеристик субъектов. Зависящие от субъектов факторы воздействия, которые необходимо учитывать, должны включать в себя, по меньшей мере, следующее:

- статистические и демографические сведения;

- размеры тела / антропометрические параметры.

В следующих подразделах настоящего стандарта приведены сведения о распределении антропометрических параметров в группе испытуемых субъектов, необходимом для проведения каждого вида испытания, а также приведены подробные инструкции по проведению каждого вида испытаний. В таблице 1 указана взаимосвязь между составом испытуемой группы и видом испытания.

Для того чтобы удостовериться в том, что при испытании зависящего от субъекта фактора (факторов) воздействия используется выборка, аналогичная требуемой (генеральная совокупность, целевая выборка и т.д.), необходимо использовать стандартные антропометрические таблицы (например такие, как приведены в [10]), но только в том случае, если они соответствуют размерам субъекта. Для сбора различных статистических или демографических сведений необходимо использовать перепись населения либо другие методы комплексного сбора сведений.

Одним из способов сохранения репрезентативности выборки для генеральной совокупности при проведении технологического или оперативного испытания является использование следующих двух значений размеров субъектов: размеры 5 % женщин для нижней границы и размеры 95 % мужчин для верхней границы (при условии, что размеры женщин меньше размеров мужчин). При двух данных значениях, записываемых в протокол, большинство мужчин и женщин относятся к генеральной совокупности.

Распределение выборки для сценарного испытания является более сложным, поскольку испытание имитирует реальное применение системы и испытуемые субъекты должны представлять собой целевую выборку.

Для того чтобы удостовериться в том, что зависящий от субъекта фактор (факторы) воздействия является характерным для пользователей целевого приложения, размеры субъектов должны быть установлены и переданы в испытательную организацию. В случае, если размеры не установлены, испытательная организация должна запросить эти данные о целевых пользователях при испытании в имитирующей окружающей среде. Если данная информация не предоставлена или недоступна, то необходимо использовать антропометрические таблицы, аналогичные приведенным в [10], которые предоставляют оценки размеров тела для различных этнических групп, возрастов и профессий. В случае, если зависящие от субъекта факторы воздействия являются статистическими или демографическими сведениями, распределение выборки должно быть таким же, как в реальности.

Таблица 1 - Взаимосвязь между составом испытуемой группы и видом испытания

5.3.2 Технологическое испытание

Для того чтобы удостовериться в появлении в процессе испытания зависящих от субъекта факторов воздействия, которые влияют на эксплуатационные характеристики биометрической системы, при проведении технологических испытаний состав используемой для испытания базы данных должен представлять собой целевую выборку (которая в некоторых случаях является генеральной совокупностью). Разработчик испытания должен в соответствующем порядке утвердить политики и требования в отношении испытуемых субъектов, такие как:

1 Испытуемая группа должна включать в себя таких субъектов, для которых проявляются зависящие от субъекта факторы воздействия, встречающиеся в генеральной совокупности.

2 Вся информация о зависящих от субъекта факторах воздействия должна быть указана в протоколе испытания.

Пример - Рост субъектов в приложении идентификации по изображению лица в положении стоя:

Распределение роста всех испытуемых субъектов должно быть аналогичным распределению роста в генеральной совокупности (например, рост 5 % женщин для нижней границы и рост 95 % мужчин для верхней границы).

Чтобы удостовериться в том, что при испытании использовалась выборка, аналогичная генеральной совокупности, данные измерения роста испытуемых должны быть указаны в протоколе испытания.

5.3.3 Сценарное испытание

Для того чтобы удостовериться в появлении в процессе испытания зависящих от субъекта факторов воздействия, которые влияют на эксплуатационные характеристики биометрической системы, при проведении сценарных испытаний состав испытуемой выборки должен представлять собой состав пользователей целевого приложения.

Разработчик испытания должен утвердить в соответствующем порядке политики и требования в отношении испытуемых субъектов, такие как:

1 Испытуемая группа должна включать в себя таких субъектов, для которых проявляются зависящие от субъекта факторы воздействия, встречающиеся в целевом приложении.

2 Вся информация о зависящих от субъекта факторах воздействия должна быть указана в протоколе испытания.

Пример - Рост субъектов в приложении идентификации по изображению лица в положении стоя:

1 Распределение роста всех испытуемых субъектов должно быть аналогичным распределению роста целевых пользователей в реальном приложении.

2 Чтобы удостовериться в том, что при испытании использовалась выборка с распределением роста, аналогичным распределению роста пользователей в реальном приложении, данные измерения роста испытуемых субъектов должны быть указаны в протоколе испытания.

5.3.4 Оперативное испытание

При оперативных испытаниях состав испытуемой выборки может не контролироваться разработчиком испытания, так как выборка состоит из реальных пользователей. Экспериментальная модель испытания должна быть разработана таким образом, чтобы учитывать особенности генеральной совокупности (например, размеры 5 % женщин для нижней границы и размеры 95 % мужчин для верхней границы), за исключением случаев, особо оговоренных заказчиком или поставщиком устройства. Тем не менее, с целью полного документирования и обеспечения повторяемости результатов необходимо вести записи и вносить в протокол данные о распределении зависящих от субъекта факторов воздействия. Разработчик испытания должен в установленном порядке утвердить политики и требования в отношении испытуемых субъектов, такие как:

1 Испытуемая группа должна включать в себя таких субъектов, для которых проявляются зависящие от субъекта факторы воздействия, встречающиеся в генеральной совокупности.

2 Вся информация о зависящих от субъекта факторах воздействия должна быть указана в протоколе.

Пример - Проведение оперативного испытания приложения, преимущественными пользователями которого являются женщины, в качестве фактора воздействия рассматривается пол человека:

1 Распределение пола не может контролироваться вследствие характера испытания.

2 Данные о поле испытуемых должны быть указаны в протоколе испытания с целью обеспечения повторяемости, обобщаемости и достоверности результатов испытаний таким образом, чтобы читающие протокол могли понять, какая часть выборки является репрезентативной.

5.4 Политики в отношении сбора данных, зависящие от модальности (этап 3)

5.4.1 Политики в отношении сбора данных

Политики и требования к сбору данных должны быть рассмотрены и утверждены на третьем этапе разработки испытания. Факторы воздействия, которые необходимо учитывать, должны включать в себя, по меньшей мере, следующие:

- качество и характеристики биометрического датчика;

- условия окружающей среды, в которой находится биометрическое устройство;

- изменение биометрических признаков с течением времени;

- взаимодействие человека с биометрическим датчиком;

- активные попытки фальсификации с целью получения ложного допуска (см. также подраздел 5.5).

Политики могут изменяться в зависимости от вида испытаний в соответствии с описанием, приведенным в следующих пунктах.

5.4.2 Технологическое и сценарное испытания

При технологическом и сценарном испытаниях зависящие от сбора данных факторы воздействия часто могут быть контролируемыми. Разработчик должен утвердить политики для зависящих от сбора данных факторов воздействия. В случае, если оператор, проводящий испытание, не может провести сбор данных требуемым образом, то разработчик испытания должен потребовать ведения записей и внесения в протокол информации о зависящих от сбора данных факторах воздействия.

5.4.3 Оперативное испытание

При оперативном испытании зависящие от сбора данных факторы воздействия не могут быть контролируемыми вследствие того, что управление биометрической системой осуществляют сами пользователи. Тем не менее, с целью обеспечения полного документирования и повторяемости результатов испытания необходимо вести записи и указывать в протоколе испытания информацию о зависящих от сбора данных факторах воздействия. Поэтому разработчик испытания должен требовать ведения записей и внесения в протокол информации о зависящих от сбора данных факторах воздействия.

5.4.4 Политики при использовании нескольких экземпляров биометрической характеристики

5.4.4.1 Общие положения

Для некоторых биометрических модальностей от каждого испытуемого субъекта можно получить несколько экземпляров биометрической характеристики. Например, от одного испытуемого субъекта могут быть получены 10 отпечатков пальцев, два изображения радужной оболочки глаза, два и более изображений венозного русла и два экземпляра геометрии руки. В случае контекстно-зависимых поведенческих модальностей, таких как текстозависимая верификация диктора, от каждого испытуемого субъекта может быть получено множество сонограмм.

У некоторых биометрических модальностей, таких как отпечатки пальцев, существует корреляция между экземплярами биометрической характеристики, полученными от различных частей тела конкретного испытуемого субъекта. Для модальностей, в которых может иметь место корреляция, необходимо разработать и установить политики, которые будут определять порядок использования различных экземпляров биометрической характеристики для попыток подлинных лиц и/или самозванцев.

5.4.4.2 Примеры: отпечатки пальцев

В следующих примерах (А-1, В-2) означает сравнение первого пальца субъекта А со вторым пальцем субъекта В, а А-1-2 означает второй образец отпечатка первого пальца субъекта А. Политики могут быть установлены следующим образом:

Примеры

1 Для определения ВЛНС при испытании с участием подлинных лиц может быть допустимо использование 10 пальцев одного и того же испытуемого субъекта в качестве независимых образцов, т. е. сравнения (А-1-1, А-1-2) и (А-2-1, А-2-2) являются допустимыми.

2 Для определения ВЛС при испытании с участием самозванцев использование различных пальцев одного и того же испытуемого субъекта (например, А-1, А-2) в общем случае недопустимо, поскольку первый и второй пальцы субъекта А не могут считаться независимыми образцами.

3 Для определения ВЛС при испытании с участием самозванцев сравнения (А-1, В-1) и (А-1, В-2) допустимы. Использование таких сравнений может значительно снизить стоимость испытаний и затрачиваемые усилия, особенно при испытании систем с низконаблюдаемой ВЛС.

5.4.4.3 Примеры: голос и подпись

При разработке испытания для поведенческих модальностей, таких как текстозависимая биометрика голоса или подписи, необходимо рассмотреть следующие вопросы: как текст используется при идентификации и известен ли этот текст самозванцу? Политики в отношении сбора данных и протоколирования результатов испытаний могут меняться в зависимости от факторов, описанных в следующих примерах.

Примеры

1 Технологическое испытание системы текстозависимой идентификации диктора

Для испытаний как с участием подлинных лиц, так и с участием самозванцев, фрагмент речи должен соответствовать зарегистрированному контрольному образцу. Образцы, содержащие другие фрагменты речи, не должны использоваться в испытании. Необходимо приводить в протоколе информацию о том, были ли при испытаниях с участием самозванцев случаи, когда зарегистрированный образец речи диктора-мужчины испытывался самозванцем-женщиной и наоборот.

2 Технологическое испытание системы текстонезависимой идентификации диктора

Для испытаний, как с участием подлинных лиц, так и с участием самозванцев, фрагмент речи может отличаться от зарегистрированного контрольного образца. Необходимо приводить в протоколе информацию о том, были ли при испытаниях с участием самозванцев случаи, когда зарегистрированный образец речи диктора-мужчины испытывался самозванцем-женщиной и наоборот.

3 Технологическое испытание системы идентификации диктора по подсказываемому тексту. Для испытаний, как с участием подлинных лиц, так и с участием самозванцев, фрагмент речи

должен соответствовать тексту, подсказываемому системой. Следует, как можно более подробно приводить в протоколе информацию о том, каким образом генерировался подсказываемый текст и как этот процесс контролировался. Необходимо приводить в протоколе информацию о том, были ли при испытаниях с участием самозванцев случаи, когда зарегистрированный образец речи диктора-мужчины испытывался самозванцем-женщиной и наоборот.

5.5 Политики в отношении транзакций самозванцев, зависящие от модальности (этап 4)

5.5.1 Политики в отношении транзакций самозванцев

Для проведения достоверных испытаний систем, основанных на поведенческих модальностях, таких как голос или подпись, необходимо учитывать усилия, предпринимаемые самозванцами, так как результаты испытаний могут зависеть от степени усилий, с которыми самозванец пытается имитировать поведенческие характеристики другого испытуемого субъекта. Например, известно, что эксплуатационные характеристики биометрических систем идентификации, основанных на поведенческих модальностях, зависят от вида и степени усилий самозванцев. Основные четыре вида попыток фальсификации, осуществляемых самозванцами, приведены в таблице 2.

Таблица 2 - Степени попыток фальсификации, осуществляемых самозванцами

Целесообразно предположить, что вероятность ложного допуска (ВЛД) в случае случайной фальсификации будет незначительно связана с ВЛД в случае других видов фальсификации. Если самозванец слышал голос зарегистрированного пользователя до совершения попытки самозванца, то это может повлиять на эксплуатационные характеристики системы верификации диктора. Если самозванец тренировался имитировать голос зарегистрированного пользователя, это также может повлиять на надежность системы. ВЛД может также возрасти, если самозванец является родственником зарегистрированного пользователя, например братом или сестрой, близнецом, родителем или ребенком. В случае идентификации по походке результат может отличаться в зависимости от того, имел ли самозванец возможность наблюдать за манерой ходьбы зарегистрированного пользователя или самозванец тренировался имитировать походку зарегистрированного пользователя.

Поэтому для биометрических систем, основанных на поведенческих модальностях, с целью получения достоверных результатов испытаний необходимо учитывать степень усилий, предпринимаемых самозванцами. Политики в отношении сбора данных самозванцев должны быть определены на этапах разработки методики испытания. Политики и принятые решения в отношении сбора данных самозванцев должны быть подробно приведены в протоколе испытания.

При технологическом и сценарном испытаниях случайные фальсификации не должны быть основой попыток самозванцев. При оперативном испытании попытки случайных фальсификаций допускаются в том случае, если это не противоречит способу совершения самозванцами попыток имитации данных зарегистрированных пользователей. Поскольку результаты испытаний в значительной мере зависят от вида и степени фальсификации, то в протоколе испытания должна быть приведена подробная информация о виде фальсификации, использованном в процессе оперативного испытания.

5.5.2 Пример: подпись

При испытании систем идентификации по подписи одним из способов оценки степени усилий самозванцев является использование классификации видов фальсификаций, приведенной в таблице 3.

Таблица 3 - Классификация степеней фальсификации подписи

При идентификации по подписи основой испытаний должны быть высококвалифицированные попытки самозванцев. В то же время в реальной ситуации для каждого испытуемого субъекта сложно собрать большое число высококвалифицированных попыток множества самозванцев. Решением в данной ситуации является сбор статических и динамических данных подписи (т.е. как написанных слов, так и динамических характеристик почерка, таких как траектория, угол наклона и давление пера) от каждого испытуемого субъекта, причем используется для написания одно и то же слово (слова) для всех субъектов. Два образца, собранные согласно данной политике, могут быть использованы для попыток подлинного лица (если эти два образца получены от одного и того же субъекта) или для попыток самозванца (если эти два образца получены от двух разных субъектов). В зависимости от того, сколько тренировался субъект перед совершением попытки самозванца, данная попытка может быть классифицирована как простая, имитирующая или высококвалифицированная фальсификация. Следует использовать подпись со множеством узоров, так как эксплуатационные характеристики биометрической системы значительно зависят от формы и узоров подписи.

Примеры

1 Технологическое испытание системы идентификации по подписи

Самозванцы часто имеют некоторое представление о содержании подписи подлинного лица (о том, что должно быть написано в подписи), поэтому следует приводить в протоколе информацию об уровне фальсификации, осуществляемой самозванцами. Примеры классификации уровней фальсификации приведены в таблицах 2 и 3.

2 Оперативное испытание системы идентификации по подписи

Самозванцы должны знать полное имя пользователя, поскольку подпись в большинстве случаев основывается на фамилии человека.

5.5.3 Пример: голос

При испытании систем текстозависимой верификации диктора и верификации диктора по подсказываемому тексту необходимо руководствоваться рекомендациями, указанными в предыдущем примере. Тем не менее, поскольку в системах идентификации диктора эффект от неслучайных фальсификаций не столь очевиден, достаточно использовать для попыток самозванцев только простые фальсификации.

Пример - Оперативное испытание системы идентификации диктора

Дикторы, как подлинные лица, так и самозванцы, могут записать несколько фрагментов речи.

В процессе испытаний подлинных лиц не следует исключать из испытания те случаи, в которых пользователи забыли текст или неверно произносили фразы.

5.6 Политики в отношении протоколирования результатов испытания, зависящие от модальности (этап 5)

Для модальностей, которые в основном используются в системах идентификации (например, система видеонаблюдения или автоматическая система идентификации по отпечаткам пальцев) или при применении которых, как правило, требуется проверка результатов оператором, при оценке эксплуатационных характеристик систем важное значение имеет ВСС. ВСС может быть определена как вероятность того, что система идентификации успешно ранжирует два признака образца одного и того же субъекта для установленного интервала схожестей. ВСС - это число, показывающее вероятность того, что при идентификации правильному варианту будет присвоен некоторый ранг.

Данная эксплуатационная характеристика может быть приведена в виде кривой ХСС, показывающей изменения ВСС в зависимости от ранга. Как показано на рисунке 2, ВСС представляет собой вероятность того, что испытуемый субъект будет идентифицирован с определенным рангом, при этом значения вероятности указывают на оси Y, а значения ранга - на оси X. Кроме того, поскольку предел точности измерений определяется исходя из размера базы данных, то его необходимо рассчитать, чтобы определить степень достоверности результатов испытания. В случае, если ВСС превышает установленный предел точности, то это указывает на недостаточную статистическую достоверность результатов.

Рисунок 2 - Кривая ХСС

Устойчивость системы идентификации по отношению к факторам воздействия может быть определена по изменениям ХСС, полученной при испытаниях на робастность. Изменения ХСС показывают, как при появлении факторов воздействия изменяется ВСС. Изменения ХСС могут быть проиллюстрированы в виде графика, изображенного на рисунке 3, на котором классы соответствуют изменениям параметров в рамках факторов воздействия, при этом изменения параметров указывают на оси X, а ВСС - на оси Y.

Рисунок 3 - Изменения ХСС

6 Оценка факторов воздействия, зависящих от модальности

6.1 Испытания на робастность

В данном разделе приведены рекомендации по проведению испытаний на робастность, которые являются необязательными зависящими от модальности испытаниями, позволяющими оценить влияние факторов воздействия, например биологических, социальных и факторов окружающей среды, которые рассматриваются на первом этапе разработки испытания.

В общем случае технологическое испытание не учитывает влияния факторов воздействия. Тем не менее, некоторые модальности, такие как лицо или голос, могут испытывать значительное воздействие множества факторов. Чтобы оценить степень данного воздействия на эксплуатационные характеристики, может быть проведено испытание на робастность, которое разработано специально для уточнения и количественной оценки воздействия каждого фактора воздействия на эксплуатационные характеристики биометрической системы. Испытания на робастность допускается проводить одновременно с проведением технологических и сценарных испытаний.

Испытание на робастность может быть использовано для того, чтобы выяснить, какие факторы и в какой степени влияют на эксплуатационные характеристики биометрической системы, другими словами, насколько чувствительны эксплуатационные характеристики по отношению к изменениям каждого фактора воздействия.

Например, в системах идентификации по изображению лица эксплуатационные характеристики системы могут изменяться в результате воздействия на них множества факторов, включающих в себя:

A) биологические или поведенческие характеристики субъекта:

- неизменные факторы: пол, национальная принадлежность;

- изменяющиеся факторы:

- биологические: возраст, размеры тела/антропометрические параметры (рост, масса тела и т.д.), скелетно-мышечные повреждения;

- привычки/социальные факторы: курение, прическа, макияж, ношение очков или контактных линз, одежда, профессия;

B) условия окружающей среды, влияющие на биометрическое устройство, датчик или приложение, такие как:

- освещение:

- тип освещения (стандартная лампа накаливания, люминесцентная, галогеновая или зеркальная лампа, светодиоды, солнечный свет и т.д.);

- изменения положения источников освещения (например, над, под, слева, справа или позади субъекта);

- положение датчика по отношению к пользователю.

В общем случае оценка влияния подобных факторов на эксплуатационные характеристики биометрической системы может привести к необходимости разработки и внедрения специального сценария испытания. Например, если в некоторых системах идентификации по отпечатку пальца при повороте пальца эксплуатационные характеристики ухудшаются, то данный тип влияния может быть обычно минимизирован путем введения требования размещать палец на сканере соответствующим образом.

Тем не менее, при идентификации по изображению лица следование пользователей подобного рода сценарию не всегда достаточно, поскольку данные биометрические системы часто предполагают использование в приложениях без кооперативности пользователей, таких как видеонаблюдение. У пользователей системы возникает необходимость в проведении испытаний на робастность. Под пользователями в данном случае понимают пользователей системы, которым необходимо испытать стабильность эксплуатационных характеристик биометрической системы путем оценки степени ухудшения эксплуатационных характеристик в результате изменения большого числа факторов.

Устойчивость биометрической системы может быть отражена в протоколе изменениями кривой РХ по результатам верификации. Изменения кривой РХ показаны на рисунке 4, который отображает зависимость изменения вероятностей таких ошибок, как ВЛНС и ВЛС от изменений параметров.

Рисунок 4 - Изменения кривой РХ

6.2 Основной пример: лицо

Учесть при испытании влияние всех факторов окружающей среды невозможно, поэтому до начала проведения испытания администратор должен выбрать наиболее значимые факторы окружающей среды и определить диапазоны их изменения. Кроме того, в протоколе испытания администратор должен описать условия, в которых происходит сбор данных. В таблице 4 приведены примеры некоторых основных факторов воздействия для систем идентификации по изображению лица.