ГОСТ Р 54412— 2011/ISO/IEC/TR 24741:2007
исторически сложилось так. что экстраполяция результатов испытаний в тестовых условиях на практике
вызывает много трудностей. Для того чтобы результаты испытаний лучше соответствовали эксплуатацион
ным характеристикам систем при практической эксплуатации, разрабатываются стандарты, устанавливаю
щие процедуры проведения испытаний (серия стандартов ИСО/МЭК19795, а также А.11.5 приложения А).
Эксплуатационные испытания могут проводиться на замкнутом множестве либо на открытом множе
стве. Испытание на замкнутом множестве предполагает, что все субъекты зарегистрированы в системе, и
недопускает существования «самозванцев». В процессе испытания на замкнутом множестве возвращает ся
ранг истинного совпадения, когда входной образец сравнивается со всеми зарегистрированными шаб
лонами. В процессе испытания на замкнутом множестве вычисляют вероятность того, что истинный шаблон
был найден во время поиска по базе данных размера А/ с рангом
к
или лучше. При любом испытании
данная вероятность зависит от размера базы данных, уменьшаясь с увеличением размера базыданных.
При проведении испытания наоткрытом множестве не требуется, чтобы все входные образцы имели
соответствующий зарегистрированный в базе данных шаблон. В процессе испытаний на открытом множе
стве определяют вероятностьотсутствия истинного совпадения (вероятность ложного несовпадения)либо
вероятность ложного совпадения несоответствующих шаблонов (вероятность ложного совладения). Ре
зультаты испытаний на открытом множестве не зависят от размера базы данных, в которой происходил
поиск, и сходятся к верной статистической оценке по мере увеличения объема испытания. Примеры испы
таний какна открытом множестве, так и на замкнутом множестве описаны влитературе, но так как большин
ство приложений предполагает потенциальное существование «самозванцев», то результаты испытаний
на открытом множестве крайне важны для разработчиков системы или аналитиков с практической точки
зрения.
Как правило, определяют в процессе проведения испытаний на открытом множестве следующие
характеристики: вероятность отказа регистрации, вероятность отказа сбора данных, вероятность ложного
допуска, вероятность ложного недопуска, пропускная способность. Вероятность отказа регистрации опре
деляют какдолю субъектов, которые представили системе для регистрации свои биометрические характе
ристики. но не смогли зарегистрироваться вследствие человеческой ошибки или ошибки системы. Вероят
ность отказа сбораданныхопределяют какдолю представлений всех зарегистрированных субъектов, кото
рые не были приняты системой. Вероятность ложного недопуска определяют какдолю подлинных субъек
тов. чей запрос на идентичность был отвергнут системой (противоположным показателем является вероят
ность истинного допуска). Данный показатель включает в себя отказы регистрации и сбора данных, а также
ложные несовпадения при сопоставлении с сохраненными шаблонами субъектов. Вероятность ложного
допуска — это вероятность, с которой «самозванцы», совершая пассивные попытки и не пытаясь имитиро
вать чужие биометрические характеристики, ошибочно отождествляются с некоторым случайным шабло
ном. Поскольку вероятности ложногодолуска/недопуска и вероятности ложного совпадения/несовпадения
представляют собой противоположные показатели, они могут быть изображены одновременно на кривой
компромиссного определения ошибки (КОО). Вероятности ложного допуска и истинного допуска могут
быть изображены на кривой рабочей характеристики (РХ).
Пропускная способность системы представляет собой число субъектов, которое система можетобра
ботать за одну минуту, и определяется с учетом как времени взаимодействия человека и устройства, так и
времени обработки данных.
7.2 Виды эксплуатационных испытаний
Ниже приведено описание трех видов эксплуатационных испытаний: технологического, сценарного и
оперативного [37].
Технологическое испытание — целью технологического испытания является сравнение нескольких
алгоритмов распознавания одинаковых биометрических модальностей (например, отпечатков пальцев) с
использованием стандартизованной базы данных образцов, собранной с помощью устройства захвата био
метрических данных, соответствующего стандартам (т. е. «универсального» датчика). Технологические
испытания проводятся для систем распознавания по голосу [29], по лицу [32]. по отпечаткам пальцев [4].
[31], [33]. [34]. по РОГ [20], [35].
Сценарное испытание — целью сценарного испытания является оценка эксплуатационных характери
стиквсей биометрической системы, осуществляемая при использовании реальных взаимодействующих с
системой субъектов и в условиях, моделирующих реальное применение системы. Каждая испытуемая
биометрическая система имеет свой собственный датчик для сбора данных, в результате чего могут быть
небольшие различия в получаемых исходных данных. Сценарные испытания проводились на больших
выборках, но воткрытых источниках публикуется только малая часть результатов сценарных испытаний [7].
[25]. [41].
21