ГОСТ Р ИСО/МЭК 19795-6-2015
5 Обзор оперативных испытаний
5.1 Цели оперативного испытания
Основной целью оперативного испытания является измерение или наблюдение за
эксплуатационными характеристиками рабочей биометрической системы.
Промежуточными целями оперативного испытания могут быть:
- определение соответствия эксплуатационных характеристик требованиям, установленным для
конкретного приложения, или свойствам, заявленным изготовителем;
-определение необходимости настройки или корректировки биометрической системы для
улучшения эксплуатационных характеристик;
- прогнозирование эксплуатационных характеристик при увеличении числа субъектов,
месторасположений или числа биометрических сканеров;
- получение информации о целевой выборке и параметрах окружающей среды, влияющих на
эксплуатационные характеристики биометрической системы;
- получение значений эксплуатационных характеристик после пробного внедрения;
- получениезначенийэксплуатационныххарактеристикдляпроверкипроектируемых
биометрических систем.
Оперативное испытание рассматривает как качество работы людей, так и эксплуатационные
характеристики оборудования, алгоритмов и окружающей среды. Следовательно, оперативные
испытания учитывают в дополнение к естественным и социальные аспекты, в то время как
технологические испытания этого не учитывают. В общем случае рабочие эксплуатационные
характеристики будут изменяться с течением времени вследствие человеческого фактора и
неподдающихся контролю параметров оборудования и условий окружающей среды. Например, если
большинство субъектов регистрируется в начале испытаний, то после нескольких новых
биометрических регистраций эксплуатационные характеристики биометрической системы могут
улучшиться в связи с появлением навыка у субъекта или стать хуже из-за старения биометрических
характеристик субъекта с течением времени по сравнению с зарегистрированным биометрическим
контрольным шаблоном.
Эксплуатационные характеристики, наблюдаемые во время оперативного испытания, могут
зависеть от эксплуатационного персонала биометрической системы, а именно от обслуживающих лиц
или специалистов по биометрическим испытаниям, также как и от субъектов биометрических данных.
Факторы, зависящие от эксплуатационного персонала биометрической системы, должны быть учтены
во всех аспектах оперативного испытания, начиная от определения области до протоколирования
(см. [1] и [2]).
5.2 Рабочие эксплуатационные характеристики
Показатели распознавания для оперативных испытаний отличаются от показателей,
используемых в технологических и сценарных испытаниях. В технологических и сценарных
испытаниях могут быть измерены вероятности ложного допуска и ложного недопуска, поскольку
испытателям известны основополагающие истинные данные. При рабочих настройках в общем
случае истинные данные неизвестны, таким образом, оперативные испытания будут измерять
вероятности допуска и недопуска биометрической системы.
Определение вероятностей ложного допуска и ложного недопуска из числа допусков и
недопусков биометрической системы требует дополнительных наблюдений или контроля с целью
определения правомерности идентификационных утверждений субъекта и взаимодействия с
биометрическим сканером. Аналогичным образом для биометрических систем идентификации
определение вероятности ошибки идентификации из числа идентификаций системы также требует
дополнительных наблюдений или контроля.
При определении эксплуатационных характеристик в технологических и сценарных испытаниях
часто исключаются недопуски, в которых субъект не предоставил идеальное представление или
неправильно следовал инструкциям. В оперативных испытаниях измерение вероятности недопуска
биометрической системы включает в себя недопуски такого рода.
5.3 Методы проведения оперативных испытаний
Оценка рабочих эксплуатационных характеристик основана на данных, полученных из рабочей
биометрической системы. Биометрическая система может быть настроена на «режим испытания» для
сбора дополнительных данных во время работы биометрической системы в штатном рабочем
режиме.
3