ГОСТ Р ИСО/МЭК 19795-1—2007
a) испытание эффектов старения, адаптации и других систематических изменений;
b
) испытание биометрических систем, использующих обновление шаблона;
c) определение диапазонов вероятностей ошибок, индивидуальных для каждого пользователя;
d) испытание, при котором транзакция не полностью определена до испытания, например при опре
делении влияния числа попыток в транзакции наэксплуатационные характеристики.
П р и м е ч а н и е — Если стоимость и усилия по организации и регистрации группы субъектов не являются
важным условием, тодля обеспечения независимости транзакций используют большое число испытуемых субъек
тов. каждый из которых создает отдельную транзакцию. Значительно легче использовать ранее зарегистрирован ных
субъектов, чем найти и зарегистрировать новых. Кроме того, каждый раз при совершении попытки в это же время
могут быть проведены нескольхо дополнительных попыток. Между несколькими транзакциями существует
некоторая корреляция: но часто при использовании нескольких транзакций от меньшегочисла испытуемых субъек
тов возникает меньшая неопределенность результатов испытания, чем при испытании аналогичной стоимости,
использующем одну транзакцию от большего числа испытуемых субьектов.
6.6.2.2Число и частота применения испытательных транзакций, полученных от каждого испытуемого
субъекта, должны соответствовать их целевому применению. Транзакции могут быть изменены в плане
испытания при условии, что измененная структура транзакции незначительно влияет на вероятности оши
бок.
П р и м е ч а н и е — Поведение пользователя может изменяться при проведении каждой следующей
попытки из-за увеличения его осведомленности об устройстве или обратной связи, то есть о результате иденти
фикации. Например первая попытка, которую совершает пользователь, будет иметь более высокую вероятность
отказа, чем следующие попытки. В результате наблюдаемая ВЛНС будет зависеть от структуры попытокпользова
теля. как определено в соответствии с протоколом испытания. Вероятности ошибок оценивают в среднем не
только по целевой выборке, но также по попыткам, которые пользователь может выполнить корректно. В этом
случае применяют усреднение по нескольким попыткам. Изменение числа и структуры попыток пользователя
может повлиять на поведение пользователя и на значение вероятности ошибок.
Пример— Использование нескольких транзакций непригодно для испытаний, в которых пользова
тель должен быть незнаком сустройством или биометрическим приложением.
6.6.3 Рекомендации по объему испытания
При определении точности результатов испытания число испытуемых субъектов имеет большее зна
чение. чем число проводимых попыток.
a) Группа должна быть настолько большой, насколько это практически осуществимо. Мерой целесо
образности могут быть затраты на набор и испытание группы.
b
) От каждого испытуемого субъекта должно быть получено достаточное число образцов, чтобы
общее число попыток превысило значение, требуемое по правилу 3 или правилу 30 соответственно. Если
есть возможность собрать несколько образцов в разные дни или разных пальцев, глаз или рук (при усло
вии сохранения репрезентативности*), то можно уменьшить зависимости между образцами одного и того
же человека.
c) После того какданные будут собраны и проанализированы, должна быть проведена оценка нео
пределенности измерений рабочих характеристик, а также было ли проведено испытание в достаточном
объеме.
П р и м е ч а н и е — В этом случае применяют закон убывающей отдачи, т.в. цель достигнута, если число
ошибок, возникающих из-за изменений условий использования или выборки испытуемых субьектов. превышает
число ошибок, возникающих вследствие объема группы и числа опытов.
6.7 Многократные испытания
6.7.1Если процедура сбора данных не может быть использована из-за ее стоимости, тодопускается
провести несколько испытаний с одним набором данных. Данный метод используют при проведении техно
логического испытания. Для биометрических систем, работающих с биометрическими характеристиками,
требования к которым установлены в [18] — (21] (отпечаток пальца, лицо, радужная оболочка глаза и
голос), может быть собрана одна база данныхдля испытания алгоритмов сравнения образцаот множества
* Например использование мизинца может быть нерепрезентативным для нормального использования
биометрической системы отпечатка пальца, и значения вероятности ошибок будут различными [17]. Точно так же
использование перевернутой левой руки не будет репрезентативным в биометрической системе, предназначен
ной для регистрации правой руки.
16