Приложение D
(справочное)
ГОСТ Р ИСО/МЭК 19795-6-2015
Методы определения объема оперативного испытания
D.1 Общие положения
Оперативные испытания должны предусматривать такой объем испытания (то есть число транзакций
оперативного испытания), который будет достаточен для достижения целей данного испытания. Объем
оперативного испытания влияет на точность получаемых значений эксплуатационных характеристик, на то. какой
минимальный уровень ошибки может быть измерен; на вероятность обнаружения значимого результата в случае
наличия такового (мощность оперативного испытания); на вероятность ложной интерпретации случайных
процессов как значимых (уровень значимости оперативного испытания).
Связь между числом транзакций оперативного испытания и статистической значимостью результатов
зависит от проверяемой в оперативном испытании гипотезы. При оперативных испытаниях биометрической
системы целью часто является сравнение количественных соотношений, таких как вероятности ошибок,
вероятности недопуска или вероятности отказа биометрической регистрации, например;
- есть ли различия в вероятностях недопуска у двух подсистем, использующих разные биометрические
сканеры?
- влияют ли изменения условий окружающей среды на вероятности недопуска?
- функционирует ли биометрическая система в пределах заданного диапазона эксплуатационных
характеристик для вероятности ложного недопуска?
Приведенные ниже примеры демонстрируют общий подход к определению объема оперативного
испытания для таких случаев.
D.2 Объем оперативного испытания для сравнения количественных соотношений
В оперативном испытании проводится поиск возможных различий между вероятностями недопуска
биометрической системы для двух различных биометрических сканеров (А и В). Во время эксперимента будет
проведено л транзакций верификации «подлинного лица» при использовании каждого биометрического сканера.
Пусть рд и ре — истинные вероятности недопуска каждого биометрического сканера. Статистический параметр
D, полученный в ходе оперативного испытания, является наблюдаемым различием между вероятностями
недопуска двух биометрических образцов, а нулевая гипотеза (рА = рв) будет отвергнута в случае, если D
превысит критерий оперативного испытания с.
Для вычисления необходимого объема оперативного испытания испытатель должен определить:
- значение б. соответствующее различию, которое считается существенным;
- желаемую вероятность Р’ получения значимого результата в случав, если истинное различие больше или
равно 6 (стандартные значения Р":0.80: 0,90 или 0.95);
- уровень значимости оперативного испытания а (стандартные значения а: 0,10; 0,05 или 0.01).
Для данного примера будем считать, что транзакции верификации являются статистически независимыми.
Тогда D будет иметь распределение, близкое к нормальному со средним значением р» — ре и стандартным
отклонением ^ /2 p (l —р )/г. (ГД®р = (р* + рь) / 2 может быть установлено на основе наблюдения за рабочей
биометрической системой).
В данном примере будут использоваться значения 8 =0.06; Р’ =0.80; а = 0.10 и р =0.12. Таким образом;
а) если (рл— ре| 2 0.06. при оперативном испытании имеется вероятность не менее 80 % определить, что
FI
> с , и отвергнуть нулевую гипотезу;
Ь) е
с
ли рА=рв. при операти
в
ном ис
п
ытании и
м
еется вероятность
н
е более 10
% опр
е
делить,
что
|5|>с
и отвергнуть нулевую гипотезу.
Заметим, что;
- (о| имеет распределение, близкое к нормальному, со средним значением
(Р
а
+
ръ)12и среднеквадратичным отклонением ,/2(0,12) (0,88)/л
=
у 0,21/г,
-10 %стандартного нормального распределения лежит за пределами интервала (—1.645: 1.645);
- 80 %стандартного нормального распределения лежит в интервале (—0.842; «).
Из требований а) и Ь)следует:
0,06 - 0.342
№ *)
> С > 1в45%/ (0.21/«>
минимум с 363
Для критерия достоверности оперативного испытания с необходимо:
п
> (1,645 + 0,842)2(0,21)/0,06)* = 363.
Таким образом, в рассматриваемом примере необходимо провести испытание
транзакциями для каждого биометрического сканера.
21