ГОСТ Р ИСО/МЭК 19795-4—2011
- проводимые отдельные испытания некоторым образом связаны друг с другом (это может прои
зойти, например, если одни и те же образцы многократно применяются в испытаниях в качестве образ
цов «самозванцев»);
- вероятности ошибок, связанные с образцами, могут варьироваться (это может произойти в том
случае, еслиобразцы поступили из различных выборок,отличающихсядруготдруга качеством изобра
жения или с точки зрениядемографии).
Таким образом, если предположениео биномиальном распределениинеправомерно, тоэтодолж
но быть отражено в протоколе испытаний, испытания должны быть продолжены, при этом результаты
испытанийдолжны быть проанализированы с особой тщательностью.
9.1.2.2.3 Выбор уровня значимости
При проверке по критерию значимости, описанному в 9.1.2.2.1. значение za получают исходя из
желаемого доверительного уровня. Значения za однозначно определяются обратной интегральной
функцией нормальногораспределениявероятностей, значениякоторой представленыв таблице 3.Зна
чения (1 - а) и zgдолжны быть указаны в протоколе испытаний. Проверка по критерию значимости, как
правило, должна проводиться на уровне 95 %, однако при испытаниях насовместимость может возник
нуть необходимость увеличения значения доверительного уровня. Если при использовании необходи
мого числа образцов каждый элемент матрицы эксплуатационных характеристик с доверительной
вероятностью (1 - а)удовлетворяетнекоторомузначению критерия, то. вероятно, в случае сматрицами
эксплуатационныххарактеристикбольшогоразмерасовместимыепарыбудутиметьистинноезначение
вероятности ошибки больше требуемого значения, поскольку для каждого результата существует
неопределенность а. Поэтому в соответствии с 6.3 при проведении сертификационных испытаний типа
с)иd) необходимоувеличитьчисло независимыхобразцов ичисло ячеек пространства совместимости.
Таким образом, уменьшение уровня значимости а для одной ячейки обеспечит определенную
достоверность результатадля всей матрицы.
Т а б л и ц а 3 — Доверительные уровни для стандартного нормального распределения
Доверительный уровень, %. (1 -
а)
100
%
Уровень значимости, а
Значение функции = -4>~’(а)
90
0.1
1,28155
95
0.05
1.64485
97
0.03
1.88079
99
0.01
2,32635
99.7
0,003
2,74778
99,9
0.001
3.09023
П р и м е ч а н и е 1 — Результаты оценки эксплуатационных характеристик и доверительного интервала
должны рассматриваться только сучетом той выборки, которая была использована в процессе испытаний. Исполь
зование доверительного интервала не подразумевает, что система или продукт будутдемонстрировать эксплуата
ционные характеристики только в этом диапазоне. Испопьзование доверительного интервала означает только то, что
в результате повторения испытаний того же самого продукта при работе с образцами, полученными тем же самым
образом из той же самой выборки, скорее всего, будут получены значения эксплуатационных характеристик в данном
диапазоне.
П р и м е ч а н и е 2 — Размер доверительных интервалов зависит от выборки. При проведении технологи
ческих испытаний врежиме отложенного задания, вкоторых используются выборки большогообъема.доверитель
ные интервалы будут более узкими. Сценарные испытания часто осуществляются с использованием меньших
выборок (по причине больших издержек), поэтому для них доверительные интервалы будут более широкими. Тех
нологические испытания целесообразно применять для оценки функциональных возможностей алгоритмов (вдан
ном случае совместимости алгоритмов), а сценарные испытания — для оценки эксплуатационных характеристик, так
как при этих испытаниях учитывается взаимодействие продуктов с реапьными пользователями.
9.1.2.3Совместимость, определяемая поотношению кэксплуатационным характеристикам «эта
лонной» системы
Совместимостьможетбытьопределена путем сопоставления показателей качества эксплуатаци онных
характеристик с эксплуатационными характеристиками «эталонной» системы, определенными
при использовании тогоже набораданных. «Эталонной» системой можетбытьсистема, использующая
ФФ. или система единственного поставщика, использующего СФОД.
34