ГОСТ Р 59921.7—2022
ные, полученные в нормальных условиях, а вторую — данные с внесенными искажениями для форми
рования состязательных примеров.
Методы формирования состязательных примеров могут являться добавлением универсального
случайного возмущения (universal random perturbation), шума (imperceptible noise). Также могут быть
использованы другие методы (FGSM, inverse FGSM, JSMA) (см. [11]).
Специалисты, выполняющие данное тестирование, устанавливают виды состязательных приме
ров, влияние которых будет оценено в соответствии с указанными в технической документации произ
водителя.
10.6 Порядок выполнения тестирования
Формируют набор данных для выполнения тестирования на устойчивость к состязательным ата
кам согласно установленным требованиям.
Определяют выходные данные для каждого элемента набора данных, поданного на вход СИИ.
10.7 Анализ и оценка результатов тестирования
Сопоставляют выходные данные СИИ с заданными значениями набора данных. Вычисляют ме
трики качества, которые определяются типом принимаемого решения СИИ и ее функциональным на
значением (см. [12]).
Составляют ранжированный список состязательных атак, упорядоченный по степени влияния на
алгоритм.
10.8 Критерии оценки (метрики) и оформление результатов
Критерии оценки устойчивости СИИ к состязательным атакам определяют исходя из требований,
приведенных в технической документации СИИ.
Пример — СИИ анализирует оптические изображения глаза для сегментации области глаукомы.
На исходном изображении метрика точности сегментации (индекс Jaccard) составляла 71,1 %. После
внесения изменений в исходное изображение, чтобы получить состязательный пример, значение ме
трики снизилось до 16,4 % (см. [13]).
Результаты оценки устойчивости СИИ к состязательным атакам оформляют в виде протокола ис
пытаний в соответствии с ГОСТ ISO/IEC 17025 (см. таблицу 7). В таблице приводят данные метрик
качества для используемых видов состязательных примеров (от 1 до N) (см. 10.5).
Таблица 7 — Анализ и оценка тестирования на устойчивость СИИ к состязательным атакам
Наименование характеристики
Нормативное значение
Определенное
значение
Результат
Метрика качества на исходных
изображениях
От ... до ...
Соответствует/
не соответствует
Метрика качества
на изображениях — состязательных
примерах (1-й вид)
От ... до ...
Соответствует/
не соответствует
Метрика качества
на изображениях — состязательных
примерах (2-й вид)
От ... до ...
Соответствует/
не соответствует
Метрика качества
на изображениях — состязательныхОт ... до ...
примерах(N-й вид)
Соответствует/
не соответствует
14