ГОСТ Р 59921.7—2022
9.3.3Восстанавливаемость, показывающая способность СИИ возобновить работу после возник
новения ошибки. Вычисляется как сумма временных интервалов восстановления работоспособности
системы после ошибки к количеству ошибок и отказов, зафиксированному в испытаниях.
9.4 Обработка результатов и оформление протокола
Результаты тестирования надежности оформляют в виде протокола испытаний в соответствии с
ГОСТ ISO/IEC 17025 (см. таблицу 6). Данные по результатам тестирования на устойчивость к состяза
тельным атакам и к работе с разнородными данными приводят отдельно.
Таблица 6 — Анализ и оценка результатов тестирования надежности
Наименование
характеристики
Нормативное значениеОпределенное значение
Результат
Метрики стабильности
От ... до ...
Соответствует/
не соответствует
Метрики устойчивости
к ошибке
От ... до ...
Соответствует/
не соответствует
Метрики
восстанавливаемости
От ... до ...
Соответствует/
не соответствует
Метрики робастности
От ... до ...
Соответствует/
не соответствует
10 Тестирование на устойчивость к состязательным атакам
10.1 Назначение
Состязательной атакой называют такой состязательный пример, который приводит к некоррект
ной работе СИИ. Состязательный пример возникает в случае крайне небольшого изменения, внесенно
го во входные данные алгоритма ИИ, который приводит к неожиданному (и неправильному) большому
изменению выходных данных, т. е. к совершенно другому результату, чем при неизменных входных
данных. Состязательные примеры могут возникать, например, при изменении нескольких пикселей
на медицинском изображении, искажение которых незаметно человеческому глазу.
Тестирование на устойчивость к состязательным атакам основано на формировании и обработке
состязательных примеров для выявления дефектов в СИИ. Выполняя данное тестирование, проводят
оценку устойчивости и надежности СИИ к наличию на входе системы данных, приводящих к возникно
вению состязательного примера (см. [1], [10]).
10.2 Требования к квалификации персонала
Тестирование на устойчивость к состязательным атакам проводят силами квалифицированных
технических специалистов, имеющих опыт тестирования СИИ, обработки изображений и анализа ре
зультатов.
10.3 Описание метода тестирования
Оценка точности предсказаний алгоритма ИИ и (или) других метрик в условиях состязательных
атак и в нормальных условиях.
10.4 Требования к оборудованию
Тестирование на устойчивость СИИ к состязательным атакам должно проводиться с применени
ем стенда и/или в виртуальной тестовой среде, которая удовлетворяет техническим требованиям СИИ
(см. [1]).
10.5 Требования к набору данных
Набор данных для выполнения данного тестирования должен состоять из изображений, которые
соответствуют функциональному назначению СИИ. При этом половину набора данных составляют дан-
13