ГОСТ Р 70462.1—2022
Приложение А
(справочное)
Возмущение данных
А.1 Общие положения
Возмущение данных (data perturbation) формально определяют как гомоморфизм (т. е. отображение из за
данной области в себя) над областью возможных входов системы. Примером такой области является область
входных данных, содержащая все изображения RGB определенной ширины и высоты. В этом приложении описаны
возмущения набора данных в контексте оценки устойчивости нейронных сетей.
Например, в автоматизированных системах классификации широко использованы промышленные нейрон
ные сети. Такие системы классификации применяют для распознавания лиц, отслеживания объектов, распозна
вания звука и т. д. Обычным способом построения системы классификации на основе нейронных сетей является
выполнение контролируемого обучения с помощью размеченной базы данных.
Даже последние версии нейронных сетей для решения задачи классификации весьма восприимчивы к ис
кажениям данных или к неблагоприятным примерам [54]. Неблагоприятные (состязательные, adversarial) примеры
включают изображения или звуковые образцы, которые немного изменены по сравнению с оригиналами, что при
водит к другому результату классификации, и возникают естественным образом в окружающей среде или из-за
свойств датчиков. Существует множество методов построения таких примеров, но в настоящее время отсутствует
приемлемый способ их обнаружения.
С точки зрения инженеров-программистов ИИ, существование состязательных примеров представляет риск
для робастности системы, поскольку в некоторых случаях система ведет себя нестабильно. Инженеры знают о на
личии состязательных примеров, однако их нелегко выявить заранее.
Применение состязательного примера для провокации незапланированного поведения нейронных сетей мо
жет представлять собой атаку. В литературе встречаются две основные парадигмы таких атак:
- атака «белого ящика» (white-box attack), при которой злоумышленник имеет полное знание нейронной сети,
обучающий набор данных и алгоритм обучения;
- атака «черного ящика» (black-box attack), при которой злоумышленник не знает архитектуры нейронной
сети, набора обучающих данных или алгоритма обучения.
Хотя в этом приложении описаны различные типы возмущений для разных типов данных, оно не претендует
на то, чтобы быть исчерпывающим. Также следует отметить, что аппаратные средства могут вызывать незаплани
рованное поведение, изменяя данные в ходе числовых преобразований и, таким образом, приводя к искажениям.
В литературе также предложены стратегии и методы защиты систем от этих типов атак.
В А.2 и А.З представлены примеры искажений данных для изображений и звуков. В каждом случае как слу
чайные естественные возмущения, так и преднамеренные атаки сосуществуют в широком диапазоне применений.
А.2 Примеры искажений изображений
i
А.2.1 Общие положения
Существует несколько типов возмущений изображения, которые могут отражать возможную деградацию, ко
торую окружающая среда способна нанести изображению, обрабатываемому системой ИИ. Изображение (обычно)
представляет собой двумерный массив из пикселей, каждый из которых представлен одним или несколькими число
выми значениями (например, одно — для черного изображения и пикселей, три — для изображения RGB). Без потери
общности ниже будет рассмотрено изображение как массив пикселей шириной
W
и высотой
Н,
в то время как каждый
пиксель р
j
находится между значениями от 0 до 255. Следовательно, изображение является точкой в пространстве
размером
L* W.
Возмущение изображения — это функция, которая преобразует одно изображение в другое.
Когда два изображения находятся в одном пространстве, доступны различные метрики для расчета рас
стояния между ними, включая среднеквадратичную ошибку, расстояние Левенштейна [55], индекс структурного
сходства [56] и т. д. Каждое возмущение применимо также к тем цветным изображениям, в которых возмущение
применяется к каждому цветовому каналу. Существует как множество возможных отклонений, так и множество ме
трик, которые определяют, какие из результатов оказываются ближе к исходному изображению. Атаки могут быть
разработаны для имитации фактического ухудшения процесса получения изображения, например шума, вибра
ции, ослепления или преграждения объектива камеры.
В А.2.2—А.2.7 приведены некоторые примеры возмущений изображения и некоторые метрики, используе
мые для их оценки.
А.2.2 Однородный шум
Однородный шум — это преобразование, которое добавляет ограниченное случайное возмущение каждому
пикселю изображения. Однородный шум определяется значением
К,
соответствующим максимуму шума, который
можно применить к каждому пикселю. Операцию сложения или вычитания значения шума выбирают случайным
образом для каждого пикселя.
18