ГОСТ Р 70462.1—2022
данных. Хотя робастная система может быть нестабильной, а стабильная система может быть неро
бастной, стабильность является надежным показателем робастности, поскольку она делает результат
более предсказуемым.
Формальные методы использовались для повышения надежности программного обеспечения и
обеспечения более строгого контроля качества систем, включающих программное обеспечение. Хотя
формальные методы в основном применялись в контексте приложений, критически важных для без
опасности, например в транспортных системах, в настоящее время они используются более широко.
Формальные методы позволяют получить математическое доказательство свойства по всей дан
ной области, тогда как статистические или эмпирические методологии основаны на экстраполяции ре
зультатов только из проверенных выборок на всю область. Свойства безопасности обычно находятся
в центре внимания, но эти методы применимы к широкому спектру свойств. Формальные методы, как
правило, сложны в применении, поскольку они иногда требуют конкретного математического моделиро
вания в зависимости от типа анализируемой системы и, возможно, более сложного инструментального
оснащения (instrumentation) системы.
Программные системы ИИ создают новые специфические проблемы с точки зрения валидации
системы, например: в отличие от классического программного обеспечения их поведение сложнее объ
яснить и доказать. Это особенно характерно для нейронных сетей из-за способа их построения (по
средством обучения вместо программирования) и присущей нелинейности их поведения. В результате
требуется найти более подходящие системные свойства, демонстрирующие робастность системы ИИ,
и рассматриваются новые методологии, доказывающие их достоверность.
Настоящий раздел следует общему рабочему процессу для оценки робастности нейронной сети,
изображенному на рисунке 1. В частности, он сосредоточен на шагах 1, 2 и 3, представленных в 4.1 и
состоящих из выбора требуемых свойств робастности, затем — из подготовки данных, а далее — их
выполнения тестов. В зависимости от видов использования нейронной сети следует учитывать раз
личные свойства, иногда необходимы различные этапы подготовки и возможны несколько методов для
проведения тестирования.
6.2 Цель робастности, достижимая с использованием формальных методов
6.2.1 Общие положения
В настоящем подразделе описано свойство стабильности, которое является одним из свойств,
используемых для оценки робастности. В зависимости от задачи, выполняемой системой, оно форма
лизовано следующими путями:
1) для систем интерполяции: стабильность интерполяции вычисляет неопределенность нейрон
ной сети, что позволяет определить, когда нейронная сеть может иметь недостаточную робастность;
2) для систем классификации: максимальное стабильное пространство вычисляет размер той
области, в которой нейронная сеть будет иметь стабильную эффективность классификации.
6.2.2 Стабильность интерполяции (Interpolation stability)
В некоторых случаях нейронные сети используют для замены сложных математических вычисле
ний, выполнение которых требует больших затрат. Например, для сложной системы дифференциаль
ных уравнений, требующей решения итерационным методом (например, подход Ньютона— Рафсона),
нейронную сеть применяют в качестве «оракула», который выводит определенные удовлетворяющие
условия систем. Для реализации такого метода набор данных для обучения, тестирования и
валида ции генерируется заранее (в идеале — однократно), но, если качество набора данных
недостаточно для обучения нейросети нужной точности предсказания, этап генерации может
повторяться. Вопрос о релевантности и полноте покрытия пространства исходных параметров имеет
важное значение для определения качества поведения нейронной сети. Хотя очевидно, что
обучающий набор данных не является исчерпывающим (не охватывает всего пространства
входов/выходов), проблема остается той же для набора тестовых данных, который используют для
проверки. Кроме того, поскольку системы интерполяции обычно применяют для моделирования
функций, работающих более чем в двух измере ниях, нейронные сети создают сложности как с точки
зрения поведения, так и визуализации.
Для систем интерполяции главным преимуществом нейронных сетей является их способность
эффективно моделировать сложное линейное и нелинейное поведение. Однако по своей природе в
какой-то момент возникает некоторое нелинейное поведение, что позволяет нейронной сети демон
стрировать непредсказуемое поведение в тех частях области, в которых она должна быть использова на.
Одним из следствий этого является то, что в одних регионах области поведение нейросетей может
12