ГОСТ Р 70462.1—2022
Введение
При проектировании системы искусственного интеллекта (далее — ИИ) некоторые свойства, та
кие как робастность, отказоустойчивость, надежность, точность, безопасность, конфиденциальность
и т. д., часто считают предпочтительными. Определение робастности приведено в 3.6. Робастность —
важнейшее свойство, которое ставит новые задачи в сфере систем ИИ. Например, в рамках управле
ния рисками систем ИИ существуют некоторые риски, которые конкретно связаны с робастностью этих
систем и понимание которых имеет важное значение для внедрения ИИ во многих сферах. В настоя
щем стандарте представлен обзор актуальных подходов для оценки этих рисков с особым упором на
нейронные сети, широко использующиеся в промышленности.
В большинстве отраслей промышленности проверка программного обеспечения — это важней
шая часть любого производственного процесса. Задача состоит в том, чтобы обеспечить как безопас
ность, так и производительность программного обеспечения, используемого во всех частях системы.
В некоторых областях процесс верификации программного обеспечения (включая его обновления) так
же является важной частью сертификации. Например, в автомобильной или авиационной областях
при применении действующих стандартов, таких как ИСО 26262 [1] или DO 178С, необходимо
предприни мать определенные действия для обоснования дизайна, реализации и тестирования
любого встроен ного программного обеспечения.
Методы, используемые в системах ИИ, также подлежат валидации. Однако общие методы в си
стемах ИИ создают новые проблемы, которые требуют конкретных подходов для обеспечения адекват
ного тестирования и/или проверки.
Типы тех систем, которые основаны на технологиях ИИ, включают системы интерполяции/регрес-
сии, классификации, скоринговые и решающие системы.
Хотя существует множество методов валидации систем, не связанных с ИИ, они не всегда непо
средственно применимы к системам ИИ и, в частности, к нейронным сетям. Архитектуры нейронных
сетей представляют собой особую проблему, поскольку они не поддаются простому анализу и иногда
могут быть непредсказуемы ввиду их нелинейной природы, что требует новых подходов к решению
возникающих задач.
Методы подразделяютя на три группы: статистические методы, формальные методы и эмпириче
ские методы. В настоящем стандарте представлена справочная информация о существующих методах
оценки робастности нейронных сетей.
Отмечается, что характеристика робастности нейронных сетей является открытой областью ис
следований и что существуют ограничения как для подходов тестирования, так и для процессов вали
дации.
IV