ГОСТ Р 70462.1—2022
нейронная сеть, которая вообще не соответствует требованиям, если входные данные находятся в со
вершенно другой области определения, чем те, на которых она была обучена.
Следовательно, целевая функция робастности должна быть сформулирована в достаточной сте
пени, чтобы можно было определить робастность нейронной сети.
Пример четко поставленной цели (структурированной из трех частей) выглядит следующим об
разом:
- нейронная сеть должна быть устойчивой к входным данным, отличным от тех, на которых она
была обучена;
- предполагается, что входные данные относятся к одной области и могут включать как физически
реализуемые, так и гипотетические;
- показатели, которые могут быть использованы, включены в 5.2.2.
В зависимости от задачи, решаемой системой ИИ (например, классификация, интерполяция/
регрессия), возможны различные статистические метрики. В настоящем подразделе описаны общие
статистические метрики и способ их вычисления. Список не является исчерпывающим, и некоторые
из этих показателей совместимы с другими задачами. Их можно использовать как отдельно, так и в
комбинации. В зависимости от применения существует также множество метрик, специфичных для
конкретной задачи [например, BLEU, TER или METEOR для машинного перевода, отношение пересе
чений и объединений (intersection over union) для обнаружения объектов на изображениях или средняя
точность (mean average precision) для качественного ранжированного поиска], но их описание выходит за
рамки настоящего стандарта.
5.2.2
Примеры метрик эффективности для интерполяции
5.2.2.1
Среднеквадратичная ошибка или среднеквадратичное отклонение
Среднеквадратичная ошибка (RMSE) — это стандартное отклонение остатков (ошибок прогнози
рования). Ошибки прогнозирования — это показатель того, насколько далеко от линии регрессии на
ходятся точки данных, a RMSE — это показатель разброса остатков.
5.2.2.2 Максимальная ошибка
Максимальная ошибка (max error) — это абсолютная или относительная метрика, вычисляющая
значение в исходных данных и соответствующее значение в прогнозе системы ИИ. Абсолютная макси
мальная ошибка — это максимальная разность между значением в исходных данных и соответствую щим
значением в прогнозе системы ИИ. Относительная максимальная ошибка — это отношение абсо лютной
максимальной ошибки к реально измеренному значению.
5.2.2.3 Фактическая и прогнозируемая корреляции
Фактическая/прогнозируемая корреляция (actual/predicted correlation) — это линейная корреляция
(в статистическом смысле) между фактическими значениями и прогнозируемыми значениями для каж
дого значения, рассматриваемого в наборе.
5.2.3 Примеры показателей эффективности для классификации
5.2.3.1 Общие понятия и связанные с ними базовые метрики
Набор образцов может иметь следующие характеристики:
- общая совокупность (total population): общее количество образцов в данных;
- положительные образцы (condition positive, СР): количество реальных положительных образцов
в данных;
- отрицательные образцы (condition negative, CN): количество реальных отрицательных образцов
в данных;
- положительный прогноз (prediction positive, РР): количество образцов, классифицированных как
положительные;
- отрицательный прогноз (prediction negative, PN): количество образцов, классифицированных как
отрицательные;
- распространенность (prevalence): доля определенного класса в общем количестве образцов.
Каждый экземпляр в наборе образцов классифицируется системой классификации по одному из
следующих принципов:
- истинно положительный экземпляр (ТР, попадание): экземпляр принадлежит классу и прогнози
руется как принадлежащий классу;
- истинно отрицательный экземпляр (TN, правильный отказ): экземпляр не принадлежит классу и
прогнозируется как не принадлежащий классу;
- ложноположительный экземпляр (FP, ложная тревога, ошибка типа I): экземпляр не принадле
жит классу и прогнозируется как принадлежащий классу;
7