ГОСТ Р 70321.5—2022
- FN
— количество ложноотрицательных исходов: совокупность пикселей снимка, классифициро
ванных как не относящиеся к объектам древесно-кустарниковой растительности, принадлежит к объ
ектам древесно-кустарниковой растительности в разметке.
В задачах сегментации для оценки локализации может быть использован такой показатель, как
усредненное по всем классам отношение пересечения над объединением (Intersection over Union, loU),
рассчитываемое по формуле
loU =
S(AnB)
S(AuB)’
(
1
)
где S — площадь;
A
— множество пикселей, принадлежащих к целевому классу по результатам работы алгоритма
ИИ;
В — множество пикселей, принадлежащих к целевому классу в разметке.
6.4Протоколы испытаний должны включать информацию по ГОСТ ISO/IEC 17025—2019 (7.8.2.1),
а также следующую информацию:
- статистические характеристики распределения существенных факторов;
- сведения о тестовых наборах данных, в том числе количество снимков, значения и характери
стики распределения существенных факторов;
- полученные оценки показателей функциональной корректности.
Протоколы испытаний оформляют по ГОСТ Р 58973—2020 (раздел 5).
7 Анализ и интерпретация результатов испытаний
7.1 Критерии качества устанавливают заказчики испытаний в зависимости от специфики задач,
для которых планируется применять алгоритмы ИИ.
7.2 При проведении сравнительных оценок нескольких алгоритмов ИИ в дополнение к требова
нию по ГОСТ Р 59898—2021 (7.2.2.5) следует учитывать характеристики распределения существенных
факторов тестовых наборов данных.
7.3 С помощью полученных результатов испытаний можно решить следующие задачи:
- ранжирование алгоритмов ИИ по качеству;
- сравнение результатов работы алгоритмов ИИ с заданным порогом качества;
- сравнение результатов работы алгоритмов ИИ с качеством, обеспечиваемым человеком-опера-
тором.
6