ГОСТ Р 70321.1—2022
-
ТР
— количество истинно положительных исходов: совокупность пикселей снимка, классифици
рованных как относящиеся к зданиям по результатам работы алгоритма ИИ, принадлежит к зданиям в
разметке;
-
TN
— количество истинно отрицательных исходов: совокупность пикселей снимка, классифи
цированных как не относящиеся к зданиям по результатам работы алгоритма ИИ, не принадлежит к
зданиям в разметке;
-
FN
— количество ложноотрицательных исходов: совокупность пикселей снимка, классифициро
ванных как не относящиеся к зданиям по результатам работы алгоритма ИИ, принадлежит к зданиям в
разметке.
В задачах сегментации для оценки локализации может быть использован, например, показа
тель— усредненное по всем классам отношение пересечения над объединением (см. 6.3.1), причем:
-
А
— множество пикселей, принадлежащих к целевому классу по результатам работы алгоритма
ИИ;
-В
— множество пикселей, принадлежащих к целевому классу в разметке.
6.4Протоколы испытаний должны включать информацию по ГОСТ ISO/IEC 17025—2019 (7.8.2.1),
а также следующую информацию:
- статистические характеристики распределения существенных факторов;
- сведения о тестовых наборах данных, в том числе количество снимков, значения и характери
стики распределения существенных факторов;
- полученные оценки показателей функциональной корректности.
Протоколы испытаний оформляют по ГОСТ Р 58973—2020 (раздел 5).
7 Анализ и интерпретация результатов испытаний
7.1 Критерии качества устанавливают заказчики испытаний в зависимости от специфики тех за
дач, для которых планируется применять алгоритмы ИИ.
7.2 При проведении сравнительных оценок нескольких алгоритмов ИИ в дополнение к требова
нию по ГОСТ Р 59898—2021 (7.2.2.5) следует учитывать характеристики распределения существенных
факторов тестовых наборов данных.
7.3 С помощью полученных результатов испытаний можно решить следующие задачи:
- ранжирование алгоритмов ИИ по качеству;
- сравнение результатов работы алгоритмов ИИ с заданным порогом качества;
- сравнение результатов работы алгоритмов ИИ с качеством, обеспечиваемым человеком-опера-
тором.
7