ГОСТ Р 70321.4—2022
6 Тестирование и оценка показателей
6.1 Тестирование и оценка показателей — по ГОСТ Р 70321.1—2022 (раздел 6), за исключением
положений, приведенных в настоящем стандарте.
6.2 Показатели для оценки функциональной корректности алгоритмов ИИ выбирают исходя из
специфики решаемой задачи на усмотрение заказчика испытаний. Ниже приведены примеры показате
лей для различных задач распознавания зданий.
6.2.1 В задачах детекции могут быть использованы, например, показатели для оценки:
- достоверности местоположения ограничивающих рамок — усредненное по всем классам отно
шение площадей ограничивающих рамок (Intersection over Union, loU);
- классификации по всем классам — усредненная по всем классам величина средней точности
(mean average precision).
Отношение пересечения над объединением loU рассчитывают по формуле
loU =
S(AnB)
S(AvB)’
(
1
)
где S — площадь;
А
— ограничивающая рамка строящегося здания по результатам работы алгоритма ИИ;
В
— ограничивающая рамка строящегося здания из разметки.
Среднюю точность по каждому классу
АРг
рассчитывают по формуле
1
АРг = JPr(Re)dRe,(2)
о
где
Рг
— точность при условии, что ограничивающая рамка определена верно (т. е. значение loU выше
определенного уровня);
Re
— полнота при условии, что ограничивающая рамка определена верно (т. е. значение loU выше
определенного уровня).
Затем среднюю точность усредняют по всем классам.
Отношение пересечения над объединением, средняя точность и усредненная по всем классам
средняя точность могут принимать значения от 0 до 1, причем значение 1 соответствует наиболее эф
фективному качеству работы алгоритмов ИИ.
6.2.2В задачах сегментации для оценки классификации могут быть использованы, например,
следующие показатели:
- усредненная по всем классам попиксельная точность;
- усредненная по всем классам попиксельная полнота;
- усредненная по всем классам попиксельная F-мера.
Попиксельную точность, попиксельную полноту и попиксельную F-меру по каждому классу рас
считывают по формулам (14), (15) и (17) ГОСТ Р 59898-2021 соответственно, причем:
-
ТР
— количество истинно положительных исходов: совокупность пикселей снимка, классифици
рованных как относящиеся к строящимся зданиям по результатам работы алгоритма ИИ, принадлежит к
строящимся зданиям в разметке;
-
TN
— количество истинно отрицательных исходов: совокупность пикселей снимка, классифици
рованных как не относящиеся к строящимся зданиям по результатам работы алгоритма ИИ, не принад
лежит к строящимся зданиям в разметке;
-
FN
— количество ложноотрицательных исходов: совокупность пикселей снимка, классифициро
ванных как не относящиеся к строящимся зданиям по результатам работы алгоритма ИИ, принадлежит к
строящимся зданиям в разметке.
В задачах сегментации для оценки локализации может быть использован, например, показа
тель— усредненное по всем классам отношение пересечения над объединением (см. 6.2.1), причем:
-А
— множество пикселей, принадлежащих к целевому классу по результатам работы алгоритма ИИ;
-В
— множество пикселей, принадлежащих к целевому классу в разметке.
7 Анализ и интерпретация результатов испытаний
Анализ и интерпретация результатов испытаний — по ГОСТ Р 70321.1—2022 (раздел 7).
3