ГОСТ Р 70321.1—2022
6.3Показатели для оценки функциональной корректности алгоритмов ИИ выбирают исходя из
специфики решаемой задачи на усмотрение заказчика испытаний. Ниже приведены примеры показате
лей для различных задач распознавания зданий.
6.3.1 В задачах бинарной классификации (здание/нездание на снимке) могут быть использованы
такие показатели, как:
- точность (precision);
- полнота (recall);
- F-мера.
Точность, полноту и F-меру рассчитывают по формулам (14), (15) и (17) ГОСТ Р 59898—2021 со
ответственно, причем:
-
ТР
— количество истинно положительных исходов: объект классифицирован как здание по ре
зультатам работы алгоритма ИИ и является зданием в разметке;
-
TN
— количество истинно отрицательных исходов: объект классифицирован как нездание по
результатам работы алгоритма ИИ и не является зданием в разметке;
-
FN
— количество ложноотрицательных исходов: объект классифицирован как нездание по ре
зультатам работы алгоритма ИИ и является зданием в разметке.
6.3.2 В задачах классификации с локализацией могут быть использованы, например, показатели
для оценки:
- классификации: точность (precision), полнота (recall), F-мера (см. 6.3);
- достоверности местоположения ограничивающей рамки — отношение пересечения над объеди
нением (Intersection over Union, loU).
Отношение пересечения над объединением loU рассчитывают по формуле
(AnB)
—
S(A
loU =
S
---------(,
kj
B)
(
1
)
где S — площадь;
А
— ограничивающая рамка здания по результатам работы алгоритма ИИ;
В — ограничивающая рамка здания из разметки.
Отношение площадей ограничивающих рамок может принимать значения от 0 до 1, причем зна
чение 1 соответствует наиболее эффективному качеству работы алгоритмов ИИ.
6.3.3 В задачах детекции могут быть использованы, например, показатели для оценки:
- достоверности местоположения ограничивающих рамок — усредненное по всем классам отно
шение пересечения над объединением loU (см. 6.3);
- классификации по всем классам — усредненная по всем классам величина средней точности
(mean average precision).
Среднюю точность по каждому классу
АРг
рассчитывают по формуле
1
АРг = $Pr(Re)dRe,
(2)
о
где
Рг
— точность при условии, что ограничивающая рамка определена достоверно (т. е. значение loU
выше определенного уровня);
Re
— полнота при условии, что ограничивающая рамка определена достоверно (т. е. значение loU
выше определенного уровня).
Затем среднюю точность усредняют по всем классам.
Средняя точность и усредненная по всем классам средняя точность могут принимать значения
от 0 до 1, причем значение 1 соответствует наиболее эффективному качеству работы алгоритмов ИИ.
6.3.4В задачах сегментации для оценки классификации могут быть использованы такие показа
тели, как:
- усредненная по всем классам попиксельная точность;
- усредненная по всем классам попиксельная полнота;
- усредненная по всем классам попиксельная F-мера.
Попиксельную точность, попиксельную полноту и попиксельную F-меру по каждому классу рас
считывают по формулам (14), (15) и (17) ГОСТ Р 59898—2021 соответственно, причем:
6