ГОСТ Р 70321.6—2022
6.3.2 В задачах классификации с локализацией могут быть использованы такие показатели, как:
-для оценки классификации: точность (precision), полнота (recall), F-мера (см. 6.3);
- для оценки достоверности местоположения ограничивающей рамки — отношение пересечения
над объединением (Intersection over Union, loU).
Отношение пересечения над объединением loU рассчитывают по формуле
loU =
S(AnB)
S(AvB)’
(
1
)
где S — площадь;
А
— ограничивающая рамка объекта дорожно-транспортной сети по результатам работы алгорит
ма ИИ;
В
— ограничивающая рамка объекта дорожно-транспортной сети из разметки.
Отношение площадей ограничивающих рамок может принимать значения от 0 до 1, причем зна
чение 1 соответствует наилучшему качеству работы алгоритмов ИИ.
6.3.3 В задачах детекции могут быть использованы такие показатели, как:
- для оценки достоверности местоположения ограничивающих рамок — усредненное по всем
классам отношение площадей ограничивающих рамок loU (см. 6.3);
- для оценки классификации по всем классам — усредненная по всем классам величина средней
точности (mean average precision).
Среднюю точность
АРг
по каждому классу рассчитывают по формуле
1
АРг
=
JPr(Re)dRe,(2)
о
где
Рг
— точность при условии, что ограничивающая рамка определена достоверно (т. е. значение loU
выше определенного уровня);
Re
— полнота при условии, что ограничивающая рамка определена достоверно (т. е. значение loU
выше определенного уровня).
Затем среднюю точность усредняют по всем классам.
Средняя точность и усредненная по всем классам средняя точность могут принимать значения
от 0 до 1, причем значение 1 соответствует наиболее эффективному качеству работы алгоритмов ИИ.
6.3.4 В задачах сегментации могут быть использованы такие показатели, как:
- усредненная по всем классам попиксельная точность;
- усредненная по всем классам попиксельная полнота;
- усредненная по всем классам попиксельная F-мера;
- мера сходства средней длины пути.
Попиксельную точность, попиксельную полноту и попиксельную F-меру по каждому классу рас
считывают по формулам (14), (15) и (17) ГОСТ Р 59898—2021 соответственно, причем:
-
ТР
— количество истинно положительных исходов: совокупность пикселей снимка, классифици
рованных как относящиеся к объектам дорожно-транспортной сети по результатам работы алгоритма
ИИ, принадлежит к объектам дорожно-транспортной сети в разметке;
-
TN
— количество истинно отрицательных исходов: совокупность пикселей снимка, классифи
цированных как не относящиеся к объектам дорожно-транспортной сети, не принадлежит к объектам
дорожно-транспортной сети в разметке;
-
FN
— количество ложноотрицательных исходов: совокупность пикселей снимка, классифициро
ванных как не относящиеся к объектам дорожно-транспортной сети, принадлежит к объектам дорожно-
транспортной сети в разметке.
Меру сходства средней длины пути рассчитывают по формуле
С =
1
Ф / А )
(
3
)
где
N
— количество уникальных объектов дорожно-транспортной сети в разметке;
L(a/,
bj)
— длина /-го объекта дорожно-транспортной сети (а,-, Ь,), присутствующего в разметке;
L(a’j,
b’j)
— длина /-го объекта дорожно-транспортной сети (a’j, Ь’-) по результатам работы алгоритма ИИ.
6