ГОСТ Р 70251—2022
Таблица 4 — Весовые коэффициенты фактора качества «Корректность»
Вес
критерия
Критерий
Метрика 1
К#-1
Метрика 2
К#-2
Метрика 3
К#-3
Метрика 4
К#-4
Метрика 5
К#-5
Метрика 6
К#-6
Метрика 7
К#-7
Метрика 8
К#-8
0,1
К1
0,5
0,5
—
—
—
—
—
—
0,2
К2
0,1
0,05
0,1
0,05
0,2
0,3
0,1
0,1
0,3
КЗ
0,2
0,5
0,3
—
—
—
—
—
0,4
К4
1,0
—
—
—
—
—
—
—
Конкретные весовые коэффициенты для критериев и метрик фактора качества «Доверенность»
приведены в таблице 5.
Таблица 5 — Весовые коэффициенты фактора качества «Доверенность»
Вес критерия
Критерий
Метрика 1
Д#-1
Метрика 2
Д#-2
Метрика 3
Д#-3
Метрика 4
Д#-4
0,5
Д1
0,5
0,1
0,3
0,1
0,5
Д2
0,2
0,1
0,1
0,6
Представленные в таблицах 1—5 весовые коэффициенты для критериев и метрик являются реко
мендуемыми, однако при испытании частного алгоритма для конкретной задачи можно выбирать спец
ифические коэффициенты для этой задачи.
7 Тестовые наборы данных и сценарии испытания алгоритма обнаружения
и распознавания препятствий
В настоящем разделе описаны тестовые наборы данных и сценарии испытания алгоритма обна
ружения и распознавания препятствий, а именно приведены требования к представительности (полно те
и несмещенности) тестовых наборов данных, фрагменты тестовых наборов данных — демонстраци
онные наборы данных, правила формирования представительных тестовых наборов данных, включая, в
случае необходимости, описание представительной совокупности тестовых сценариев, а также прин
ципы расширения (аугментации) тестовых наборов данных.
7.1 Требования к представительности (полноте и несмещенности) тестовых наборов
данных
Тестовый набор данных должен быть репрезентативен, содержать целевой набор изображений и
ситуаций по отношению к каждому существенному фактору эксплуатации.
Для обеспечения представительности тестового набора данных необходимо:
а) проводить испытания алгоритма обнаружения и распознавания препятствий на тестовом набо
ре, подготовленном в соответствии со статистическими закономерностями распределения существен
ных факторов эксплуатации, что позволит обеспечить тестирование алгоритма на соответствие реаль
ной картине распределения дорожно-транспортных ситуаций;
б) обеспечить повторные испытания со специально смещенной выборкой относительно количе
ства объектов распознавания независимо от их реального статистического распределения. Для этих
целей можно воспользоваться следующей процедурой:
1) выделить объекты распознавания, частота встречаемости которых в реальном окружении
ВАТС ниже средней частоты встречаемости всех объектов распознавания более чем на 3 стандарт
ных отклонения (редкие объекты).
Примечание — Уровень определения редких объектов является рекомендуемым иможетбыть изменен;
2) для выделенных объектов подготовить для испытаний «смещенную» выборку, которая по
зволяет лучше проанализировать поведение алгоритма в части редких объектов. Например, путем
семплирования с изменением частоты соответствующих объектов распознавания, которая прибли
жена к среднему по всем вариантам объектов распознавания, или путем ввода весовых коэффици
ентов при оценке ошибки в соответствующих классах. Конкретный способ должен быть явно опре
делен в программе испытаний алгоритма до начала этих испытаний;
3