ГОСТ Р 70253—2022
2) для выделенных перекрестков подготовить для испытаний «смещенную» выборку, которая по
зволяет лучше проанализировать поведение алгоритма в части редких перекрестков. Напри
мер, путем семплирования с изменением частоты соответствующих перекрестков приближена к
среднему по всем вариантам перекрестков, или путем ввода весовых коэффициентов при
оценке ошибки в соответствующих классах. Конкретный способ должен быть явно определен в
программе испытаний алгоритма, до начала этих испытаний;
3) провести испытания с подготовленной выборкой, чтобы убедиться, что алгоритм обнаруживает
и реконструирует структуру редких перекрестков с достаточным качеством.
Кроме того, при испытаниях алгоритма обнаружения и реконструкции перекрестков на предмет
реагирования на редкие дорожно-транспортные ситуации можно пользоваться иными методами тести
рования, включая применение весовых коэффициентов для различных существенных факторов экс
плуатации, семплирования, аугментации (7.4), и другими техниками.
Такой принцип подбора тестового набора данных позволит обеспечить проверку возможностей
алгоритма по обнаружению и реконструкции всех перекрестков в различных контекстах (вариантах
комбинаций значений существенных признаков), поскольку для обеспечения доверия к результатам
работы алгоритма необходимо, чтобы точность обнаружения и реконструкции не зависела от частоты
встречаемости конкретного объекта распознавания при эксплуатации алгоритма.
При испытании СИИАУД необходимо руководствоваться принципами проведения испытаний:
объективность испытаний, обоснованность применяемых методов (методик) испытаний, обеспечение
единства измерений (аттестация методик измерений), воспроизводимость результатов испытаний и др.
7.2 Фрагменты тестовых наборов данных (демонстрационные наборы данных)
Основной набор тестовых данных, содержащий в себе фрагменты различных ситуаций и препят
ствий на дорогах, доступен по ссылке:
https://disk.yandex.ru/cl/N-AxTFKsxjnhzw
.
Тестовый набор данных описывает существенные факторы эксплуатации и содержит следующие
подборки (множество файлов из демонстрационного набора, описывающих конкретную шкалу суще
ственных признаков ситуации):
- категория автомобильной дороги;
- наличие примыканий и пересечений в одном уровне;
- профиль автомобильной дороги — наибольший продольный уклон;
- состояние дорожного покрытия.
Тестовый набор данных содержит тактико-технические характеристики видеорегистратора, ме
таданные видеосъемки (координаты ВАТС, пример видеодорожки с присутствием знаков дорожного
движения, время съемки).
Приведенный классификатор является исчерпывающим перечнем существенных факторов экс
плуатации для рассматриваемого алгоритма, при этом сценарии дорожно-транспортных ситуаций
должны генерироваться на основе приведенного перечня существенных факторов эксплуатации при
испытании алгоритма обнаружения и реконструкции структуры перекрестков с учетом тех или иных за
конов распределения подобных факторов.
7.3 Правила формирования представительных тестовых наборов данных
(включая, в случае необходимости, описание представительной совокупности тестовых
сценариев)
Прилагаемый к настоящему стандарту демонстрационный набор тестовых данных содержит сле
дующий набор файлов:
- device.txt — данные и параметры самого записывающего устройства видеорегистратора внутри
кабины ВАТС;
- gps.csv — данные о координатах ВАТС с приложенной видеодорожки, с указанием точных
GPS-координат и времени записи;
- heading.csv, motion.csv, times.txt — файлы с технической информацией по приложенной видео
дорожке;
- snapshots.zip — архив с примерами-скриншотами с приложенной видеодорожки с целевыми слу
чаями соответствующих объектов на ней;
4