ГОСТ Р 70256—2022
2) для выделенных объектов подготовить для испытаний «смещенную» выборку, которая позво
ляет лучше проанализировать поведение алгоритма в части редких объектов. Например, пу тем
семплирования с изменением частоты соответствующих объектов распознавания, которая
приближена к среднему по всем вариантам объектов распознавания, или путем ввода весовых
коэффициентов при оценке ошибки в соответствующих классах. Конкретный способ должен
быть явно определен в программе испытаний алгоритма до начала этих испытаний;
3) провести испытания с подготовленной выборкой, чтобы убедиться, что алгоритм обрабатывает
редкие объекты с достаточным качеством.
Такой принцип подбора тестового набора данных позволит обеспечить проверку возможностей
алгоритма по распознаванию всех объектов распознавания в различных контекстах (вариантах комби
наций значений существенных признаков), поскольку для обеспечения доверия к результатам работы
алгоритма необходимо, чтобы точность распознавания не зависела от частоты встречаемости конкрет
ного объекта распознавания при эксплуатации алгоритма.
При испытании СИИАУД необходимо руководствоваться принципами проведения испытаний:
объективность испытаний, обоснованность применяемых методов (методик) испытаний, обеспечение
единства измерений (аттестация методик измерений), воспроизводимость результатов испытаний и др.
7.2 Фрагменты тестовых наборов данных (демонстрационные наборы данных)
Основной набор тестовых данных, содержащий фрагменты различных ситуаций и препятствий на
дорогах, доступен по ссылке:
https://disk.yandex.ru/ci/N-AxTFKsxjnhzw
.
Тестовый набор данных описывает существенные факторы эксплуатации и содержит следующие
подборки (множество файлов из демонстрационного набора, описывающих конкретную шкалу суще
ственных признаков ситуации):
- количество и ширина полос;
- наличие иных технических средств организации дорожного движения;
- наличие пешеходных тротуаров и пешеходных переходов в одном уровне;
- наличие примыканий и пересечений в одном уровне;
- плотность потока транспортных средств;
- попадание посторонних предметов и объектов на дорогу;
- состояние дорожного покрытия;
Тестовый набор данных содержит тактико-технические характеристики видеорегистратора, ме
таданные видеосъемки (координаты ВАТС, пример видеодорожки с присутствием знаков дорожного
движения, время съемки).
Приведенный классификатор является исчерпывающим перечнем существенных факторов экс
плуатации для рассматриваемого алгоритма контроля обочины и полосы движения, при этом сценарии
дорожно-транспортных ситуаций должны генерироваться на основе приведенного перечня существен
ных факторов эксплуатации при испытании алгоритма контроля обочины и полосы движения с учетом тех
или иных законов распределения существенных факторов эксплуатации.
7.3 Правила формирования представительных тестовых наборов данных (включая, в
случае необходимости, описание представительной совокупности тестовых сценариев)
Прилагаемый к настоящему стандарту демонстрационный набор тестовых данных содержит сле
дующий набор файлов:
- device.txt — данные и параметры самого записывающего устройства видеорегистратора внутри
кабины ВАТС;
- gps.csv — данные о координатах ВАТС с приложенной видеодорожки с указанием точных GPS-
координат и времени записи;
- heading.csv, motion.csv, times.txt — файлы с технической информацией по приложенной видео
дорожке;
- snapshots.zip — архив с примерами-скриншотами с приложенной видеодорожки с целевыми слу
чаями соответствующих объектов на ней;
- video.mp4 — сама видеодорожка, содержащая пример целевой ситуации/объекта с подтверж
денным набором соответствующего содержания.
4