ГОСТ Р 70321.6—2022
5.2 Подготовительные работы — по ГОСТ Р 59898—2021 (7.2.1) с дополнениями, приведенными
в настоящем стандарте.
5.3 Требования к тестовым наборам данных — по ГОСТ Р 59898—2021 (9.2) с дополнениями, при
веденными в настоящем стандарте.
Примечание — Описание наборов данных для тестирования — по ГОСТ Р 59898—2021 (9.1).
5.4 Дополнительные требования к тестовым наборам данных
5.4.1 Каждый образец тестового набора данных должен состоять из снимка (серии снимков) и раз
метки, иметь метаданные, содержащие сведения о значениях существенных факторов (см. 5.6).
5.4.2 Статистические характеристики распределений существенных факторов в тестовых наборах
данных должны соответствовать статистическим характеристикам распределений существенных фак
торов в предусмотренных условиях эксплуатации алгоритмов ИИ.
5.4.3 Разметка снимков должна иметь пространственную привязку к соответствующему снимку.
Разметку выполняют методом наземных наблюдений или методом визуального дешифрирования.
Требования к квалификации экспертов, выполняющих разметку, устанавливают заказчики испытаний,
рекомендуемый уровень квалификации — в соответствии с [4] или [5].
Разметка снимков может быть валидирована по решению заказчиков испытаний.
5.4.4 Тестовые данные могут быть анонимизированы по решению заказчиков испытаний.
Например, тестовые данные могут иметь специально нарушенную пространственную привязку,
не позволяющую однозначно определить действительное пространственное расположение объектов
дорожно-транспортной сети. В таком случае для взаимной привязки снимков и разметки может быть
создана искусственная пространственная привязка, причем формат снимков после ее создания должен
остаться без изменений.
5.4.5 Тестовые данные могут быть расширены методом аугментации и/или путем добавления но
вых образцов, при этом правила разметки не должны противоречить правилам, примененным при соз
дании базового демонстрационного набора данных, но могут их дополнять.
5.4.6 Форматы снимков тестовых наборов данных должны соответствовать форматам снимков,
применяемых в предусмотренных условиях эксплуатации алгоритмов ИИ.
5.5 Демонстрационные наборы данных
5.5.1 Пример базового демонстрационного набора данных для задач сегментации прилагается
к настоящему стандарту, состоит из 129 папок, в каждой из которых по 1 снимку размером не менее
500 х 500 пикселей в формате TIF и 1 файлу с разметкой в формате GEOJSON.
Примечание — Базовые демонстрационные наборы данных не обладают свойством представитель
ности, т. е. не отражают статистические распределения существенных факторов в предусмотренных условиях экс
плуатации алгоритмов ИИ (см. ГОСТ Р 59898—2021, 9.2).
5.5.2 Дополнительный демонстрационный набор данных может быть сформирован заказчиком
испытаний в случае оценки соответствия второй и третьей сторонами.
5.6 Существенные факторы
5.6.1_______________________________________________________________________________________
При создании требуемых условий тестирования необходимо выделить значимые, наиболее су
щественные факторы (внешние воздействия), оказывающие влияние на работу СИИ. Для каждого су
щественного фактора требуется установить диапазон возможных изменений (закон распределения) с
целью воспроизведения во время тестирования СИИ.
[ГОСТ Р 59898—2021,7.2.1.3]
Перечень существенных факторов определяется заказчиками испытаний в зависимости от спе
цифики решаемой задачи, для которой планируется применять алгоритмы ИИ.
Пример существенных факторов приведен в таблице 1.
Таблица 1
Существенный факторДиапазон возможных значений*
Выбирают исходя из разрешений средств дистанционного зон-
дирования Земли, космические снимки от которых предпола-
гается обрабатывать с помощью оцениваемых алгоритмов ИИ
Пространственное разрешение, м
Спектральное разрешение
Радиометрическое разрешение, бит/пиксель
3