ГОСТ Р 70321.5—2022
5.4 Дополнительные требования к тестовым наборам данных
5.4.1 Каждый образец тестового набора данных должен состоять из снимка (серии снимков) и раз
метки, иметь метаданные, содержащие сведения о значениях существенных факторов (см. 5.6).
5.4.2 Статистические характеристики распределений существенных факторов в тестовых наборах
данных должны соответствовать статистическим характеристикам распределений существенных фак
торов в предусмотренных условиях эксплуатации алгоритмов ИИ.
5.4.3 Разметка снимков должна иметь пространственную привязку к соответствующему снимку.
Разметку выполняют методом наземных наблюдений или методом визуального дешифрирования.
Требования к квалификации экспертов, выполняющих разметку, устанавливают заказчики испытаний,
рекомендуемый уровень квалификации — в соответствии с [8] или [9].
Разметка снимков может быть валидирована по решению заказчиков испытаний.
5.4.4 Тестовые данные могут быть анонимизированы по решению заказчиков испытаний.
Например, тестовые данные могут иметь специально нарушенную пространственную привязку,
не позволяющую однозначно определить действительное пространственное расположение объектов
древесно-кустарниковой растительности. В таком случае для взаимной привязки снимков и разметки
может быть создана искусственная пространственная привязка, причем формат снимков после ее соз
дания должен остаться без изменений.
5.4.5 Тестовые данные могут быть расширены методом аугментации и/или путем добавления но
вых образцов, при этом правила разметки не должны противоречить правилам, примененным при соз
дании базового демонстрационного набора данных, но могут их дополнять.
5.4.6 Форматы снимков тестовых наборов данных должны соответствовать форматам снимков,
применяемых в предусмотренных условиях эксплуатации алгоритмов ИИ.
5.5 Демонстрационные наборы данных
5.5.1 Пример базового демонстрационного набора данных для задач сегментации прилагается
к настоящему стандарту, состоит из 135 папок, в каждой из которых по 1 снимку размером не менее
500 х 500 пикселей в формате TIFF и 1 файлу с разметкой в формате GEOJSON.
Примечание — Базовые демонстрационные наборы данных не обладают свойством представитель
ности, т. е. не отражают статистические распределения существенных факторов в предусмотренных условиях экс
плуатации алгоритмов ИИ (см. ГОСТ Р 59898—2021, 9.2).
5.5.2 Дополнительный демонстрационный набор данных может быть сформирован заказчиком
испытаний в случае оценки соответствия второй и третьей сторонами.
5.6 Существенные факторы
5.6.1_______________________________________________________________________________________
При создании требуемых условий тестирования необходимо выделить значимые, наиболее су
щественные факторы (внешние воздействия), оказывающие влияние на работу СИИ. Для каждого су
щественного фактора требуется установить диапазон возможных изменений (закон распределения) с
целью воспроизведения во время тестирования СИИ.
[ГОСТ Р 59898—2021,7.2.1.3]_______________________________________________________________
Перечень существенных факторов определяется заказчиками испытаний в зависимости от спе
цифики решаемой задачи, для которой планируется применять алгоритмы ИИ.
Пример существенных факторов приведен в таблице 1.
Таблица 1
Существенный факторДиапазон возможных значений*
Выбирают исходя из разрешений средств дистанционного
зондирования Земли, космические снимки от которых предпо
лагается обрабатывать с помощью оцениваемых алгоритмов
ИИ
Пространственное разрешение, м
Спектральное разрешение
Радиометрическое разрешение, бит/пиксель
Угол съемки от надира, град
Выбирают исходя из параметров орбиты космических аппара
тов, на которых установлены средства дистанционного зонди
рования Земли, и возможности отклонения средств дистанци
онного зондирования Земли от направления в надир
3