ГОСТ Р 70321.1—2022
Перед проведением оценки качества СИИ необходимо удостовериться в отсутствии существен
ных различий между средой проведения тестирования и средой эксплуатации, т. е. убедиться, что
потенциальные различия не влияют на надежность, валидность и репрезентативность результатов
тестирования.
[ГОСТ Р 59898—2021,7.2.1.2]
Примечание — СИИ — системы искусственного интеллекта.
5.2 Подготовительные работы — по ГОСТ Р 59898—2021 (7.2.1) с дополнениями, приведенными
в настоящем стандарте.
5.3 Требования к тестовым наборам данных — по ГОСТ Р 59898—2021 (9.2) с дополнениями, при
веденными в настоящем стандарте.
Примечание — Описание наборов данных для тестирования — по ГОСТ Р 59898—2021 (9.1).
5.4 Дополнительные требования к тестовым наборам данных
5.4.1 Каждый образец тестового набора данных должен состоять из снимка (серии снимков) и раз
метки, иметь метаданные, содержащие сведения о значениях существенных факторов (см. 5.6).
5.4.2 Статистические характеристики распределений существенных факторов в тестовых наборах
данных должны соответствовать статистическим характеристикам распределений существенных фак
торов в предусмотренных условиях эксплуатации алгоритмов ИИ.
5.4.3 Разметка снимков должна иметь пространственную привязку к соответствующему снимку.
Разметку выполняют методом наземных наблюдений или методом визуального дешифрирования.
Требования к квалификации экспертов, выполняющих разметку, устанавливают заказчики испытаний,
рекомендуемый уровень квалификации — в соответствии с [4] или [5].
Разметка снимков может быть валидирована по решению заказчиков испытаний.
5.4.4 Тестовые данные могут быть анонимизированы по решению заказчиков испытаний.
Например, тестовые данные могут иметь специально нарушенную пространственную привязку, не
позволяющую однозначно определить действительное пространственное расположение зданий. В та
ком случае для взаимной привязки снимков и разметки может быть создана искусственная простран
ственная привязка, причем формат снимков после ее создания должен остаться без изменений.
5.4.5 Тестовые данные могут быть расширены методом аугментации и/или путем добавления но
вых образцов, при этом правила разметки не должны противоречить правилам, примененным при соз
дании базового демонстрационного набора данных, но могут их дополнять.
5.4.6 Форматы снимков тестовых наборов данных должны соответствовать форматам снимков,
применяемых в предусмотренных условиях эксплуатации алгоритмов ИИ.
5.5 Демонстрационные наборы данных
5.5.1 Пример базового демонстрационного набора данных для задач сегментации прилагается
к настоящему стандарту, состоит из 73 папок, в каждой из которых по 1 снимку размером не менее
500 х 500 пикселей в формате TIF и по 1 файлу с разметкой в формате GeoJSON.
Примечание — Базовые демонстрационные наборы данных не обладают свойством представитель
ности, т. е. не отражают статистические распределения существенных факторов в предусмотренных условиях экс
плуатации алгоритмов ИИ (см. ГОСТ Р 59898—2021, 9.2).
5.5.2 Дополнительные демонстрационные наборы данных могут быть сформированы заказчика
ми испытаний в случае оценки соответствия второй и третьей сторонами.
5.6 Существенные факторы
5.6.1_______________________________________________________________________________________
При создании требуемых условий тестирования необходимо выделить значимые, наиболее су
щественные факторы (внешние воздействия), оказывающие влияние на работу СИИ. Для каждого су
щественного фактора требуется установить диапазон возможных изменений (закон распределения) с
целью воспроизведения во время тестирования СИИ.
[ГОСТ Р 59898—2021,7.2.1.3]_______________________________________________________________
Перечень существенных факторов определяют заказчики испытаний в зависимости от специфики
решаемой задачи, для которой планируется применять алгоритмы ИИ.
3