ГОСТ Р 59921.7—2022
11.4.6 Наборы данных должны содержать изображения, включающие объекты, которые не соот
ветствуют функциональному назначению СИИ, но могут быть в результате ошибки маршрутизации по
даны на вход СИИ [например, изображения с анатомическими областями, отличными от заявленных в
технической документации, белый шум, инородные предметы (имплантируемые изделия, металлокон
струкции и иные объекты, которые не наблюдаются на данном медицинском изображении при обычных
условиях) и др.].
11.4.7 Наборы данных должны включать также сложные для интерпретации экспертами изобра
жения.
11.5 Требования к оборудованию
Тестирование должно быть проведено с применением стенда либо в виртуальной тестовой среде,
которая удовлетворяет техническим требованиям СИИ (см. [1]).
11.6 Порядок выполнения тестирования
Для каждого элемента сформированного набора данных получают выходные данные СИИ с ис
пользованием испытательного оборудования.
Регистрируют выходные данные СИИ и сформированные ошибки и уведомления СИИ.
Перечисляют формат и тип входных данных, наименования диагностического устройства, с кото
рого получено изображение, размеры и разрешения изображений, типы зашумленных и искаженных
изображений, которые были поданы на вход системы (см. таблицу 8).
Таблица 8 — Характеристики входных данных
Наименование
Характеристика
Формат входных данных
Тип входных данных
Наименование диагностического устройства
Размер изображений
Разрешение изображений
Характеристики изображений (зашумленных, искаженных,
артефакты и др.)
Шум;
искажение изображения (описание);
другая анатомическая область (описание);
инородные предметы (описание);
др.
11.7 Анализ и оценка результатов тестирования
Рассчитывают показатели качества СИИ для соответствующего набора данных.
Для каждой выявленной ошибки СИИ определяют параметры: тип ошибки и триггер ошибки.
11.8 Критерии оценки (метрики)
Критерии оценки способности и устойчивости работы СИИ с разнородными данными определяют
на основе анализа изменения заявленных значений метрик качества при подаче на вход СИИ разно
родного набора данных.
Возможно использование также метрик точности определения некорректных изображений, кото
рые не соответствуют функциональному назначению СИИ.
Результаты тестирования на способность и устойчивость работы с разнородными данными
оформляют в виде протокола испытаний в соответствии с ГОСТ ISO/IEC 17025 (см. таблицы 9, 10). Та
блица 10 формируется для всех смоделированных видов изображений низкого качества, которые могут
быть поданы на вход СИИ, изображений с разных диагностических устройств и т.д. Набор проверяемых
разнородных данных определяется технической документацией изготовителя.
16