ГОСТ Р 59921.7—2022
Пример — Может быть произведен анализ следующих параметров:
- визуальная оценка выходных данных СИИ;
- тип принимаемого решения;
- набор заключений СИИ;
- формат входных данных;
- тип анализируемого объекта;
- и т. д.
7.3.4 Метрику согласованности оценивают путем анализа документации на соответствие стандар
там или нормативным правовым актам, или другим рекомендациям (см. ГОСТ Р ИСО/МЭК 9126—93,
пункт А.2.1.4). Техническая и эксплуатационная документация на СИИ должна включать описание экс
плуатационных параметров, приведенных в ГОСТ Р 59921.4.
7.3.5 Метрики функциональной корректности (правильности) используют для подтверждения того,
что СИИ генерирует выходные данные с надлежащим уровнем точности (accuracy), а также повторяе
мости (repeatability) и воспроизводимости (reproducibility) (см. ГОСТ Р 59921.2). Оценку данной метрики
выполняют расчетным методом (см. ГОСТ 28195—89, пункт 1.5), на небольшом наборе данных с после
дующим определением соответствующих метрик (см. ГОСТ Р 59898—2021, пункт 8.2.3). Набор метрик
определяют на основании вида решаемой задачи СИИ и устанавливают решением экспертной группы.
7.4 Требования к наборам данных
Функциональное тестирование проводят на наборе данных достаточного объема для получения
статистически значимого результата и включающем изображения с отсутствием целевой патологии, а
также изображения с целевой патологией. Набор данных должен быть верифицирован, а также должен
включать данные из разных медицинских организаций и разных моделей/производителей оборудова
ния, обработку данных с которых изготовитель СИИ включает в функциональное назначение.
7.5 Требования к оборудованию для проведения тестирования
Функциональное тестирование необходимо проводить с применением испытательного стенда
(может быть как отдельным автоматизированным рабочим местом, так и виртуальной тестовой средой,
которая удовлетворяет техническим требованиям СИИ (см. [1], статья 10).
Возможно использование виртуальной тестовой среды, позволяющей выполнять автоматические
тестирования (benchmarking) (см. [1], статья 79).
Перед выполнением тестирования необходимо удостовериться в отсутствии существенных раз
личий между средой проведения тестирования и средой эксплуатации СИИ (см. ГОСТ Р 59898—2021,
подраздел 7.2).
7.6 Порядок выполнения тестирования
7.6.1 Тестирование проводят в соответствии с программой испытаний после выполнения подгото
вительных работ (см. 5.4).
7.6.2 Набор данных загружают на испытательный стенд, в котором инсталлирована СИИ или че
рез который установлен доступ к СИИ с целью выполнения тестирования.
7.6.3 Обрабатывают элементы набора данных с использованием СИИ и фиксируют выходные
данные СИИ.
7.6.4 При проведении тестирования документируют все программные и прочие ошибки, возника
ющие при эксплуатации СИИ.
7.6.5 При тестировании функциональной полноты необходимо предварительно определить но
менклатуру функций СИИ, описанных в технической и эксплуатационной документации. Рекомендова но
включить в перечень параметры, указанные в ГОСТ Р 59921.4:
- визуальная оценка выходных данных СИИ;
- типы принимаемого решения [тип (бинарное, вероятностное, локализация, классификация) и
формат возвращаемого СИИ заключения];
- набор заключений СИИ [СИИ может формировать одно или больше заключений (многофактор
ное заключение)];
- формат входных данных и тип анализируемого объекта (входные данные для систем анали
за медицинских изображений могут быть представлены статичными и динамическими изображениями
8