ГОСТ Р 59921.7—2022
4 Общие положения
4.1 Контроль качества, эффективности и безопасности системы искусственного интеллекта (СИИ),
являющейся медицинским изделием, следует проводить в течение всего жизненного цикла СИИ, в том
числе путем проведения его технических испытаний и клинической оценки. Общая методология и опи
сание испытаний СИИ приведены в таблице А.1 приложения А.
4.2 На этапе разработки СИИ выполняют доказательство концепции (proof of concept), необхо
димое для определения применимости разрабатываемой СИИ для предполагаемого назначения (см.
таблицу А.1 приложения А).
4.3 В рамках технических испытаний СИИ должны быть оценены ее метрики качества как про
граммного продукта. Данные метрики и методы испытаний основаны на ГОСТ Р ИСО/МЭК 9126, ГОСТ Р
ИСО/МЭК 25040, ГОСТ 28195, ГОСТ Р ИСО/МЭК 12119. Общие требования к номенклатуре метрик ка
чества СИИ приведены в ГОСТ Р 59898 и ГОСТ Р 59276. Общие требования к техническим испытаниям
СИИ, функциональным назначением которой является анализ медицинских изображений, приведены
в разделе 5.
4.4 В отношении СИИ проводят также оценку ее клинической эффективности, безопасности и
качества. Общие требования клинической оценки СИИ приведены в разделе 6.
4.5 Для целей выполнения испытаний производитель СИИ должен, в том числе, предоставлять
пользователям информацию о назначении СИИ, включая следующие данные:
- назначение СИИ;
- целевую популяцию и условия, для которых предназначена СИИ;
- предполагаемые результаты использования СИИ для пациентов и системы здравоохранения.
4.6 Предоставленной производителем информации должно быть достаточно для того, чтобы
пользователи могли оценить применимость СИИ для целевого назначения. В описании должны содер
жаться следующие данные:
- заявленные значения метрики, используемой для различения субъектов с наличием и отсут
ствием целевого признака. Метрика должна быть выбрана в согласии с медицинскими экспертами в
целевой области и соответствовать назначению СИИ;
Пример — Если СИИ предназначена для оценки вероятности рака груди, она должна обладать бо
лее высокой чувствительностью, чем специфичностью.
- характеристики наборов данных, используемых для обучения и тестирования СИИ;
- тип и формат входных данных;
- известные ограничения СИИ (например, тип входных данных, требования к сетевым ресурсам,
масштабируемость системы при вводе СИИ в эксплуатацию, требования к среде функционирования
при вводе СИИ в эксплуатацию);
- целевой метод медицинской визуализации (рентгенография, магнитно-резонансная томогра
фия, ультразвук, компьютерная томография и т.д.). При этом элементы пользовательского интерфейса
должны соответствовать требованиям ГОСТ Р 55544, ГОСТ Р ИСО 9241-161 (см. также [3]).
5 Оценка соответствия системы искусственного интеллекта заявленным
техническим требованиям
5.1 Для оценки соответствия характеристик СИИ требованиям технической и эксплуатационной
документации изготовителя, заявленным стандартам, применимым регулирующим требованиям и т.д.
выполняют технические испытания. Результаты технических испытаний должны быть воспроизводи мы
на различном совместимом оборудовании и представлены с использованием стандартных метрик оценки
соответствующих характеристик.
5.2 С целью выполнения технических испытаний разрабатывают программу испытаний (см. ГОСТ
Р 59921.2), включающую методику проведения испытаний существенных характеристик СИИ, опреде
ленных в ГОСТ Р 59276 и ГОСТ Р 59898.
5.3 СИИ, применяемая в клинической медицине для анализа медицинских изображений, имеет
отличия от общих СИИ. Например, качество данных медицинской визуализации может существенно
варьироваться в рамках системы здравоохранения: иметь разное соотношение сигнал/шум, дефекты
различной природы, изменяться со временем из-за износа и (или) обновления оборудования. В связи с
этим были введены дополнительные характеристики, которые уточнены в разделах 10 и 11. Соответ-
5