ГОСТ Р 59921.9—2022
Приложение А
(справочное)
Пояснение к методологии проведения испытаний систем искусственного интеллекта
Введение
Многообразие методов, используемых для регистрации физиологических показателей организма (см. прило
жение Б), диктует необходимость уточнения и разъяснения общего стандарта проведения клинических испытаний
для СИИ. Прежде всего, это связано с тем, что диагностические технологии, применяемые в клинической физио
логии, могут быть применимы как в оценке единичной функции органа, так и функционирования системы органов
или взаимодействия органов и систем. Кроме того, эти технологии основаны на разных физических принципах. Это
и усиление естественных физиологических сигналов, и провоцирование или индукция естественных физио
логических сигналов. Также возможно и воздействие на ткани организма для получения ответных сигналов (на
пример, допплерография). Многообразие подходов получения медико-биологической информации обуславливает
необходимость разных форматов представления результатов — от представления в виде динамических рядов до
оценки изменения характеристик аналогового сигнала во времени, вплоть до оценки синхронности и синфазности
изменений разных видов, типов сигналов. Отдельным пунктом стоит отметить уникальную ситуацию при оценке
взаимодействия синтетического и естественного сигналов. Стоит отметить чрезвычайно высокую операторозави-
симость при выполнении диагностических исследований в клинической физиологии. Все перечисленное требует
применения дифференцированного подхода для оценки СИИ, работающих с разными видами физиологических
сигналов.
А.1 Учитывают высокую зависимость результатов диагностики в области клинической физиологии от трех
основных составляющих: 1) соблюдение технологии регистрации (топика наложения электродов, обязательная
калибровка, последовательность выполнения технологических операций — применение фильтрации сигнала, сни
жение количества внешних помех и артефактов движения пациента), 2) использование в некоторых клинических
областях применения синтетических сигналов, которые либо инициируют физиологические сигналы, либо прово
цируют изменение физиологических сигналов, 3) необходимость оценки синхронности и синфазности регистрации и
воспроизведения физиологического сигнала не только единой физической природы — многоканальная ЭКГ, но и
разной физической природы — ЭхоКГ кинопетли (последовательность изображений), синхронизированные с ЭКГ
(электрический сигнал). В других случаях необходима оценка сигнала единой природы, но с разными шкалами
оценки (ЭЭГ — микровольты, ЭКГ-милливольты). Также необходимо учитывать и технические характеристики ре
гистраторов. Нередко, даже в одной МО могут использоваться устройства для выполнения диагностических ис
следований одних и тех же физиологических сигналов с разными параметрами временного и пространственного
разрешения, разного динамического диапазона, разным соотношением полезный сигнал/шум и т.п. Все это диктует
необходимость проведения испытаний каждой составляющей, как минимум, на разных этапах. Возможна оценка
всех составляющих в рамках одного клинического исследования с участием человека в условиях МО, но тогда по
требуется раздельная оценка составляющих с выделением отдельных метрик оценки для каждой составляющей.
А.2 Необходимо придерживаться одного из трех сценариев проведения клинических испытаний.
Применение первого сценария (использование наборов данных и работа на испытательном стенде) требу
ет наличия качественного набора данных, включающего сигналы, отражающие как необходимый для испытания
спектр сигналов (например, оценку уровня АД во взрослой популяции), так и набора данных, включающего арте
факты, помехи и нарушения последовательности выполнения технологических операций.
Если необходимых для тестирования наборов данных не существует (еще не созданы), например для оценки
СИИ при стресс-ЭКГ, то в этом случае необходимо выбрать второй сценарий, подразумевающий проведение КИ с
участием человека в условиях МО.
Если имеется лишь часть наборов данных (например, у пациентов с установленными кардиовертерами-
дефибрилляторами), существуют наборы данных, содержащие нарушения ритма, являющиеся триггерами для
включения кардиовертера-дефиблиллятора. Но пока не созданы наборы данных, позволяющие оценивать адек
ватность срабатывания устройств. В этом случае потребуется комбинация сценариев 1 и 2. При наличии набора
данных — этапы могут быть проведены на стенде, с использованием набора данных, для тех этапов (составных
частей оценки), где набора данных не существует — потребуется этап проведения КИ с участием человека в усло виях
МО.
а)При первом сценарии происходит последовательное тестирование СИИ на наборах синтетических дан
ных, тестирование на ошибки и на наборах данных, полученных от пациентов. СИИ может использовать сервер
МО, сервер разработчика, облачное хранилище. При этом СИИ должна по каждому испытанию показывать доста
точный результат по оцениваемым метрикам в соответствии с 9.1—9.3 (см. рисунок 1);
12