ГОСТ Р 59921.9—2022
Устойчивость СИИ к нарушениям ООП, артефактам данных, помехам может проводиться как на
стенде, так и на биологических объектах, пациентах в МО или лаборатории.
Процедура стендового тестирования включает в себя передачу записей из набора данных в СИИ.
Допустима как последовательная передача записей (передача— оценка— возврат ответа — следующий
цикл), так и параллельная (пакетная). Оценка записи СИИ проводится в кодах соответствия предва
рительно согласованному тезаурусу и возвращается на стенд (площадку) в формате (например, json или
xml). Метрики оценки: СИИ должна определить сигнал как полученный от биологического объекта,
выявить наличие помех, артефактов, нарушения или изменения СОП, должен быть сделан вывод о
пригодности или непригодности данного исследования для дальнейшей работы с ним. Эти сравнения с
эталонной аннотацией могут быть получены как с помощью программного приложения, так и экспертом
путем сравнения в ПО, обладающим необходимыми инструментами.
При испытании в МО или лаборатории необходимо получение согласия Этического комитета на
проведение данного исследования в соответствии с разделом 6. Процедура включает в себя регистра
цию сигнала системой регистрации биологической информации, которая в нем преобразуется в элек
тронную цифровую форму, которая оценивается СИ И. Оценка сигнала СИИ передается на площадку
(стенд) в формате, например, json или xml. Метрики оценки: СИИ должна определить сигнал как полу
ченный от биологического объекта, выявить наличие помех, артефактов, нарушения или изменения
СОП, должен быть сделан вывод о пригодности или непригодности данного исследования для даль
нейшей работы с ним. Эти сравнения с эталонной аннотацией могут быть получены как с помощью
программного приложения, так и экспертом путем сравнения в ПО, обладающим необходимыми ин
струментами.
10 Требования к системам искусственного интеллекта, использующим
алгоритмы анализа данных в клинической физиологии
СИИ должна показывать стабильные и сравнимые уровни точности при тестировании как с помо
щью функционального генератора, так и при работе с наборами данных, а также при работе с пациен
тами. При этом все этапы испытаний — способность отличать синтетический сигнал от
естественного, распознавать артефакты, помехи и нарушения технологии исследования, определять
с достаточной точностью различные феномены и/или синдромы, как изолированно, так и в
различных комбинациях, как на сбалансированных, так и на несбалансированных наборах данных
(которые не предоставлялись изготовителю или заведомо не использовались при обучении ИИ) —
могут быть выполнены в разное время с разными источниками сигналов (функциональный
генератор, набор данных, биологический объект, пациент) и на различных площадках (стенд,
лаборатория, МО) (см. ГОСТ Р 59277).
11 Требования к наборам данных
Набор данных должен соответствовать ГОСТ Р 59921.5.
Набор данных должен быть представлен в формате, принятом для данного вида данных (напри
мер, нейрофизиологические исследования — в формате EDF, кинопетли — в DICOM). При отсутствии
общепринятого открытого формата данных необходимо обеспечить возможность контроля потока ин
формации между датчиком и моделью. Для этого может быть выбрано следующее:
- открытый формат передачи данных;
- конвертор (согласующий слой) для перевода проприетарного формата в открытый формат;
- использование проприетарного формата производителя (или его описания) после подписания
соглашения о неразглашении данных между владельцем формата и проверяющим органом.
В любом из вышеперечисленных случаев проводится тестирование корректности, состоящее, на
пример, в проверке между фактическим форматом и описанием (не должно существовать отклонений)
или же проверка пары прибор— источник и конвертор (на специально сформированном наборе данных, с
проведением независимого замера определяемой величины).
Отдельно требуется протестировать возможность в любой момент, без привлечения представите
лей поставщика оборудования, получить входной поток информации. Это необходимо для регулярно
проводимой независимой валидации модели в ходе эксплуатации.
Должны быть заранее определены параметры, приведенные в ГОСТ Р 59921.5.
7