ГОСТ Р 59921.9—2022
18 Требования к представлению результатов тестирования систем
искусственного интеллекта для клинической физиологии
Отчет составляется по правилам, определенным в ГОСТ Р ИСО 14155. В отчете приводят:
- исчерпывающие сведения об использованном испытательном стенде;
- исчерпывающие сведения об использованном(ых) наборе(ах) данных.
По каждому из диагностических заключений, формируемых СИИ, включая идентификацию оши
бок в анализируемых данных, приводят таблицу(ы) соответствия выявленных СИИ заключений и ре
зультатов измерений. Формат представления данных в таблицах зависит от вида оцениваемых СИИ
данных.
а)Форма предоставления результатов применения СИИ для бинарного (наличие или отсутствие)
распределения выявляемых признаков
В таблице 1 приведена форма представления результатов испытания СИИ в случае оценки ее
работы по бинарной системе (наличие или отсутствие некоторого признака).
Т аб лица 1— Форма представления результатов применения СИИ для бинарной переменной
Название
оцениваемой
переменной
Вид результата
Истинно-положительный
(ИП илиТР)
Истинно-отрицательныйЛожно-положительный
(ИО или TN) (ЛП или FP)
Ложно-отрицательный
(ЛО или FN)
Переменная 1
Переменная 2
Переменная N
Комментарий
СИИ выявила
патологию
при ее наличии
СИИ не выявила
патологию
при ее отсутствии
СИИ выявила
патологию
при ее отсутствии
СИИ не выявила
патологию
при ее наличии
Пр имечание — В протоколе могут использоваться либо русские, либо латинские обозначения резуль
татов испытаний.
Общую оценку точности диагностических заключений испытуемой СИИ для бинарного распреде
ления данных проводят по двум основным расчетным показателям (метрикам)1);
точность (precision, синонимы PPV, прогностическое значение положительного результата, positive
predictive value) = ИП / (ИП + ЛП);
полнота (recall, синоним чувствительность, sensitivity) = ИП / (ИП + ЛО).
Отчет об испытании СИИ может содержать любые другие метрики соответствия результатов ра
боты СИИ и эталонных заключений, перечисленных в ГОСТ 59921.1 или [7].
Использование других показателей эффективности СИИ для бинарных данных определяют со
глашением между изготовителем СИИ и группой экспертов, проводящих клинические испытания СИИ.
б)Форма предоставления результатов применения СИИ для порядковых данных
Если СИИ в результате своей работы формирует заключение в виде порядковой шкалы (стадия
заболевания, степень патологического процесса и т. п.), то для каждой такой переменной (результата
работы СИИ) формируется отдельная таблица, форма которой приведена в таблице 2.
1) Выбор именно этих метрик определяется тем, что наборы реальных клинических данных редко могут
быть приведены к балансу (приблизительно одинаковой частоте встречаемости изучаемых признаков) по всем
признакам в наборе. Чаще встречается ситуация, когда некоторые признаки встречаются у небольшой доли
случаев в наборе данных. В таком случае использование оценочных метрик, включающих истинно отрицательные
результаты, может показать необоснованно завышенные оценки точности СИИ. Поэтому выбраны метрики оценки,
не использующие число истинно отрицательных результатов.
10