ГОСТ Р 59921.7—2022
11 Тестирование на способность и устойчивость работы с разнородными
данными
11.1 Назначение
Тестирование проводят для проверки соответствия СИИ установленным требованиям к способ
ности и устойчивости работы с разнородными входными данными. В результате данного тестирования
проверяют:
- работоспособность СИИ при работе с входными данными, соответствующими технической до
кументации изготовителя;
- ограничения СИИ при работе с входными данными, не соответствующими технической докумен
тации изготовителя;
- корректность работы системы обнаружения и оповещения пользователя о подаче на вход СИИ
изображений низкого качества, наличия инородных предметов, артефактов и др.
С целью выполнения данного тестирования формируют соответствующий набор данных. Разно
родные входные данные включают:
- данные, определенные технической документацией изготовителя;
- данные, которые потенциально могут быть направлены на вход СИИ [полученные от оборудо
вания, не указанного в технической документации, изображения, содержащие отличные от указанных в
технической документации области сканирования (анатомической области)];
- изображения, подверженные разного рода трансформациям;
- изображения с визуальными артефактами;
- изображения, полученные от нецелевой популяции (другая раса, возраст, пол и т.д.);
- изображения, содержащие инородные предметы;
- другое.
11.2 Требования к квалификации персонала
Тестирование на способность и устойчивость работы с разнородными данными проводят силами
квалифицированных технических специалистов, имеющих опыт тестирования СИИ, обработки изобра
жений и анализа результатов.
11.3 Описание метода тестирования
Моделирование типовых задач СИИ с различными наборами данных и диагностическими устрой
ствами.
Данное тестирование оценивает способность СИИ успешно обрабатывать входные данные, со
держащие разного рода искажения путем расчета метрик качества.
11.4 Требования к наборам данных
11.4.1 Наборы данных для тестирования СИИ на способность и устойчивость работы с разнород
ными данными могут включать изображения из клинической практики и искусственно сгенерированные
изображения путем применения методов трансформации. Параметры формирования набора (включая
источник изображений) данных должен быть подробно описан в методах тестирования и протоколе с
результатами.
11.4.2 Наборы данных должны содержать входные данные в формате, описанном в технической
документации СИИ. Допускается включение в набор примеров данных в ином формате для исследо
вания способности СИИ распознавать и анализировать альтернативно организованную информацию.
11.4.3 Наборы данных должны включать данные, полученные на разной аппаратуре, исследова
ния с которой СИИ потенциально способна обработать (в том числе не указанные в технической до
кументации).
11.4.4 Наборы данных должны включать весь возможный диапазон размеров и разрешений изо
бражений, который можно получить на медицинском оборудовании, актуальном на момент проведения
тестирования.
11.4.5 Необходимо включение в набор данных зашумленных или искаженных данных (изображе
ния, подверженные разного рода трансформациям, изображения, содержащие артефакты). Данные
изображения можно генерировать путем применения различных трансформаций к исходному изобра
жению.
15