ГОСТ Р 59921.9—2022
Если изготовителем СИИ указано, что система устойчива и/или способна выявлять ошибки и иные
некорректные данные в исходных сигналах (например, обрыв(ы) электрода(ов) или нарушение схемы
формирования отведений при регистрации биосигналов, неполноту поля изображения картины ультра
звукового исследования и т.п.), то в наборе(ах) данных должно быть достаточное число наблюдений с
каждым из заявленных изготовителем нарушений качества сигнала. Необходимое число или долю
сигналов с нарушениями определяют на этапе планирования испытания. Допустимо использование от
дельного набора данных, содержащих только ошибки или некорректные данные в исходных сигналах.
СИИ должна распознавать подобные отклонения, прежде чем будет допущена к этапу испытаний на
пациентах или биологических объектах.
Если работа СИИ предполагает этап обучения или начального (функционального) тестирования
работоспособности системы, то для этого этапа испытаний формируется специальный набор данных,
записи которого не могут быть включены полностью или частично в набор данных для основного ис
пытания СИИ.
При тестировании СИИ в процессе основного этапа испытаний СИИ не допускается изменения па
раметров ее работы оператором и/или дообучения системы. Если дообучение является существенной и
неотъемлемой способностью СИИ, то на основании консенсуса разработчика с экспертной группой при
тестировании проводят проверку результатов дообучения.
Испытания СИИ считают завершенными, если в течение установленного времени или до его ис
течения система завершила анализ данных. Рекомендованным уровнем завершения тестирования
является обработка не менее 95 % записей всего испытательного набора данных. При этом должны
быть идентифицированы записи, которые не были обработаны. Должна быть установлена причина, по
которой обработка не была проведена. Планом испытаний также может быть установлен лимит вре
мени на обработку каждой записи, в таком случае испытания считают завершенными, если в пределах
этого лимита времени был завершен анализ рекомендованного уровня завершения тестирования. В
обоснованных случаях планом испытаний может быть изменена доля записей набора(ов) данных (или
отдельных наборов данных), являющихся критерием завершения испытаний.
8 Требования к квалификации персонала
Если для проведения испытаний СИИ используются наборы данных, отличные от опубликованных
в открытом доступе, то эксперты и модераторы, участвовавшие в формировании эталонных аннотаций
записей наборов данных должны иметь достаточную квалификацию для проведения такой работы (см.
ГОСТ Р 59921.5). Сведения о квалификации экспертов с указанием их вклада в сегментацию, измере
ние, детектирование, маркировку (аннотирование) и классификацию набора данных должны быть при
ведены в отчете об испытаниях СИИ. Допускается обезличивание (анонимизация и псевдонимизация)
персональных данных экспертов и модераторов (см. ГОСТ Р 55036).
9 Требования к испытательному стенду
Для проведения испытаний СИИ для КФ может быть создан набор оборудования и программных
средств (стенд). Испытательный стенд должен быть аттестован в соответствии с ГОСТ Р 8.568. Харак
теристики аппаратного и программного обеспечения стенда (вычислительная платформа, операцион
ная система, состав устройств, объем памяти и т.п.) должны превышать минимальные требования,
устанавливаемые изготовителем СИИ, и учитывать типичные характеристики вычислительных средств
конкретного или потенциальных пользователей СИИ.
Если СИИ предполагает получение данных от конкретных регистраторов, параметры работы (на
стройки) которых могут быть изменены со стороны СИИ, то испытания проводятся с каждым из ука
занных изготовителем вариантов регистраторов сигналов. При отсутствии возможности изменения на
строек регистратора со стороны СИИ допускается подавать испытательные данные непосредственно на
вход СИИ. В отчете о проведении испытаний СИИ обязательно указывают, использовались ли реги
страторы сигналов и их конкретные характеристики.
При использовании регистраторов сигналов данные на их вход подаются с функциональных ге
нераторов (цифро-аналоговых преобразователей), обеспечивающих преобразование сигналов набора
данных с качеством, сопоставимым с непосредственной регистрацией аналогичных сигналов с чело
века (биологического объекта). Если регистратор допускает получение сигналов в цифровой форме,
5