ГОСТ Р 59921.7—2022
Таблица 5 — Анализ и оценка результатов тестирования уровня производительности
Наименование
характеристики
Нормативное значениеОпределенное значение
Результат
Характер изменения
во времени
От ... до ...
Соответствует/
не соответствует
Характер изменения
ресурсов
От ... до ...
Соответствует/
не соответствует
Производительная
возможность
От ... до ...
Соответствует/
не соответствует
9 Надежность
9.1 Назначение
Надежность СИИ определяют как способность СИИ сохранять свой уровень качества функциони
рования при установленных условиях за установленный период времени (см. ГОСТ Р ИСО/МЭК 9126).
К метрикам надежности СИИ относят общие характеристики, такие как стабильность (maturity),
устойчивость к ошибке (fault tolerance), восстанавливаемость (recoverability), робастность (robustness).
Также к метрикам робастности СИИ относят устойчивость к состязательным атакам (см. раздел 10) и
показатели способности и устойчивости работы с разнородными данными (см. раздел 11).
9.2 Общие требования
Для выбора номенклатуры характеристик, подготовки набора данных, а также для проведения
тестирования и оценки результатов создают экспертную группу, которая должна удовлетворять требо
ваниям ГОСТ Р 59898—2021 (пункт 7.1.2).
Непосредственно выполнение тестирования в рамках тестирования надежности проводят силами
квалифицированных технических специалистов, имеющих опыт тестирования СИИ.
Наборы данных для данного тестирования не должны включать примеры медицинских изображе
ний, резко отличающиеся от нормы и (или) патологии, применительно как к качеству изображения, так
и к его содержанию.
Тестирование выполняют на испытательном стенде (может быть как отдельным автоматизирован
ным рабочим местом, так и виртуальной тестовой средой, которая удовлетворяет техническим требо
ваниям СИИ (см. [1], статья 10).
Возможно использование виртуальной тестовой среды, позволяющей выполнять автоматические
тестирования (benchmarking) (см. [1], статья 79).
Перед выполнением тестирования необходимо удостовериться в отсутствии существенных раз
личий между средой проведения тестирования и средой эксплуатации СИИ (см. ГОСТ Р 59898—2021,
подраздел 7.2).
Для тестирования надежности многократно повторяют обработку тестовых наборов, объем кото
рых определяется экспертной группой, но должен быть не менее 1000 циклов.
В процессе тестирования регистрируют выходные данные СИИ с указанием типа ошибки, фак
тора, вызывающего ошибку, влияние ошибки на выходные данные, а также определяют время работы
СИИ до момента возникновения ошибки.
Проводят оценку ущерба, связанного с каждой возникающей ошибкой. Важным фактором, влия
ющим на оценку надежности СИИ, являются ошибки, приводящие к снижению безопасности системы.
9.3 Метрики
9.3.1 Метрики стабильности и робастности приведены в ГОСТ Р 59898—2021 (подраздел 8.8). Ме трика
робастности включает также тестирование на устойчивость к состязательным атакам (см. раз дел 10)
и тестирование на способность и устойчивость работы с разнородными данными (см. раздел 11). 9.3.2
Устойчивость к ошибке, показывающая способность СИИ выполнять функции при аномаль
ных условиях (сбой аппаратуры, некорректные действия оператора и т.д.). Определяется как отноше ние
количества разных типов отказов, для которых предусмотрены средства восстановления, к общему типу
отказов в испытаниях.
12