ГОСТ Р 59921.7—2022
В случае целесообразности можно вводить весовые коэффициенты для отдельных функций.
7.7.2Оценка функциональной корректности возможна методом расчета показателей точности,
воспроизводимости и повторяемости.
Показатель точности в зависимости от решаемой задачи СИИ и формулы расчета приведены в
ГОСТ Р 59898—2021 (пункт 8.2.3):
- общая метрика — результативность;
- для задач регрессии — средняя квадратичная ошибка, средняя абсолютная ошибка;
- в задачах ранжирования — приведенная суммарная эффективность;
- для задач классификации и обнаружения — доля правильных исходов, точность, чувствитель
ность, специфичность, F-мера, площадь под кривой ROC, площадь под кривой PRC. Возможно расши
рение набора метрик (см. [8], [9]) на основании решения экспертной группы.
Методы расчета показателей воспроизводимости и повторяемости приведены в ГОСТ Р ИСО
5725-2.
7.8 Критерии оценки и представление результатов
Все метрики нормируют, чтобы их значения были в интервале от 0 до 1. Весовые коэффициенты
метрик и допустимый интервал определяют члены экспертной группы.
Критерии оценки определяют в соответствии с предназначением СИИ и заявленными характери
стиками.
По завершении тестирования составляют отчет, в котором должны быть указаны, в том числе,
перечень метрик, методы испытаний, характеристики наборов данных, допустимые интервалы, а также
определенные значения параметров (см. таблицу 3).
Результаты функционального тестирования оформляют в виде протокола испытаний в соответ
ствии с ГОСТ ISO/IEC 17025.
Таблица 3 — Анализ и оценка результатов функционального тестирования
Наименование
характеристики
Нормативное значениеОпределенное значение
Результат
Функциональная
полнота
От ... до ...
Соответствует/
не соответствует
Функциональная
корректность
- точность
От ... до ...
Соответствует/
не соответствует
- воспроизводимость
От ... до ...
Соответствует/
не соответствует
- повторяемость
От ... до ...
Соответствует/
не соответствует
Функциональная
пригодность
От ... до ...
Соответствует/
не соответствует
Способность
к самообучению
От ... до ...
Соответствует/
не соответствует
Оценку согласованности выполняют описательным методом, в связи с этим заполняют таблицу
по примеру 4.
10