ГОСТР ИСО/МЭК 25045—2015
- те файлы выходныхданных, используемые программами, которые не являются пустыми перед
запуском теста;
- данные из системы базы данных.
5.2.1.6 Дополнительная информациядля обоснования
В обязанности тестера помимо прочего входит предоставление доказательства обоснованности
результатов измерения. Поэтому тестер, в дополнение к обязательным в соответствии с настоящим
стандартом документам, должен предоставить по собственному выбору дополнительные документы,
достаточные для того, чтобы обеспечить возможность повторения измерений сторонним тестером для
получения тех же результатов.
5.2.2Описание рабочей нагрузки
5.2.2.1 Спецификация рабочей нагрузки
Рабочая нагрузкадолжна быть описана в деталях, необходимыхдля обеспечения воспроизведе
ния конфигурации программного обеспечения. Список включает в себя, но не ограничивается следую
щими пунктами;
- описание тестируемой транзакции или операции;
- описание тестовыхданных;
- сценарии тестирования.
5.2.2.2 Набор параметров рабочей нагрузки
Значения набора параметров, используемых для приведения в действие нагрузки, должны быть
описаны вдеталях, необходимыхдля обеспечениявоспроизведенияконфигурации программногообес
печения. Внабордолжны входить все параметры конфигурациидрайвера нагрузки иприложений, кото
рые могут повлиять на производительность и поведение приложения. Список включает в себя, но не
ограничивается следующими пунктами:
- общее количество пользователей;
- продолжительность базового прогона (в секундах), включая продолжительность периодов раз
гона. устойчивой работы изавершения работы;
- учетный интервал (всекундах), в течение которого входе прогона учитываетсяскоростьтранзак
ций;
- состав смеси транзакции рабочей нагрузки (например. 10 % — новые заказы. 20 % — запросы
состояния и т.д.);
- постояненлисостав смеси транзакцийв каждом учетном интервале, если — нет. то необходимо
описание, когда во времяпрогона выполняется каждый тип транзакций;
- другие изменения конфигурации, которые определяют, каким образом будет прилагаться рабо
чая нагрузка, икоторые могутповлиятьна повторяемость ипроизводительность прогона;
- любые изменения конфигурации приложений, которые могут влиять на повторяемость и произ
водительность прогона.
5.2.2.3 Набор параметров длядоказательства состоятельности иустойчивости рабочей нагрузки
Для правильной оценки эффекта инъекции возмущения необходимо показать повторяемость и
состоятельностьбазовогоуровня. Базовый уровеньдолжен быть получен в результате трех прогонов, а в
качестведоказательства его повторяемости исостоятельностидолжны бытьобеспечены следующие
требования:
- статистическая значимость результатов измерений должна соответствовать требованиям,
определенным приобретателем (например, число успешно завершенных транзакций в каждом из трех
базовых прогонов недолжно отличаться больше чем на 5%);
- статистическая значимость результатов измеренийдолжна бытьвключена в отчет:
- должны быть идентифицированы все существенные всплески ипровалы производительности в
любых учетныхинтервалах во время выполнения, которые превышают требуемую статистическую зна
чимость. определенную приобретателем. Должно быть представлено объяснение возможных причин
этого, а кроме того, если превышена требуемая статистическая значимость, определенная приобрета
телем, должны быть объяснены все всплески и провалы производительности для каждого учетного
интервала времени выполнения. Как наличие всплесков и провалов в учетном интервале, так и прису
тствие различных типов транзакций в различных учетных интервалах свидетельствуют о проблеме.
Инъекция возмущения в таких интервалах может вызвать изменение производительности и показате лей
качества. Это должно быть отмечено в отчете. Однако результаты сопоставимы в случае, когда
подобные проявления наблюдаются при нескольких прогонах.
5.2.3 Описание ввода неисправности
5.2.3.1 Спецификация ввода неисправности
9