ГОСТР ИСО/МЭК 25045—2015
- описание тестовых данных.
- сценарии тестирования.
Приложение, используемое а этом тестировании, является приложением DayTrader с открытым исходным
ходом 2.0. Оно доступно на сайте Ahache Geronmmo по адресу:
http://cwiki.apache.org/GMOxDOClO/day-t/ader.hlml
.
Спецификация рабочей нагрузки также представлена на сайте.
А.6.2 Набор параметров рабочей нагрузки
Значения набора параметров, используемых для приведения в действие нагрузки, должны быть описаны в
деталях, необходимых для обеспечения воспроизведения конфигурации программного обеспечения. Сюда дол
жны входить все параметры конфигурации драйвера нагрузки и приложений, которые могут повлиять на произ
водит епьность иповедение приложения. Списоквключает в себя, ноне ограничивается следуюшиии пунктами:
- общее количество пользователей:
- продолжительность базового прогона (в секундах), включая продолжительность периодов разгона,
устойчивой работы и завершения работы:
- учетный интервал (всекундах), в течение которого в ходе прогона учитывается скорость транзакций:
- составсмеси транзакциирабочей нагрузки (например. 10% — новые заказы. 20% — запросы состояния
ит .д.):
- постоянен пи состав смеси транзакций в каждом учетном интервале. Если — нет. т о необходимо опи
сание. когда во время прогона выполняется каждый тип транзакций:
- другие изменения конфигурации, которые определяют, каким образом будет прилагаться рабочая
нагрузка, и которые могут повлиять на повторяемость и производительность прогона:
- любые изменения конфигурации приложений, которые могут влиять на повторяемость и производи
тельность прогона.
Число пользователей — 100.
Продолжительность базового прогона — 3300 с.
Отчетный интервап — 30 с.
Смесь транзакций — 70/30 — транзакций чтения-записи (обычная смесь).
В устойчивом состоянии смесь транзакций постоянна для каждого учетного интервала, при этом отклонение
не должно быть более 5 %.
А.6.2.1 Набор параметров для доказательства состоятельности и устойчивости рабочей нагрузки
Для правильной оценки эффекта инъекции возмущения необходимо показать повторяемость и состоя
тельность базового уровня. Базовый уровень должен быть получен в результате трех прогонов, а в качестве
доказательства его повторяемости и состоятельности должны быть обеспечены следующие требования:
- статистическая значимость результатов измерений должна соответствовать требованиям, опре
деленным приобретателем (например, число успешно завершенных транзакций в каждом из трех базовых про
гонов не должно отличаться более чем на 5 %):
- статистическая значимость результатов измерений должна быть включена в отчет:
- должны быть идентифицированы все существенные всплески и провалы производительности в любых
учетных интервалах во время выполнения, которые превышают требуемую статистическую значимость,
определенную приобретателем. Должно быть представлено объяснение возможных причин этого, а кроме
того, если превышена требуемая статистическая значимость, определенная приобретателем, должны быть
объяснены все всплески и провалы производительности для каждого учетного интервала времени выполнения.
Как наличие всплесков и провалов в учетном интервале, таки присутствие различных типов транзакций в раз
личных учетных интервалах свидетельствует о проблеме. Инъекция возмущения в таких интервалах может
вызвать изменение производительности ипоказателей качества. Это должно быть отмечено в отчете. Одна ко
результаты сопоставимы в случае, когда подобные проявления наблюдаются при нескольких прогонах.
Выполнено три базовых прогона со следующими результатами:
- Прогон 1 — 15000.45 страииц/с.
- Прогон 2 — 15600.67 страниц/с.
- Прогон 3 — 15580.45 страниц/с.
Прогоны демонстрируют непротиворечивость и устойчивость, поскольку различие между самым низким и
самым высоким результатом не превышает 3.6%.
А.7 Описание ввода неисправности
А.7.1 Спецификация ввода неисправности
Список возмущающих воздействий, которые будут вводиться относительно рабочего состояния, дол
жен содержать подробные описания и быть сгруппирован по категориям возмущения, как это определено
в 5.1.2. Возмущающие воздействия должны быть определены для компонентов программного обеспечения, от
21