ГОСТ Р ИСО/МЭК 18045—2013
13.5.1.4.4 Шаг оценивания ATE_FUN.1-4
Оценщик должен исследовать план тестирования, чтобы сделать заключение о том. представ
лены ли достаточные инструкции для воспроизведения начальных условий выполнения тестов, в том
числе зависимостей, связанных с порядком выполнения тестов, при наличии таких зависимостей.
Чтобы установить начальные условия выполнения тестов, может потребоваться выполнение не
которых дополнительных действий. Например, необходимо добавить учетные записи пользователей
прежде, чем начнется проверка возможности их удаления. Пример влияния последовательности вы
полнения тестов на результаты других тестов — необходимость выполнения до проведения в рамках
тестирования действий по поиску и сортировке отчетов по аудиту некоторых действий, которые приве
дут к созданию таких отчетов по аудиту. Другой пример зависимости, связанной с порядком следования
тестов — при выполнении одного набора тестов генерируется файл данных, используемых в качестве
исходных данных для другого набора тестов.
Для выполнения данного шага оценивания оценщик может избрать стратегию выборки.
ИСО/МЭК 15408-3ATE_FUN.1.3C: Ожидаемые результаты тестирования должны продемонстри
ровать прог>юзирувмыеданные на выходе успешного выполнения тестов.
13.5.1.4.5 Шаг оценивания ATE_FUN.1-5
Оценщик должен исследовать тестовую документацию, чтобы сделать заключение о достаточно
сти включенных в нее ожидаемых результатов выполнения тестов.
Ожидаемые результаты тестирования необходимы, чтобы сделать заключение, действительно ли тест
был успешно выполнен. Описаниеожидаемых результатовтестированияявляетсядостаточным, еслионо од
нозначно и согласуется с ожидаемым режимом выполнения ФБО, обусловленным подходом к тестированию.
Для выполнения данного шага оценивания оценщик может избрать стратегию выборки.
ИСО/МЭК 15408-3ATE_FUN.1,4С: Фактические результаты тестирования должнысоответство
вать ожидаемым.
13.5.1.4.6 Шаг оценивания ATE_FUN.1-6
Сравнение представленных разработчиком фактических и ожидаемых результатов тестирования
выявит какие бы то ни было несоответствия результатов. Может оказаться, что непосредственное срав
нение фактических результатов не может быть сделано до того, как будет выполнено некоторое пре
образование или синтез данных. В подобных случаях в тестовой документации разработчика следует
описать процесс преобразования или синтеза фактических данных.
Например, разработчику может потребоваться проверить содержимое буфера сообщений после
того, как имело место сетевое соединение. Буфер сообщения будет содержать бинарную последо
вательность. Эта бинарная последовательность, как правило, преобразуется в другую форму пред
ставления данных, чтобы сделать тест более содержательным. Преобразование этого бинарного пред
ставления данных в представление более верхнего уровня должно быть достаточно подробно описано
разработчиком, чтобы позволить оценщику выполнить процесс преобразования (то есть необходимо
описать, используется ли синхронный или асинхронный метод передачи данных, а также указать число
стоповых битов, битов четности и т.д.).
Следует отметить, что описание процесса, использовавшегося для преобразования или синтеза
фактических данных, используется оценщиком не для того, чтобы фактически исполнить необходимую
модификацию, а для того, чтобы оценить корректность этого процесса. Преобразование ожидаемых
результатов тестирования в формат, позволяющий их легко сравнивать с фактическими результатами
тестов, возлагается на разработчика.
Для выполнения данного шага оценивания оценщик может избрать стратегию выборки.
13.5.1.4.7 Шаг оценивания ATE_FUN.1-7
Оценщик должен привести в отчете информацию об усилиях разработчика по тестированию, вы
делив подход к тестированию, тестируемую конфигурацию, глубину и результаты тестирования.
Информация о тестировании разработчиком, приведенная в ТОО. позволяет оценщику передать
общий подход к тестированию и усилия, затраченные разработчиком на тестирование ОО. Смысл пре
доставления этой информации состоит в том. чтобы привести содержательный краткий обзор усилий
разработчика по тестированию. Нет необходимости в том. чтобы информация о тестировании разработ
чиком в ТОО была точной копией конкретных шагов тестирования или результатов отдельных тестов.
Целью является предоставить достаточные подробности, что позволит другим оценщикам и сотрудни кам
органов оценки получить некоторое понимание относительно подхода разработчика к тестирова нию.
объема выполненного тестирования, тестируемых конфигураций ОО и общих результатов тести рования
разработчиком.
161