ГОСТ Р ИСО/МЭК 18045— 2008
Оценщикдолжен проверить, что ожидаемые результаты тестирования в тестовойдокументации со
гласуются с представленными фактическими результатами тестирования.
Сравнение представленных разработчиком фактических и ожидаемых результатов тестирования выя
вит какие бы то ни было несоответствия результатов.
Возможно, что непосредственное сравнение фактических результатов не может быть выполнено до
того, как будет выполнено некоторое преобразование илисинтезданных. В подобных случаях в тестовой
документации разработчика должен быть описан процесс преобразования или синтеза фактических
данных.
Например, разработчику может потребоваться проверить содержимое буфера сообщений после того,
как имело место сетевое соединение, чтобы определить содержимое буфера. Буфер сообщения будет
содержать бинарную последовательность. Этубинарную последовательность, как правило, преобразуют в
другую форму представления данных, чтобы сделать тест более содержательным. Преобразование этого
бинарного представления данных в представление более высокого уровня должно быть достаточно под
робно описано разработчиком, чтобы позволить оценщику выполнить процесс преобразования (т.е. необхо
димо описать, используется ли синхронный или асинхронный метод передачи данных, число
стоповых битов, битов четности и т.д.).
Следует отметить, чтоописание процесса преобразования или синтеза фактическихданных оценщик
использует недля того, чтобы фактически исполнить необходимую модификацию, а для того, чтобы оце
нить корректность этого процесса. Преобразование ожидаемых результатов тестирования в формат, позво
ляющий их легко сравнивать с фактическими результатами тестов, возложено на разработчика.
Для выполненияданного шага оценивания оценщик может избрать стратегию выборки.
Руководство по выборке см. в А.2 «Выборка» (приложение А).
Если ожидаемые и фактические результаты тестирования для какого-либо из тестов не совпадают, то
правильность выполнения функции безопасности не продемонстрирована. Такая ситуация окажет влияние
на усилия оценщика по независимому тестированию, выражающееся в необходимости тестирования соот
ветствующей функции безопасности. Оценщику также следует рассмотреть вопрос об увеличении выборки
свидетельств, наоснове которыхдолжен быть выполнен рассматриваемый шагоценивания.
13.9.4.4.12 Шаг оценивания 4:ATE_FUN.1-12
Оценщикдолжен привести в отчете информацию об усилиях разработчика потестированию, выделив
подход к тестированию, тестируемую конфигурацию, глубину и результаты тестирования.
Информация о тестировании разработчиком, зафиксированная в ТОО. позволяет оценщику передать
общий подход ктестированию и усилия, затраченные разработчиком на тестирование ОО. Смысл предо
ставления данной информации состоит в том. чтобы привести краткий содержательный обзор усилий разра
ботчика по тестированию. Не обязательно, чтобы информация о тестировании разработчиком вТОО была
точной копией конкретных шагов тестирования или результатов отдельных тестов. Целью является предо
ставитьдостаточные подробности, позволяющиедругим оценщикам и сотрудникам органов оценки понять
подход разработчика к тестированию, объем выполненного тестирования, тестируемые конфигураций ОО и
общий результаттестирования разработчиком.
Информация об усилиях разработчика по тестированию, которую обычно можно найти в соответству
ющем разделе ТОО. включает в себя:
a)тестируемые конфигурации ОО. Конкретные конфигурации ОО. подвергнутые тестированию;
b
) подход к тестированию. Описание общей стратегии тестирования, которую применил разработчик;
c) объем тестирования, выполненного разработчиком. Описание степени покрытия тестами и глубины
тестирования разработчиком;
d) результаты тестирования. Описание общих результатов тестирования разработчиком.
Данный перечень ни в коем случае не является исчерпывающим и предназначен только для того,
чтобы дать некоторое представление о типе информации, связанной с усилиями разработчика по тестиро
ванию. которую следует привести в ТОО.
13.9.5 Оценка путем независимого тестирования (ATEJND.2)
13.9.5.1 Цели
Цельданного подвида деятельности состоит в том. чтобы путем независимого тестирования некото
рого подмножества ФБО сделать заключение, соответствуют ли спецификациям режимы функционирова
ния ОО. и повысить уверенность в результатах тестирования разработчиком путем выполнения выборки
тестов разработчика.
181