ГОСТ Р ИСО/МЭК 18045— 2008
Для выполненияданного шага оценивания оценщик может избрать стратегию выборки.
Руководство по выборке см. в А.2 «Выборка» (приложение А).
12.9.4.4.11 Шагоценивания 3:ATE_FUN.1-11
ИСО/МЭК 15408-3 ATE_FUN.1.5C: Результаты выполнения тостов разработчиком должны де
монстрировать. что каждаяпроверенная функция безопасности выполнялась в соответствиисо спе
цификациями.
Оценщикдолжен проверить, что ожидаемые результаты тестирования в тестовойдокументации со
гласуются с представленными фактическими результатами тестирования.
Сравнение представленных разработчиком фактических и ожидаемых результатов тестирования выя
вит какие бы то ни было несоответствия результатов.
Возможно, что непосредственное сравнение фактических результатов не может быть выполнено
до того, как будет выполнено некоторое преобразование или синтез данных. В подобных случаях в тесто
вой документации разработчика должен быть описан процесс преобразования или синтеза фактических
данных.
Например, разработчику может потребоваться проверить содержимое буфера сообщений после того,
как имело место сетевое соединение, чтобы определить содержимое буфера. Буфер сообщения будет
содержать бинарную последовательность. Эту бинарную последовательность, как правило, преобразуют в
другую форму представления данных, чтобы сделать тест более содержательным. Преобразование этого
бинарного представления данных в представление более высокого уровня должно бытьдостаточно под
робно описано разработчиком, чтобы позволить оценщику выполнить процесс преобразования (т.е. необхо
димо описать, используется ли синхронный или асинхронный метод передачи данных, число
стоповых битов, битов четности и т.д.).
Следует отметить, чтоописание процесса преобразования или синтеза фактическихданных оценщик
использует недля того, чтобы фактически исполнить необходимую модификацию, а для того, чтобы оце
нить корректность этого процесса. Преобразование ожидаемых результатов тестирования в формат, позво
ляющий их легко сравнивать с фактическими результатами тестов, возложено на разработчика.
Для выполненияданного шага оценивания оценщик может избрать стратегию выборки.
Руководство по выборке см. в А.2 «Выборка» (приложение А).
Если ожидаемые и фактические результаты тестированиядля какого-либо из тестов не совпадают, то
правильность выполнения функции безопасности не продемонстрирована. Такая ситуация окажет влияние
на усилия оценщика по независимому тестированию, выражающееся в необходимости тестирования соот
ветствующей функции безопасности. Оценщику также следует рассмотреть вопрособувеличении выборки
свидетельств, наоснове которыхдолжен быть выполнен рассматриваемый шагоценивания.
12.9.4.4.12 Шаг оценивания 3ATE_FUN.1-12
Оценщикдолжен привести в отчете информацию об усилиях разработчика потестированию, выделив
подход к тестированию, тестируемую конфигурацию, глубину и результаты тестирования.
Информация о тестировании разработчиком, зафиксированная в ТОО, позволяет оценщику передать
общий подход ктестированию и усилия, затраченные разработчиком на тестирование ОО. Смысл предо
ставленияданной информации состоит в том. чтобы привести краткий содержательный обзор усилий разра
ботчика по тестированию. Не обязательно, чтобы информация о тестировании разработчиком вТОО была
точной копией конкретных шагов тестирования или результатов отдельных тестов. Целью является предо
ставитьдостаточные подробности, позволяющиедругим оценщикам и сотрудникам органов оценки понять
подход разработчика к тестированию, объем выполненноготестирования, тестируемые конфигурации ОО и
общий результаттестирования разработчиком.
Информация об усилиях разработчика по тестированию, которую обычно можно найти в соответству
ющем разделе ТОО, включает в себя:
a)тестируемые конфигурации ОО. Конкретные конфигурации ОО. подвергнутые тестированию;
b
) подход к тестированию. Описание обшей стратегии тестирования, которую применил разработчик;
c) объем тестирования, выполненного разработчиком. Описание степени покрытия тестами и глубины
тестирования разработчиком;
d) результаты тестирования. Описание общих результатов тестирования разработчиком.
Данный перечень ни в коем случае не является исчерпывающим и предназначен только для того,
чтобы дать некоторое представление о типе информации, связанной с усилиями разработчика по тестиро
ванию. которую следует привести в ТОО.
125