ГОСТ Р ИСО/МЭК 18045— 2008
0 описание всех ожидаемых результатов и необходимого анализа, проводимого по отношению к на
блюдаемому режиму выполнения для сравнения с ожидаемыми результатами:
д) инструкции по завершению теста и установке необходимого посттестового состояния ОО:
h)фактические результаты тестирования.
Уровень детализации должен быть таким, чтобы другой оценщик мог повторить тесты и получить
эквивалентный результат. Хотя некоторые специфическиедетали результатов выполнения теста могут раз
личаться (например, поля времени и даты в записи аудита), общие результаты должны быть идентичными.
Возможны случаи, когда нет необходимости предоставлять всю информацию, приведенную на этом
шаге оценивания (например, фактические результаты тестирования могут нетребовать какого бы то ни было
анализа до их сравнения с ожидаемыми результатами). Решение опустить эту информацию, как и его
логическое обоснование, остается за оценщиком.
13.9.5.4.5 Шаг оценивания 4:АТЕJND.2-8
Оценщик должен проверить, что все фактические результаты тестирования соответствуют ожидае
мым результатам тестирования.
Любые различия вфактических и ожидаемых результатах тестирования могут свидетельствоватьлибо
о том. что ОО не функционирует в соответствии оо спецификацией, либо о том. что тестоваядокументация
оценщика может быть некорректной. Несоответствующиеожидаемым фактические результаты тестирова
ния могут потребовать внесения корректив в ОО или тестовую документацию, а также, возможно, повторно го
выполнения вызвавшихколлизиютестов, модификации размера и состава выборки тестов. Это решение, как
и его логическое обоснование, остается за оценщиком.
13.9.5.5 Действие ATEJND.2.3E
13.9.5.5.1 Шаг оценивания 4:ATE_IND.2-9
Оценщик должен провести тестирование, используя выборку тестов, предусмотренных в плане и
процедурахтестирования разработчика.
Общая цельданного шага оценивания состоит в выполнении тестов разработчика в количестве, до
статочном для подтверждения правильности результатов тестирования разработчиком. Оценщикдолжен
определить размер выборки и тесты разработчика, которые составят данную выборку.
С учетом общих усилий оценщика по видудеятельности, связанному с тестированием, обычно сле
дует выполнить около 20 % тестов разработчика, хотя этот процент может варьироваться в зависимости от
характера ОО и представленных свидетельств тестирования.
Все тесты разработчика могут бытьсопоставлены с конкретными функциями безопасности. Следова
тельно. факторы, которые необходимо рассмотреть при выборе тестов для включения в выборку, подобны
тем. которые перечислены на шаге оценивания ATEJND.2-4 для выбора тестируемого подмножества ФБО.
Дополнительно, для выбора тестов разработчика, включаемых в выборку, оценщик может избрать метод
случайной выборки.
Руководство по выборке см. в А.2 «Выборка» (приложение А).
13.9.5.5.2 Шаг оценивания4:ATE_IND.2-10
Оценщик должен проверить, что всефактические результаты тестирования согласуются сожидаемы
ми результатами тестирования.
Противоречия между ожидаемыми результатами тестирования разработчиком и фактическими ре
зультатами тестирования заставляют оценщика разрешать эти несоответствия. Противоречия, с которыми
столкнулся оценщик, могут быть разрешены разработчиком путем убедительногообъяснения и устранения
противоречий.
Если удовлетворительное объяснение или устранение противоречий не может быть достигнуто, то
уверенность оценщика в результатах тестирования разработчиком может уменьшиться: у оценщикадаже
может возникнуть необходимость в увеличении объема выборки, чтобы восстановить уверенность в ре
зультатах тестирования разработчиком. Если увеличение объема выборки неоправдает ожиданий оценщи
ка. может потребоваться повторение всей совокупности тестов разработчика. В конечном счете, для адек
ватного тестирования подмножества ФБО. идентифицированного на шаге оценивания ATEJND.2-4. недо
статочность тестов разработчика приведет к необходимости корректировки тестов разработчика или разра
ботки оценщиком новых тестов.
13.9.5.5.3 Шаг оценивания 4:ATE_IND.2-11
Оценщикдолжен привести в ТОО информацию об усилиях по тестированию, кратко изложив подход
ктестированию, тестируемую конфигурацию, глубину и результаты тестирования.
Информация оценщика о тестировании, приводимая в ТОО. позволяет оценщику передать общий
подход к тестированию и усилия, затраченные в течение оценки на вид деятельности по тестированию.
185