ГОСТ Р ИСО/МЭК 18045— 2008
b
) инструкции по подключению и настройке всего необходимого оборудования для тестирования, как
это требуетсядля выполнения конкретноготеста;
c) инструкции по установке всех предварительных условий выполнения теста;
d) инструкции по инициированию функции безопасности;
e) инструкции по наблюдению режима выполнения функции безопасности;
0 описание всех ожидаемых результатов и необходимого анализа, проводимого по отношению к на
блюдаемому режиму выполнения для сравнения с ожидаемыми результатами;
д) инструкции по завершению теста и установке необходимого посттестового состояния ОО;
h)фактические результаты тестирования.
Уровень детализации должен быть таким, чтобы другой оценщик мог повторить тесты и получить
эквивалентный результат. Хотя некоторые специфическиедетали результатов выполнения теста могут раз
личаться (например, поля времени и даты взаписи аудита), общие результаты должны быть идентичными.
Возможны случаи, когда нет необходимости предоставлять всю информацию, приведенную на этом
шаге оценивания (например, фактические результаты тестирования могут не требовать какого бы то ни было
анализа до их сравнения с ожидаемыми результатами). Решение опустить эту информацию, как и его
логическое обоснование, остается за оценщиком.
12.9.5.4.5 Шаг оценивания 3:ATE_IND.2-8
Оценщик должен проверить, что все фактические результаты тестирования соответствуют ожидае
мым результатам тестирования.
Любые различия вфактических и ожидаемых результатах тестирования могут свидетельствоватьлибо
о том. что ОО не функционирует в соответствии со спецификацией, либо о том. что тестовая документация
оценщика может быть некорректной. Не соответствующиеожидаемым фактические результаты тестирова
ния могут потребовать внесения корректив вОО или тестовуюдокументацию, а также повторного выполне
ния вызвавших коллизию тестов, модификации размера и состава выборки тестов. Это решение, как и его
логическое обоснование, остается за оценщиком.
12.3.5.5 Действие ATEJND.2.3E
12.9.5.5.1 Шаг оценивания 3:ATE_IND.2-9
Оценщик должен провести тестирование, используя выборку тестов, предусмотренных в плане и
процедурах тестирования разработчика.
Общая цель данного шага оценивания состоит в выполнении тестов разработчика в количестве, дос
таточном для подтверждения правильности результатов тестирования разработчиком. Оценщик должен
определить размер выборки и тесты разработчика, которые составят данную выборку.
С учетом общих усилий оценщика по видудеятельности, связанному с тестированием, обычно сле
дует выполнить около 20 % тестов разработчика, хотя этот процент может варьироваться в зависимости от
характера ОО и представленных свидетельств тестирования.
Все тесты разработчика могут бытьсопоставлены с конкретными функциями безопасности. Следова
тельно. факторы, которые необходимо рассмотреть при выборе тестов для включения в выборку, подобны
тем. которые перечислены на шаге оценивания ATEJND.2-4 для выбора тестируемого подмножества ФБО.
Дополнительно, для выбора тестов разработчика, включаемых в выборку, оценщик может избрать метод
случайной выборки.
Руководство по выборке см. в А.2 «Выборка» (приложение А).
12.9.5.5.2 Шаг оценивания 3;ATEJND.2-10
Оценщикдолжен проверить, что всефактические результаты тестирования согласуются сожидаемы
ми результатами тестирования.
Противоречия между ожидаемыми результатами тестирования разработчиком и фактическими ре
зультатами тестирования заставляют оценщика разрешать эти несоответствия. Противоречия, с которыми
столкнулся оценщик, могут быть разрешены разработчиком путем убедительногообъяснения и устранения
противоречий.
Если удовлетворительное объяснение или устранение противоречий не может быть достигнуто, то
уверенность оценщика в результатах тестирования разработчиком может уменьшиться; у оценщикадаже
может возникнуть необходимость в увеличении объема выборки, чтобы восстановить уверенность в ре
зультатах тестирования разработчиком. Если увеличение объема выборки неоправдает ожиданий оценщи
ка. может потребоваться повторение всей совокупности тестов разработчика. В конечном счете, для адек
ватного тестирования подмножества ФБО. идентифицированного на шаге оценивания ATEJND.2-4. недо
статочность тестов разработчика приведет к необходимости корректировки тестов разработчика или разра
ботки оценщиком новых тестов.
129