ГОСТ Р ИСО/МЭК 18045—2013
В тех случаях, когда разработчик для проведения функционального тестирования применил автоматизиро
ванное средство тестирования, оценщику обычно будет проще повторно запустить средство тестирования и про
вести полную проверку заново, нежели выборочно повторить тестирования, проведенные разработчиком. Однако
оценщик обязан проверить, что автоматизированное тестирование не дает искаженных результатов. Подразуме
вается. что эта проверка должна быть выполнена с выборкой среди тестов, проведенных автоматизированным
средством тестирования, по принципу оказания предпочтения проверке некоторых тестов из всех возможных и
при этом с обеспечением достаточности объема выборки.
При вьборке рекомендуется всегда придерживаться следующих принципов:
a) Осуществление выборки не должно носить случайный характер, выборка должна проводиться таким об
разом. чтобы она являлась репрезентативной (показательной) для всех свидетельств. Объем выборки и ее состав
всегда должны быть обоснованы.
b
) 8 случав, когда выборка имеет отношение к верной реализации ОО. следует, чтобы она была репрезента
тивна по всем аспектам, относящимся к областям применения выборки. В частности, следует, чтобы выборка охва
тила все разнообразие компонентов, функций безопасности, мест разработки и эксплуатации (если их
несколько) и типов аппаратных платформ (если их несколько). Объем выборки следует сопоставить с
эффективностью затрат на проведение оценки, он зависит от некоторых характеристик ОО (например от размеров
и сложности ОО. от объ ема документации).
c) Также, в случае, когда осуществление выборки касается получения конкретного свидетельства того,
что тестирование, проводимое разработчиком, является повторяемым и воспроизводимым, используемая выборка
должна быть достаточной для того, чтобы представить все аспекты тестовых проверок, проводимых разработчи
ком. например такие, как различные тестовые режимы. Используемая выборка должна бытьдостаточнойдля обна
ружения любой систематически возникающей проблемы в функциональном процессе тестирования, проводимого
разработчиком. Вклад оценщика, складывающийся из повторения тестов, проведенных разработчиком, и выпол
нения независимых тестов, должен быть достаточным для обращения к основным важным характеристикам ОО.
d) Когда выборка осуществляется для получения свидетельства выполнения некоторого процесса (напри
мер контроля посетителей или анализа проекта), оценщику следует выбрать объем информации, достаточный
для получения приемлемой уверенности в выполнении процесса.
e) Заявителя и разработчика не следует заблаговременно информировать о точном составе выборки.
При этом следует учитывать необходимость обеспечения своевременности поставки выборки и вспомогательных
материалов, например комплексов тестовых программ и оборудования оценщику в соответствии с графиком про
ведения оценки.
f) Следует, чтобы отбор при выборке по возможности был непредвзятым (не стоит выбирать всегда только
первый или последний номер в списке). В идеале отбор следует поручить не оценщику, а кому-то другому.
Ошибки, найденные в выборке, могут быть отнесены к двум категориям — систематические или случайные.
Если ошибка систематическая, следует устранить ее причину и полностью выполнить новую выборку. При надле
жащем объяснении разработчика вопрос о случайных ошибках может быть решен без проведения новой
выборки, хотя такое объяснение следует подтвердить. Оценщику следует руководствоваться здравым смыслом
при опреде лении. увеличить ли объем выборки или использовать другую выборку.
А.З Зависимости
В общем случае выполнение требуемых видов и подвидов деятельности и действий по оценке возможно
в произвольном порядке или параллельно. Тем не менее, имеются различные виды зависимостей, которые не
обходимо учитывать оценщику. Этот подраздел представляет общее руководство по учету зависимостей между
различными видами и подвидами деятельности и действиями по оценке.
А.3.1 Зависимости между видами деятельности
В некоторых случаях для различных классов доверия может быть рекомендована или даже потребована
определенная последовательность выполнения связанных с ними видов деятельности по оценке. Конкретный при
мер — вид деятельности по оценке ЗБ. Вид деятельности по оценке ЗБ начинается прежде каких-либо видов
деятельности по оценке ОО. так как ЗБ предоставляет основу и контекст их выполнения. Однако сделать итоговое
заключение по оценке ЗБ до завершения оценки ОО может оказаться невозможным, т.к. результаты деятельности по
оценке ОО могут привести к изменениям в ЗБ.
А.3.2 Зависимости между подвидами деятельности
Оценщику необходимо учитывать зависимости между компонентами, указанные в ИСО/МЭК 15408-3. Боль
шинство таких зависимостей являются односторонними, например Подвид деятельности по оценке AVA_VAN.1
зависит от Подвидов деятельности по оценке ADV_FSP.1 и AGD_OPE.1. Есть и примеры взаимной зависимости,
когда оба компонента зависят друг от друга, например Подвид деятельности по оценке ATE_FUN.1 и Подвид дея
тельности по оценке ATE_COV.1.
Обычно положительный вердикт по подвиду деятельности можно принять только при успешном заверше
нии всех тех подвидов деятельности, от которых в одностороннем порядке зависит данный подвид деятельности.
Например, как правило, положительный вердикт по Подвидам деятельности по оценке AVA_VAN.1 может быть
принят, если только по подвидам деятельности, относящимся к Подвидам деятельности по оценке ADV FSP.1
и AGD_OPE.1. также принят положительный вердикт. В случае взаимной зависимости порядок выполнения этих
компонентов определяет оценщик, принимающий решение о том. какой подвид деятельности осуществить рань
ше. Следует учесть, что это означает, что положительный вердикт может быть принят только в случае его принятия
для обоих зависящих друг от друга подвидов деятельности.
221