ГОСТ Р ИСО/МЭК 18045—2013
Приложение А
(информативное)
Общие указания по оценке
А.1 Цели
Цель данного подраздела состоит в том. чтобы охватить общие вопросы руководства обеспечением техниче
ского подтверждения результатов оценки. Использование такого общего руководства поглотает достичь объектив
ности. повторяемости и воспроизводимости работы, выполненной оценщиком.
А.2 Выборка
Данный подраздел предоставляет общие указания по осуществлению выборки. Конкретная и подробная ин
формациядана в шагах оценивания, соответствующих определенным элементамдействий оценщика, где выборку
необходимо выполнить.
Выборка — определенная процедура, выполняемая оценщиком, посредством которой некоторое подмноже
ство требуемой совокупности свидетельств оценки исследуется и предполагается репрезентативным (представи
тельным) для совокупности в целом. Это позволяет оценщику получить достаточную уверенность в правильности
конкретного свидетельства оценки без его анализа в полном объеме. Выборка производится для экономии ресур
сов при поддержании адекватного уровня доверия. Выборка из свидетельства может приводить к двум возможным
результатам:
a) На подмножестве не обнаружено никаких ошибок, что дает оценщику определенную уверенность в том.
что совокупность в целом корректна.
b
) На подмножестве найдены ошибки, и поэтому правильность совокупности в целом подвергается сомне
нию. Даже устранение всех обнаруженных ошибок может оказаться недостаточным для получения оценщиком
необходимой уверенности, и поэтому оценщику придется либо увеличить размер подмножества, либо прекратить
использование выборки для этого конкретного свидетельства.
Выборка — это метод, который может использоваться для получения заслуживающих доверия выводов,
когда состав свидетельства относительно однороден по существу, например если свидетельство является резуль
татом полностью определенного процесса.
Выборка в случаях, указанных в ИСО/МЭК 15408 или специально оговоренных в шагах оценивания методоло
гии. признается как экономичный подход к действиям, выполняемым оценщиком. Выборка в других областях разре
шается только в исключительных случаях, там. где выполнение конкретного вида деятельности в целом потребова
ло бы усилий, непропорциональныхдругим видам деятельности, и где оно не повысило бы соответственно доверие.
В таких случаях потребуется обоснование применения выборки в этой области. Ни тот факт, что ОО является объ
емным и сложным, ни то. что он имеет много функциональных требований безопасности, не является достаточным
обоснованием, так как при оценке объемных и сложных СЮ как раз и могут потребоваться большие усилия. Скорее
предполагается, что это исключение ограничивается такими случаями, когда подход к разработке ОО дает боль
шое количество материала для конкретного требования ИСО/МЭК 15408. который обычно весь требуется проверить
или исследовать, и когда не ожидается, что такое действие повысит соответственно степень доверия.
Выборка нуждается в логическом обосновании, принимая во внимание возможное влияние на цели безопас
ности и угрозы СЮ. Влияние зависит от того, что может быть пропущено в результате выборки. Необходимо также
учитывать характер свидетельства, проверяемого выборочно, и требование не игнорировать любые функции
безо пасности и не снижать их роль.
Следует признать, что выборка из свидетельства, прямо связанного с реализацией ОО (например резуль
татов теста разработчика), требует подхода, отличного от применяемого при выборке, связанного с вынесением
заключения о том. правильно ли выполнялся процесс. Во многих случаях, когда от оценщика требуется опреде
лить. что процесс действительно выполняется, рекомендуется стратегия выборки. Подход, который
применяется при выборке результатов тестирования разработчиком, будет отличаться. Это происходит потому,
что в первом случае речь идет об уверенности в том. что процесс выполняется, а во втором мы имеем дело с
определением кор ректности реализации ОО. Как правило, более объемные выборки следует анализировать в
случаях, связанных с правильной реализацией ОО. нежели с необходимостью удостовериться, что процесс
выполняется.
В определенных случаях для оценщика может быть уместно придавать большее значение повторению тести
рований. проведенных разработчиком. Например, если независимые тесты, которые осталось провести оценщику,
только поверхностно отличаются от включенных в обширный набор проверок, проведенных разработчиком (до
пустим. что разработчик провел тестирование в большем обьеме, чем необходимо для удовлетворения критери ев
классов ATE_COV «Покрытие» и ATE_DPT «Глубина»), тогда оценщику целесообразнее сосредоточить усилия на
повторении проверок, проведенных разработчиком. Следует отметить, что это не обязательно подразумевает
требование большой доли выборки при повторении тестов разработчика; на самом деле, учитывая обширный на
бор проверок, проведенных разработчиком, оценщик может обосновать необходимость повторения лишь весьма
малого процента тестовых испытаний.
220