6 Аттестационное тестирование

6.1    Введение

В данном разделе описаны два метода, используемые в процессе оценки соответствия: различные типы применяемых аттестационных тестов и конкретная ДИРПТ. В разделе также описаны фазы и свойства процесса оценки соответствия.

6.2    Типы аттестационных тестов

В принципе целью аттестационного тестирования является установление факта соответствия реализации, прошедшей тестирование, требованиям, установленным в конкретном прикладном протоколе. В рассматриваемой группе стандартов серии ГОСТ Р ИСО 10303 различают два типа тестов, связанных со степенью обеспечения ими указанного соответствия:

а" основные (базовые) тесты, обеспечивающие предварительное подтверждение соответствия ТР. Данные тесты не обязательно устанавливаются в комплекте абстрактных тестов; однако, если комплект абстрактных тестов определяет тесты, используемые в качестве основных, они должны быть реализованы в начале оценки соответствия. Подобные тесты являются стандартизованными;

Ь) тесты возможности, проверяющие соблюдение характеристики (возможности) ТР в соответствии с возможностями, заявленными в ЗСРП. Данные тесты дают возможность провести полное тестирование по всему диапазону требований соответствия, установленных в конкретном стандарте. Подобные тесты являются стандартизованными.

Примечание — Резолюционные тесты проверяют степень (глубину) соответствия ТР конкретному требованию, дают положительный или отрицательный ответ и диагностическую информацию по конкретным вопросам. Данные тесты не являются стандартизованными. Более подробная информация приведена в приложении С.

Стандартный комплект абстрактных тестов должен включать в себя перечень тестов возможностей, используемый в качестве основных тестов (при их наличии). Этот комплект не содержит любые основные тесты, дополняющие набор тестов возможностей.

6.2.1    Основные тесты

Основные тесты обеспечивают ограниченное тестирование ТР, определяющее ее пригодность для дальнейшего тестирования. Данное тестирование может быть проведено с использованием абстрактных или выполняемых комплектов, а его результаты могут быть достаточны для определения соответствия реализации без проведения дальнейшего тестирования. Эти результаты также могут быть учтены при подготовке к проведению дальнейшего тестирования реализации. Данные тесты являются первоочередными при проведении тестовой компании. Основные тесты не имеют существенных отличий от тестов возможностей, они просто менее сложны.

Основные тесты пригодны:

a)    для обнаружения явных случаев несоответствия реализации.

П р и м е р 1 — Ошибка программного средства;

b)    в качестве первоначального шага для решения о необходимости дальнейшего использования (или неиспользования) тестов возможностей;

c)    для применения пользователями реализаций, определения пригодности данной реализации к взаимодействию с другими соответствующими реализациями.

П р и м е р 2 — Предварительное определение возможностей обмена данными.

Основные тесты (без использования тестов возможностей) не пригодны для:

a)    определения соответствия реализаций;

b)    достоверного определения случаев ошибочного взаимодействия реализаций.

6.2.2    Т е с т ы в о з м о ж н о с т и

Тесты возможности(ей) (в виде абстрактных или выполняемых комплектов) применяются к реализации для тщательной практической проверки удовлетворения ею всего диапазона требований соответствия, установленных в конкретном стандарте. Данные тесты используют для проверки всех обязательных возможностей (характеристик) и тех необязательных (факультативных) возможностей, которые установлены в ЗСРП как обеспечиваемые данной ТР (см. приложение В).

Тесты возможности(ей) пригодны для:

a)    проверки возможностей (характеристик) ТР, связанных с требованиями соответствия;

b)    определения соответствия реализации;

c)    исследования случаев ошибочного взаимодействия реализаций.

Тесты возможности(ей) не пригодны для:

8