Стр. 16 ГОСТ 23554.1—79
Методы статистической оценки
К методам статистической оценки относят оценку по отклонению от среднего
мнения экспертной группы Кое и оценку воспроизводимостирезультата /Свр,
которые могут быть получены после обработки результатов специальных опро
сов, предшествующих операции формирования экспертной группы.
В основе первого метода лежит посылка, что истинным значением опреде
ляемой экспертами величины является значение средней оценки экспертной груп
пы. Чем меньше отклонениезначения индивидуальнойоценки, назначенной
экспертом, от групповой средней, тем выше качество этого эксперта.
В том случае, когда эксперт ранжирует оцениваемые величины, применяют
ся способы, основанные на использовании коэффициента конкордации или коэф
фициента ранговой корреляции.
Когда эксперт определяет численные значения оцениваемых величин, пред
лагается использовать расстояние между «средним» рядом значений оценок и
значениями оценок, назначенными данным экспертом.
Например,
/СОс= 10-(1—Qj),
(
2
)
при этом
е
у
=
2А
i=l
(
3
)
где K i— среднее значение /-ой оцениваемой величины;
К
ц
— значение /-ой величины, назначенное /-м экспертом;
д - i * .
/.-=1
Проверка принадлежности эксперта к согласованной (нормальной) группе
экспертовпроизводитсясогласнотребованиямГОСТ 11.002—73 (СТ СЭВ
545—77).
В основе второго метода лежит посылка,что высоким может считаться
качество такого эксперта, для которого свойственна воспроизводимость назна
чаемых значений оценок, т. е, значения оценок одногои того же объекта в
нескольких (обычно двух) турах должны быть достаточно близкими. В этом
случае можно говорить о стабильности его мнения.
Способы оценки качества эксперта по воспроизводимости результата анало
гичны способам оценки по отклонению от среднего мнения.
Тестовый метод
Тестовый метод заключается в проведении испытаний, в ходе которых оце
ниваются психофизиологические особенности эксперта, от которых зависит его
качество.
С помощью тестов оценивают такие свойства экспертов, как объективность,
квалнметрическую и профессиональную компетентность.
При разработке н применении тестовых оценок следует соблюдать ряд тре
бований:
эксперт должен ясно понимать постановку тестовой задачи и условия, ко
торым должно удовлетворять ее решение;
вероятность случайного угадывания решения задачи должна быть близка
к нулю;
тестовая задача должна иметь точное решение;
должна быть обоснована близость тестовой задачи и тех реальных задач,
которые приходится решать эксперту при оценке качества продукции.