ГОСТ Р ИСО 10075-3—2009
быть использована для правильного выбора процедуры и анализа полученных результатов. Фактичес
ки. валидность процедуры зависит от принятой модели измерений, например, вероятностная модель
измерений требует применения вероятностной психометрии, в то время как подход обобщаомости по
требует оценки компонентов дисперсии и вычисления коэффициентов обобщаемости (см. 4.2.7).
Не существует единственного наилучшего способа оценки психометрических свойств, так как он
зависит, в частности, от принципов, лежащих в основе конструкции оборудования. Однако подход обоб
щаемости позволяет применять эффективные и результативные процедуры оценки параметров объек
тивности. достоверности, валидности, чувствительности и диагностичности с затратой разумных
усилий. В любом случае процедуры должны быть описаны способом, не требующим повторной оценки
психометрических свойств.
4.2.2 Объективность
Для документирования объективности метода измерений должны быть представлены объектив
ные свидетельства того, что сотрудник, выполняющий оценку или измерения, не влияет на результат
оценки/наблюдений. Лучше всего это может быть достигнуто при участии более двух сотрудников,
вы полняющих измерения одним методом и обрабатывающих полученные данные с использованием
дис персионного анализа (ANOVA4) для определения их среднего или оценки взаимного
влияния. Результатыдолжны показать, что такого влияния не существует, а соответствующие оценки
компонен товдисперсии значимо неотличаются от 0. В исследованиях по проверке взаимного влияния
необходи мо обеспечить, чтобы были учтены воздействия сотрудника, выполняющего
оценку/иэмерения. Поэтому вероятность ошибки ff должна быть равна 0.05. а вероятность ошибки
а6должна быть не ме нее 0.20. Если невозможно устранить воздействия сотрудника,
выполняющего оценку/измереиие. метод измерений не может быть признан объективным.
4.2.3 Достоверность
Достоверность результатов измерений можно оценить с помощью корреляционных методов, если
объектами измерений являютсядва сотрудника и/или две ситуации, относительное положение которых
в совокупности должно быть достоверно воспроизводимо.
Коэффициенты корреляции не дают информации о различиях между наборами данных на абсо
лютном уровне. Такая информация может быть получена при использовании методов ANOVA. которые
также позволяют вычислить коэффициенты устойчивости, например через коэффициенты корреляции
внутри класса. Вычисление, например, корреляции между экспертами для контрольной таблицы может
привести к высокой корреляции ихотносительных суждений и, следовательно, к положительной оценке
достоверности, хотя оценки этих экспертов могут значительно различаться по абсолютной величине.
Использование методов ANOVA позволяет получить такую корреляцию, но указывает на взаимосвязь
оценок.
Однородность и/или устойчивость измерительного оборудования обычно оценивают на основе
межэлементной корреляции или корреляции между частями в целом или корреляции между эквивален
тными методами измерений. Строгие модели метода измерений требуют более строгих исследований,
например с помощью анализа шкалограммы. Факторный анализ для одномерного измерения может
быть использован для демонстрации однородности оборудования.
4.2.4 Валидность
Валидность процедуры измерений должна быть продемонстрирована путем совместной проверки
с различными валидированными процедурами.
Если такие процедуры недоступны, валидность должна быть продемонстрирована эксперимен
тально на основе изменения условий выполнения рабочих заданий, в процессе которых производят из
мерения, например, рабочего напряжения, приводящего к различным уровням усталости, если
усталость является объектом измерений. В этом случае необходимо изменять интенсивность рабочего
напряжения (например сложность выполнения рабочего задания) и длительность его воздействия.
Изменения только интенсивности или только продолжительности воздействия недостаточно для де
монстрации валидности. Должен быть использован подходящий набор рабочих заданий (в эксплуатаци
онных или лабораторных условиях) вместе с выделением достаточного времени для выполнения зада
ния. чтобы получить дополнительные воздействия или результат их взаимодействия.
4 ANOVA — Analysis ol variance.
— Ошибка второго рода.
6 и
— Ошибка первого рода.
5