ГОСТ Р ИСО 11064-7—2016
С.4 Метод экспертных оценок
Метод экспертных оценок включает получение впроцессе проверки мнений экспертовоб исследуемой систе
ме. Все описанные ниже методы направлены на повышение объективности и точности экспертных оценок.
С.4.1 МетодДельфи
Метод Дельфи является методом согласования мнений экспертов. Метод используют для проверки адекват
ности условий взаимодействия «человек—система». Метод формируетшкапу, включающую всюсовокупность зна
чений показателей, характеризующих функционирование системы (вероятность ошибки, четкость отображаемой
дисплеем информации, понятность и т. д.). Метод основан на процедуре анкетирования (анкетные опросы), когда
каждый эксперт заполняет анкету независимо от других экспертов. Аналитик собирает и сопоставляет ответы,
затем проводят второй этап анкетирования, который позволяет уточнить мнения, полученные ранее (без иденти
фикации опрашиваемыхлиц). Этот процессповторяютдо тех лор. пока небудетдостигнуто согласованное мнение.
Метод полезен для применения в процессе проектирования при отсутствии оборудования. Полученные
результаты являются качественными и неточными, однако метод позволяет быстро выявить возможные экстре
мальные значения функциональных характеристик. Прогнозируемая достоверность метода невысока, но она в
большой степени зависит от уровня компетентности привлекаемых экспертов. Метод является низкозатратным.
С.4.2 Метод номинальной группы1)
Метод аналогичен методу Дельфи. В соответствии с ним группа экспертов проверяет среду интерфейса
«человек—система» всоответствии со шкалами, включающими одну или более конструктивных характеристик сис
темы.
Главноеотличие метода от метода Дельфи состоит втом. что данный метод направлен надостижение согла
сованного мнения экспертов при непосредственном обсуждении в группе. При применении метода должны быть
приняты специальные организационные меры для достижения согласованного мнения. В других отношениях дан
ный метод и метод Дельфи очень похожи.
С.4.3 Метод парных сравнений
Существует несколько вариантов методе парных сравнений, однако его основусостввляет процедура, когда
каждый эксперт сопоставляетдва каких-либо объекта и определяет, какой из этих объектов превосходит другой по
указанной характеристике (больше по размеру, яркости и т. д.). Эту процедуруповторяют для всех возможных пар
исследуемых объектов. Затем мнения сортируют и сопоставляют для определения шкалы экспертных оценок и ее
диапазона. Метод парныхсравнений позволяет получить качественныерезультаты. Результаты применения мето
да являются более достоверными по сравнению с методом Дельфи и методом номинальной группы, но он является
более дорогостоящим.
С.4.4 Оценка в виде отношения
При применении метода эксперты не высказывают свое мнение в виде абсолютных числовых оценок и не
сопоставляютдва объекта сиспользованием специальной шкалы. Эксперты определяют, являетсялиодинобъект,
например, вдвое меньше или вдвое больше по сравнению с одним из элементов набора, который представлен как
стандартный. В соответствии с инструкциями от экспертов требуют, чтобы они дали заключение относительно это го
коэффициента. Данные, собранные методом оценки в виде отношения, являются в большей степени количес
твенными по сравнению с другими экспертными методами, недостатки метода совпадают с недостатками других
экспертных методов
С.5 Экспериментальные методы
Все экспериментальные методы могут быть использованы для определения статистически значимых разли
чий среды взаимодействия «человек—система» для нескольких вариантов конструкций при использовании маке
тов или полнофункционального моделирования в лаборатории. Методы могут быть использованы для валидации
среды «человек—система» при наличии единственной системы. Методы включают в себя такие приемы, как анке
тирование и интервьюирование.
Отличительным признаком экспериментального метода является требование строгого контроля всех источ
ников функциональных отклонений/несоответствий. Для выполнения этого требования необходимо привлечение
многочисленныхи хорошо сбалансированныхгрупп потенциальных пользователей, применение хорошоконтроли
руемых исходных установок и сложных методов регистрации данных. Данные методы преимущественно применя
ют в процессе проектирования. Они требуют тщательного планирования, являются трудоемкими и очень
дорогостоящими Достоверность методов обычно низка вследствие влияния посторонних источников функцио
нальных отклонений, сложности производственного задания и трудностей обеспечения соответствия условий
испытаний реальной ситуации. Методы обладают хорошей чувствительностью. Их результат является количес
твенным. но обычно категоризированным.
1> Метод групповогопринятия решения, предполагающий письменное изложение идей и ихпоследующее об
суждение в небольшой группе (пять—девять человек).
17