ГОСТ Р ИСО 13379-1—2015
6.3.5 Деревья классификации
6.3.5.1 Общее описание метода
Деревья классификации (см. [9]) представляют собой непараметрический метод рекуррентного
разбиения данных на подмножества, относящиеся к разным состояниям машины (нормальное, первая
неисправность, вторая неисправность и т.д.). в ходе которого проверяются все независимые перемен
ные (признаки) и всо возможные ветвления в каждом узле и осуществляется отбор одной наилучшей
переменной и значений, при которых происходит ветвление. В разбиении исходных данных могут быть
использованы не все переменные. Другие же переменные могут быть использованы по нескольку раз в
разных узлах ветвления.
Деревья, у которых не установлено ограничение на число ветвлений, способны осуществить аб
солютно точную классификацию для любой обучающей выборки, когда каждой конечной (терминаль
ной) вершине будет соответствовать строго один класс состояния (так называемое «переобучение»).
Чтобы избежать этого, используют процедуру кросс-проверки, удаляющей нижние ветви дерева и де
лающей процедуру классификации менее чувствительной к новым тестовым данным. Данный процесс
называют «отсечением».
6.3.5.2 Построение модели
Построение дерева классификации требует стадии обучения, в ходе которой сначала строят де
рево, обеспечивающее точную классификацию по обучающей выборке, а затем совершают отсечение
ветвей до достижения оптимального размера дерева. После завершения обучения и отсечения ветвей
дерево оптимального размера используют для классификации новых данных.
6.3.6 Случайный лес
6.3.6.1 Общее описание метода
Случайный лес (см. [7]) представляет собой метод непараметрической классификации, в котором
используется применение процедуры бэггинга (формирования ансамблей классификаторов из их ис
ходной совокупности путем бутстрэп-выборки. см. [8]) к множеству деревьев классификации (см. (9)).
Лес состоит из деревьев классификации, каждое из которых построено по одному наилучшему при
знаку. Деревья строят для совокупности бутстрэп-выборок (случайных выборок из общей выборки об
учающих примеров с заменой) и ограниченного числа случайным образом выбранных признаков для
каждой бутстрэп-выборки. Бутстрэп-выборки слегка отличаются одна от другой, при этом некоторые из
обучающих примеров могут попадать в выборки по нескольку раз. а ряд примеров — ни разу.
В противоположность методу деревьев классификации все деревья должны быть построены с
переобучением (т.е. без применения процедуры отсечения ветвей). Несмотря на то. что метод предпо
лагает построение сотен деревьев, процедура обучения в нем осуществляется достаточно быстро (как
правило, много быстрее, чем в методе нейронной сети с заданным числом примеров и процессоров).
Окончательная классификация состояния осуществляется на основе классификаций, полученным по
всем построенным деревьям (по принципу большинства голосов). Метод случайного леса обычно обе
спечивает лучшую классификацию, чем метод одиночного дерева классификации.
6.3.6.2 Построение модели
Из полного набора обучающих примеров строится бутстрэп-выборка (выборка заданного числа
примеров с замещением). Случайным образом выбирается несколько признаков из их общего числа
(обычно число выбранных признаков приблизительно равно квадратному корню из общего числа при
знаков). По бутстрэп-выборке и выбранным признакам строится дерево классификации, причем каж
дое ветвление осуществляется по оптимальному признаку. Процедура ветвления осуществляется до
тех пор, пока не будет получена абсолютно точная классификация для всех примеров бутстрэп-выбор ки.
После этого формируется новая бутстрэп-выборка и на ее основе строится новое дерево классифи
кации. Классификацию нового, неизвестного состояния получают на основе классификаций, сделанных
всеми построенными деревьями, выбирая ту из них. что встречается чаще других.
6.3.6.3 Сильные и слабые стороны метода
Существенным преимуществом алгоритма случайного леса по сравнению с методом деревьев
классификации является то, что первый позволяет получить оценку важности независимых перемен
ных (признаков), которая может быть использована при отборе признаков.
Другим преимуществом является использование всех обучающих примеров в полном объеме,
т.е. нет необходимости резервировать ряд обучающих примеров для выполнения процедуры кросс
проверки.
К преимуществам относится также то. что. за редким исключением, в отличие от многих алго
ритмов классификации данный метод не сталкивается с проблемой переобучения. Как правило, если
11