Единицы пословной
сегментации (WSU)
ГОСТ Р ИСО 24614-1—2013
3.2 Ресурсы, которые могут облегчить пословную сегментацию
Проведению пословной сегментации в отдельной язы
к
овой области могут помочь
следующие
к
омпоненты иресурсы:
1. подходящий словарь:
2. список аффиксов, включая префиксы, суффиксы и инфиксы, если таковые имеются;
3. список связанных морфем, отличных от аффиксов;
4. спецификация для морфологии языка — для установления выхода пословной сегментации на
базе зависимых от языка явлений по принципам, описанным в разделе 4;
5. представительный корпус текстов языка.
Чтобы обеспечить совместимость пословной сегментации разных текстов (или одного текста
разными средствами) и гарантировать, что сегментация даст сравнимые количества, когда она
применяется для подсчёта числа маркеров (см. п. 3.3) в текстовом документе, ресурсы, указанные
выше в п.п. от а) до е). должны быть детально описаны в части их содержания.
3.3 Процесс пословной сегментации
Процесс пословной сегментации отображён в общих чертах на рисунке 5.
7