Разработка методов анализа сценариев поведения (на материале инструктивных интернет-текстов)

На осно­ве ана­ли­за инструк­тив­ных тек­стов были выде­ле­ны три вида сценариев:

1. Про­стое дей­ствие, пред­став­ля­ю­щее собой один кон­крет­ный сце­на­рий, кото­рый необ­хо­ди­мо выпол­нить (напри­мер, поиск объ­яв­ле­ний о про­да­же подер­жан­ных авто или выбор функ­ци­о­на­ла автомобиля).
2. Ветв­ле­ния, или мно­же­ство сце­на­ри­ев, вклю­ча­ю­щих аль­тер­на­тив­ные шаги, необя­за­тель­но в опре­де­лен­ной после­до­ва­тель­но­сти. При­ме­ра­ми ветв­ле­ний явля­ют­ся сце­на­рии, преду­смат­ри­ва­ю­щие покуп­ку ино­мар­ки или оте­че­ствен­ной маши­ны, в кре­дит или за налич­ные сред­ства, ново­го или подер­жан­но­го автомобиля.
3. Цепоч­ка шагов, или мно­же­ство сце­на­ри­ев, кото­рые необ­хо­ди­мо выпол­нить в стро­го задан­ной после­до­ва­тель­но­сти (выбор кон­крет­ной моде­ли, осмотр авто­мо­би­ля в салоне, оформ­ле­ние покуп­ки). Этот вид сце­на­рия допус­ка­ет воз­вра­ще­ние на преды­ду­щие шаги (если при осмот­ре авто­мо­би­ля выяви­лись серьез­ные недо­стат­ки, мож­но выбрать новый вариант).

К дру­гим ком­по­нен­там фрей­ма отно­сят­ся актив­ные участ­ни­ки сце­на­рия (поку­па­тель, про­да­вец, стра­хо­вой агент, пред­ста­ви­тель ГИБДД) и опе­ран­ды: авто­мо­биль, его внеш­ние свой­ства (лако­кра­соч­ное покры­тие, кузов и др.), дого­вор куп­ли-про­да­жи, а так­же цель, т. е. жела­е­мая ситу­а­ция, кото­рая будет достиг­ну­та после выпол­не­ния дей­ствий сце­на­рия (опи­сы­ва­ет­ся хра­ня­щи­ми­ся в рабо­чей памя­ти «фак­та­ми о мире»), и усло­вия, в кото­рых собы­тие происходит.

Для нача­ла выпол­не­ния любо­го сце­на­рия необ­хо­ди­мо осу­ще­ствить опре­де­лен­ные пред­усло­вия (так­же в рабо­чей памя­ти пред­став­лен­ные фак­та­ми о мире): при­нять реше­ния (купить новый авто­мо­биль), най­ти необ­хо­ди­мую инфор­ма­цию, оце­нить ресур­сы (поку­па­тель име­ет инфор­ма­цию о мар­ках авто­мо­би­ля, офи­ци­аль­ных пред­ста­ви­те­лях фир­мы, рас­по­ла­га­ет сред­ства­ми и вре­ме­нем на покуп­ку авто­мо­би­ля и др.).

Пер­вым эта­пом обра­бот­ки тек­стов инструк­ций, как уже было ска­за­но, явля­ет­ся сег­мен­та­ция, в резуль­та­те кото­рой исход­ный текст раз­де­ля­ют­ся на фраг­мен­ты, соот­вет­ству­ю­щие отдель­ным шагам сценария.

Сег­мен­та­цию мож­но раз­де­лить услов­но на четы­ре ста­дии. На пер­вой осу­ществ­ля­ет­ся раз­би­е­ние тек­ста на цель­ные смыс­ло­вые еди­ни­цы, под кото­ры­ми пони­ма­ют­ся пред­ло­же­ния и спис­ки, т. е. одно­род­ные ком­по­нен­ты пред­ло­же­ния, выде­лен­ные в тек­сте таким обра­зом, что каж­дый из них нахо­дит­ся на отдель­ной строке.

Вто­рая ста­дия состо­ит в том, что­бы сре­ди смыс­ло­вых еди­ниц выде­лить эле­мент «реко­мен­ду­е­мое дей­ствие» — цен­тры буду­щих сег­мен­тов, к кото­рым мы отно­сим пре­ди­ка­тив­ные осно­вы выска­зы­ва­ний: гла­го­лы или гла­голь­ные соче­та­ния, выра­жа­ю­щие (лек­си­че­ским зна­че­ни­ем и фор­мой) тот или иной вид побу­ди­тель­ной модаль­но­сти — совет, реко­мен­да­цию, при­зыв и т. п. Таки­ми цен­тра­ми явля­ют­ся, напри­мер, сло­во­фор­мы 2 л. мн. ч. пове­ли­тель­но­го накло­не­ния гла­го­лов (опре­де­ли­тесь, сде­лай­те), модаль­ные наре­чия или без­лич­ные гла­го­лы с инфи­ни­ти­вом (мож­но сде­лать, нуж­но выбрать, сле­ду­ет офор­мить и т. п.) и др.

Несмот­ря на то что смыс­ло­вые цен­тры сег­мен­тов (пре­ди­ка­ты побу­ди­тель­ной модаль­но­сти) содер­жат важ­ней­шую инфор­ма­цию о сце­нар­ном дей­ствии, исполь­зо­вать для созда­ния сце­на­рия толь­ко эти дан­ные недо­ста­точ­но. Это свя­за­но с тем, что, как пока­за­ли экс­пе­ри­мен­ты, при рас­смот­ре­нии мно­же­ства таких цен­тров без уче­та кон­тек­ста соот­вет­ству­ю­щие им век­тор­ные пред­став­ле­ния ока­зы­ва­ют­ся сла­бо раз­де­ли­мы­ми, при этом сни­жа­ет­ся каче­ство клас­си­фи­ка­ции сегментов.

На тре­тьей ста­дии каж­до­му эле­мен­ту, полу­чен­но­му при раз­би­е­нии тек­ста, необ­хо­ди­мо поста­вить в соот­вет­ствие неко­то­рое век­тор­ное пред­став­ле­ние. В рам­ках иссле­до­ва­ния сце­на­ри­ев в инструк­тив­ных текстах каж­до­му сло­ву мы ста­ви­ли в соот­вет­ствие век­тор, исполь­зуя гото­вые моде­ли word2vec из RusVectores [Kutuzov, Kuzmenko 2017], а век­тор для эле­мен­та тек­ста нахо­ди­ли как сред­нее ариф­ме­ти­че­ское век­то­ров для слов, вхо­дя­щих в этот эле­мент, кро­ме стоп-слов. Подоб­ное век­тор­ное пред­став­ле­ние поз­во­ля­ет пред­ста­вить боль­шин­ство эле­мен­тов как доста­точ­но корот­кие тек­сты. Как было пока­за­но в более ран­них иссле­до­ва­ни­ях [Mikolov et al. 2013], дан­ный мето­ди­че­ский при­ем оправдан.

Поста­вив в соот­вет­ствие каж­до­му эле­мен­ту тек­ста век­тор, мы можем в даль­ней­ших рас­суж­де­ни­ях отож­деств­лять поня­тия «эле­мент тек­ста» и «век­тор». Все эле­мен­ты перед пер­вым цен­тром мы отно­сим к пер­во­му цен­тру, все эле­мен­ты после послед­не­го — к послед­не­му. Осталь­ные эле­мен­ты нахо­дят­ся меж­ду дву­мя цен­тра­ми, и для всех пар сосед­них цен­тров мы нахо­дим раз­би­е­ние пред­ло­же­ний меж­ду ними на два непе­ре­се­ка­ю­щих­ся мно­же­ства: кон­текст пер­во­го цен­тра и кон­текст вто­ро­го цен­тра. Есте­ствен­но пред­по­ло­жить, что эле­мен­ты раз­лич­ных кон­тек­стов не долж­ны чере­до­вать­ся. Поэто­му мы ста­вим допол­ни­тель­ное усло­вие: раз­би­е­ние долж­но быть таким, что все эле­мен­ты вто­ро­го мно­же­ства в тек­сте нахо­дят­ся после пер­во­го множества.

Фор­ма­ли­зу­ем зада­чу нахож­де­ния это­го раз­би­е­ния. Пусть рас­сто­я­ние от кон­тек­ста до цен­тра — это сум­ма рас­сто­я­ний от пред­ло­же­ний кон­тек­ста до цен­тра. Тогда най­дем раз­би­е­ние, мини­ми­зи­ру­ю­щее рас­сто­я­ние меж­ду соот­вет­ству­ю­щи­ми цен­тра­ми и кон­тек­ста­ми. Эта зада­ча реша­ет­ся путем пере­бо­ра все­воз­мож­ных раз­би­е­ний за линей­ное вре­мя от коли­че­ства пред­ло­же­ний меж­ду цен­тра­ми. В каче­стве рас­сто­я­ния от пред­ло­же­ния до цен­тра мы исполь­зо­ва­ли евкли­до­во рас­сто­я­ние меж­ду соот­вет­ству­ю­щи­ми век­тор­ны­ми представлениями.

Послед­ней, чет­вер­той, ста­ди­ей сег­мен­та­ции явля­ет­ся объ­еди­не­ние фраг­мен­тов, кото­рые состав­ля­ют один и тот же шаг в рам­ках сце­на­рия. Мы полу­ча­ем век­тор­ные пред­став­ле­ния для сег­мен­тов ана­ло­гич­но век­тор­ным пред­став­ле­ни­ям для эле­мен­тов, кото­рые опи­са­ны выше. Для каж­дой пары сосед­них сег­мен­тов было посчи­та­но рас­сто­я­ние меж­ду ними и объ­еди­не­ны в груп­пу сосед­ству­ю­щих сег­мен­тов, если рас­сто­я­ние меж­ду пара­ми сосед­них сег­мен­тов в этой груп­пе было мень­ше поро­га, уста­нав­ли­ва­е­мо­го экспериментально.

В каче­стве рас­сто­я­ния мы исполь­зо­ва­ли взве­шен­ную линей­ную ком­би­на­цию из WMdistance и сиг­мо­и­да от сум­мы длин сег­мен­тов, где WMdistance — Word Mover’s Distance, один из мно­же­ства вари­ан­тов изме­ре­ния семан­ти­че­ской бли­зо­сти меж­ду дву­мя тек­ста­ми [Kusner et al. 2015], а сиг­мо­ид пони­ма­ет­ся как моно­тон­но воз­рас­та­ю­щая огра­ни­чен­ная функ­ция. Исполь­зо­ва­ние WMdistance обу­слов­ле­но тем, что для сег­мен­тов, кото­рые явля­ют­ся отно­си­тель­но боль­ши­ми тек­ста­ми, он пока­зал луч­шие резуль­та­ты, чем осталь­ные мет­ри­ки. Мы пред­по­ла­га­ем так­же, что корот­кие сег­мен­ты, ско­рее все­го, не пред­став­ля­ют сами по себе боль­шой цен­но­сти, поэто­му мы исполь­зу­ем сиг­мо­ид, кото­рый поощ­ря­ет объ­еди­не­ние корот­ких и штра­фу­ет объ­еди­не­ние длин­ных сег­мен­тов, при­чем штраф прак­ти­че­ски не раз­ли­ча­ет­ся для длин­ных и сверх­длин­ных текстов.

Полу­чен­ные сег­мен­ты исполь­зу­ют­ся для фор­ми­ро­ва­ния ново­го сце­на­рия или улуч­ше­ния уже суще­ству­ю­ще­го. Во вто­ром слу­чае име­ет­ся уже схе­ма шагов, а для каж­до­го шага — неко­то­рая кол­лек­ция соот­вет­ству­ю­щих сег­мен­тов, и может быть постав­ле­на зада­ча интер­пре­ти­ро­вать шаги как клас­сы, по кото­рым необ­хо­ди­мо рас­пре­де­лить наши объ­ек­ты (это стан­дарт­ная зада­ча клас­си­фи­ка­ции и воз­мож­но­сти ее реше­ния будут обсуж­де­ны ниже).

Результаты

Перей­дем к ана­ли­зу резуль­та­тов реше­ния сфор­му­ли­ро­ван­ных выше задач — выде­ле­ния сег­мен­тов, вопло­ща­ю­щих опре­де­лен­ный шаг сце­на­рия, их классификации.

При авто­ма­ти­че­ском ана­ли­зе сце­на­ри­ев в инструк­тив­ных текстах важ­но учи­ты­вать, в какой мере может быть фор­ма­ли­зо­ва­но раз­гра­ни­че­ние сосед­них шагов одно­го тек­ста-сце­на­рия и насколь­ко дости­жи­мо отож­деств­ле­ние фраг­мен­тов раз­ных тек­стов как пред­став­ля­ю­щих один и тот же шаг сценария.

Мы пред­по­ло­жи­ли, что мно­же­ство шагов в век­тор­ном про­стран­стве име­ет доволь­но про­стую струк­ту­ру, а имен­но: каж­дый шаг име­ет свой центр (век­тор), и раз­би­е­ние Воро­но­го [Aurenhammer 1991], постро­ен­ное на этих цен­трах, зада­ет кор­рект­ное раз­де­ле­ние век­тор­но­го про­стран­ства на шаги.

С целью про­вер­ки это­го пред­по­ло­же­ния про­ве­ден сле­ду­ю­щий экс­пе­ри­мент: вруч­ную выбран­ные и раз­ме­чен­ные сег­мен­ты были отоб­ра­же­ны в век­тор­ное про­стран­ство, для каж­до­го шага оце­нен соот­вет­ству­ю­щий центр как сред­нее ариф­ме­ти­че­ское век­то­ров для выбран­ных сег­мен­тов, для каж­до­го сег­мен­та опре­де­лен шаг по бли­жай­ше­му цен­тру и про­ве­де­но срав­не­ние полу­чен­ной раз­мет­ки с исходной.

На осно­ве ана­ли­за инструк­тив­ных тек­стов было выде­ле­но 12 шагов, для каж­до­го из кото­рых най­де­но от трех до девя­ти тек­сто­вых сегментов:

1. 1. Ваши день­ги.
   2. Цены.
   3. Объ­яв­ле­ния.
   4. Теле­фон­ный разговор.
   5. Доку­мен­ты на машину.
   6. Мони­то­ринг сайтов.
   7. ДКП.
   8. Осмотр.
   9. Тест-драйв.
   10. Мар­ка и модель машины.
   11. Диа­гно­сти­ка.
   12. Год выпус­ка.

В наших экс­пе­ри­мен­тах для оцен­ки каче­ства каж­до­го клас­са мы исполь­зо­ва­ли F‑меру с пара­мет­ром 0.5, т. е. сред­нее гео­мет­ри­че­ское пол­но­ты (Recall) и его чисто­ты (Presicion) полу­чен­но­го клас­са, давая послед­ней боль­ший вес [Hastie, Tibshirani, Friedman 2009]. Для сум­мар­ной оцен­ки каче­ства мы исполь­зо­ва­ли усред­нен­ную F‑меру.

При ана­ли­зе вруч­ную выде­лен­ных сег­мен­тов из инструк­тив­ных тек­стов были полу­че­ны непло­хие, на наш взгляд, результаты:

• сред­нее зна­че­ние F‑меры — 89.6,
• мини­маль­ное зна­че­ние F‑меры: — 68.2.

Сле­ду­ет, одна­ко, заме­тить, что неко­то­рые шаги (напри­мер, чет­вер­тый) рас­по­зна­ют­ся хуже. Это свя­за­но с тем, что такие шаги име­ют суще­ствен­ное пере­се­че­ние, так как вклю­ча­ют одно­тип­ную лексику.

Иссле­до­ва­ние пока­за­ло так­же, что если при авто­ма­ти­че­ском выде­ле­нии шагов сце­на­рия инструк­тив­ных тек­стов цен­тры оце­ни­ва­ют­ся не на всем мно­же­стве раз­ме­чен­ных тек­стов, а толь­ко на части, то каче­ство клас­си­фи­ка­ции на остав­шей­ся выбор­ке сколь­ко-нибудь суще­ствен­но не сни­жа­ет­ся (так, если мы отло­жим треть дан­ных как тесто­вую, зна­че­ние F‑меры пада­ет лишь до 80 %).

Доба­вим, что полу­чен­ные в ходе экс­пе­ри­мен­та резуль­та­ты поз­во­ля­ют счи­тать обос­но­ван­ным пред­по­ло­же­ние о том, что струк­ту­ра выяв­ля­е­мых в тек­сте шагов сце­на­рия не отли­ча­ет­ся слож­но­стью. В рам­ках иссле­до­ва­ния на вруч­ную выде­лен­ных сег­мен­тах мы пока­за­ли, что выде­лен­ные экс­пер­та­ми части тек­ста мож­но клас­си­фи­ци­ро­вать вполне каче­ствен­но, имея раз­мет­ку даже для неболь­шо­го коли­че­ства сегментов.

Одной из целей экс­пе­ри­мен­та была оцен­ка воз­мож­но­стей реше­ния зада­чи клас­си­фи­ка­ции авто­ма­ти­че­ски выде­лен­ных объ­ек­тов. Сег­мен­ты, полу­чен­ные про­грам­мой, были про­мар­ки­ро­ва­ны, в резуль­та­те чего была полу­че­на выбор­ка, вклю­ча­ю­щая 490 фраг­мен­тов. В этой выбор­ке отсут­ству­ет пятый шаг (мони­то­ринг сай­тов), посколь­ку для него нашлось толь­ко два сег­мен­та. Выбор­ка ока­за­лась не вполне сба­лан­си­ро­ван­ной, в част­но­сти седь­мой шаг (осмотр) состав­ля­ет почти поло­ви­ну выбор­ки (225 сегментов).

Обсу­дим мето­ды реше­ния зада­чи авто­ма­ти­че­ской клас­си­фи­ка­ции сег­мен­тов, начав с рас­смот­ре­ния «наив­но­го» клас­си­фи­ка­то­ра, осно­ван­но­го на оцен­ке цен­тров. Наив­ная клас­си­фи­ка­ция пред­по­ла­га­ет при­ме­не­ние той же моде­ли, кото­рая была исполь­зо­ва­на в преды­ду­щем раз­де­ле. Каж­до­му сег­мен­ту ста­вит­ся в соот­вет­ствие век­тор как сред­нее ариф­ме­ти­че­ское век­то­ров пред­ло­же­ний, кото­рые, в свою оче­редь, есть сред­нее ариф­ме­ти­че­ское век­то­ров слов. По раз­ме­чен­ным дан­ным мы полу­ча­ем центр каж­до­го клас­са как сред­нее ариф­ме­ти­че­ское соот­вет­ству­ю­щих век­то­ров из обу­ча­ю­щей выбор­ки. Для новых объ­ек­тов класс опре­де­ля­ет­ся по бли­жай­ше­му вектору.

Далее рас­смот­рим логи­сти­че­скую регрес­сию [Hastie, Tibshirani, Friedman 2009] с l2-регу­ля­ри­за­ци­ей, кото­рая пока­за­ла один из наи­луч­ших резуль­та­тов сре­ди раз­лич­ных мето­дов. Пара­метр регу­ля­ри­за­ции под­би­рал­ся с уче­том кросс-вали­да­ции по пяти блокам.

Для изме­ре­ния каче­ства исполь­зо­ва­лась выше­опи­сан­ная F‑мера. Каче­ство наив­ной клас­си­фи­ка­ции опре­де­ля­лось на кросс-вали­да­ции по пяти бло­кам. Для логи­сти­че­ской регрес­сии каче­ство моде­ли изме­ря­лось на тесто­вой выбор­ке, состав­ля­ю­щей 15 % от исход­ной. Были полу­че­ны сле­ду­ю­щие резуль­та­ты сред­не­го зна­че­ния F‑меры:

• наив­ный клас­си­фи­ка­тор: 52 %;
• логи­сти­че­ская регрес­сия: 59 %.

Наив­ная клас­си­фи­ка­ция, стро­я­щая раз­би­е­ние Воро­но­го на осно­ве оцен­ки цен­тра, дает резуль­тат луч­ше, чем выше­опи­сан­ный кон­стант­ный клас­си­фи­ка­тор. Это гово­рит о том, что струк­ту­ра шагов, рас­смот­рен­ная для выде­лен­ных чело­ве­ком сег­мен­тов, име­ет место и для шагов, постро­ен­ных на про­грамм­но выде­лен­ных сег­мен­тах. Отме­тим, что логи­сти­че­ская регрес­сия замет­но повы­ша­ет каче­ство на боль­шин­стве шагов (в сред­нем на 7 %).

Выводы

Нами пред­ло­же­на кон­крет­ная струк­ту­ра фрей­ма, кото­рая схе­ма­ти­че­ски опи­сы­ва­ет сце­на­рий. Одним из досто­инств дан­ной струк­ту­ры явля­ет­ся ее уни­вер­саль­ность. Прак­ти­че­ская зна­чи­мость такой струк­ту­ры дан­ных состо­ит в опе­ра­ци­о­на­ли­зи­ру­е­мо­сти, т. е. в воз­мож­но­сти быть исполь­зо­ван­ной при ана­ли­зе сце­нар­но­го пове­де­ния субъ­ек­та, в том чис­ле для авто­ма­ти­че­ско­го извле­че­ния сце­на­рия из тек­стов на есте­ствен­ном язы­ке с исполь­зо­ва­ни­ем тех­но­ло­гий искус­ствен­но­го интеллекта.

Кро­ме того, была пред­ло­же­на мето­ди­ка авто­ма­ти­че­ско­го реше­ния зада­чи сег­мен­та­ции инструк­тив­но­го тек­ста, поз­во­ля­ю­щая выде­лить шаги сце­на­рия, кото­рые отра­жа­ют основ­ные пара­мет­ры дей­ствия как под­чи­нен­но­го опре­де­лен­ной цели, и клас­си­фи­ка­ции полу­чен­ных сег­мен­тов. Иссле­до­ва­ние пока­за­ло, что пред­ло­жен­ная схе­ма сег­мен­та­ции доста­точ­но эффек­тив­на, поз­во­ля­ет полу­чать фраг­мен­ты, содер­жа­щие необ­хо­ди­мую и доста­точ­ную инфор­ма­цию об одном шаге сце­на­рия. Про­ве­ден­ные экс­пе­ри­мен­ты пока­за­ли, что мно­же­ство шагов име­ют в век­тор­ном пред­став­ле­нии доволь­но про­стую струк­ту­ру, и про­де­мон­стри­ро­ва­ли при­ем­ле­мое каче­ство клас­си­фи­ка­ции полу­чен­ных сегментов.