Сентимент-анализ комментариев к образовательным видеоблогам (на примере подготовки к ОГЭ/ЕГЭ)

Постановка проблемы

С раз­ви­ти­ем соци­аль­ных сетей, онлайн-сообществ, с вовле­че­ни­ем поль­зо­ва­те­лей во вза­и­мо­дей­ствия с авторами/блогерами появ­ля­ет­ся и новое поле для иссле­до­ва­тель­ской актив­но­сти — ана­лиз ком­мен­та­ри­ев поль­зо­ва­те­лей. Написание ком­мен­та­ри­ев удо­вле­тво­ря­ет раз­ные потреб­но­сти со сто­ро­ны поль­зо­ва­те­лей. Как отме­ча­ет В. А. Митягина, созда­ние ком­мен­та­рия в интернет-пространстве поль­зо­ва­те­лем — это ком­му­ни­ка­тив­ное дей­ствие, спо­соб­ству­ю­щее само­ре­а­ли­за­ции и обще­нию в сво­бод­ной фор­ме [Митягина 2012]. Главная цен­ность ком­мен­та­рия заклю­ча­ет­ся в предо­став­ле­нии поль­зо­ва­те­лю воз­мож­но­сти крат­кой или раз­вер­ну­той оцен­ки поста, уточ­не­ния непо­нят­ных момен­тов или выра­же­ния согла­сия или несо­гла­сия с авто­ром исход­но­го мате­ри­а­ла [Дахалаева 2014].

И. В. Топчий отме­ча­ет, что интернет-комментирование услож­ня­ет про­цесс вза­и­мо­дей­ствия, так как «ком­мен­та­рий ста­но­вит­ся оцен­кой на оцен­ку, интер­пре­та­ци­ей интер­пре­та­ции, ито­гом мыс­ли­тель­но­го про­цес­са и эмо­ци­о­наль­ной реак­ции, а так­же их нача­лом для сле­ду­ю­ще­го ком­мен­та­то­ра» [Топчий 2019: 176]. При этом поль­зо­ва­те­ли обра­ща­ют­ся наря­ду с вер­баль­ны­ми сред­ства­ми выра­же­ния к невер­баль­ным экс­прес­сив­ным — эмод­зи, гиф­кам и пр.

Сбор дан­ных с плат­фор­мы YouTube осу­ществ­лял­ся в 2023 г. до замед­ле­ния в июле-августе 2024 г.

Е. В. Медведева отме­ча­ет, что зри­тель на YouTube ста­но­вит­ся актив­ным участ­ни­ком ком­му­ни­ка­тив­но­го про­цес­са. В сво­ей ком­му­ни­ка­ции с ауди­то­ри­ей виде­об­ло­гер успеш­но задей­ству­ет три типа воз­мож­но­го отно­ше­ния потре­би­те­ля к объ­ек­ту потреб­ле­ния, состав­ля­ю­щих осно­ву реклам­ной ком­му­ни­ка­ции: раци­о­наль­ный, эмо­ци­о­наль­ный и пове­ден­че­ский. Коммуникативный акт в медиа­сре­де харак­те­ри­зу­ет­ся интер­ак­тив­но­стью — воз­мож­но­стью зри­те­ля сра­зу реа­ги­ро­вать на кон­тент, син­хрон­но­стью (одно­вре­мен­ным при­сут­стви­ем виде­об­ло­ге­ра и зри­те­ля в сети) и асин­хрон­но­стью (к кон­тен­ту мож­но воз­вра­щать­ся в любое вре­мя) [Медведева 2021].

В каче­стве кри­те­ри­ев ана­ли­за ком­мен­та­ри­ев С. М. Карпоян пред­ла­га­ет сте­пень эмо­ци­о­наль­но­сти оцен­ки (лай­ки), пол­но­ту выра­же­ния мне­ния, уро­вень фор­маль­но­сти исполь­зу­е­мых язы­ко­вых средств [Карпоян 2015].

Результативным мето­дом, поз­во­ля­ю­щим охва­тить боль­шие мас­си­вы дан­ных и про­ве­сти мони­то­ринг несколь­ких тысяч ком­мен­та­ри­ев из соци­аль­ных сетей, явля­ет­ся сентимент-анализ (ана­лиз тональ­но­сти). Компьютерный ана­лиз эмо­ци­о­наль­но­сти тек­стов наби­ра­ет попу­ляр­ность. Запрос на ресур­се «Киберленинка»¹ по клю­че­во­му сло­ву «сентимент-анализ» по запро­су на 03.10.2024 выдал 485 резуль­та­тов. Обнаружен суще­ствен­ный при­рост пуб­ли­ка­ций за послед­ние три года: в 2021 г. — 34 пуб­ли­ка­ции, 2022 — 64 и 2023 — 75. В отли­чие от тона обще­ния (tone of voice), т. е. сти­ля и инто­на­ции речи, сентимент-анализ обра­ща­ет­ся к содержанию.

История вопроса

Для изу­че­ния ком­мен­та­ри­ев поль­зо­ва­те­лей на все­воз­мож­ных фору­мах и чатах мно­гие иссле­до­ва­те­ли обра­ща­ют­ся к тех­но­ло­гии сентимент-анализа. Он явля­ет­ся важ­ной обла­стью обра­бот­ки есте­ствен­но­го язы­ка и пред­на­зна­чен для авто­ма­ти­че­ско­го извле­че­ния и ана­ли­за настро­е­ний и мне­ний из тек­ста. Типы настро­е­ний, кото­рые мы можем обна­ру­жить, вклю­ча­ют поло­жи­тель­ные, ней­траль­ные и отри­ца­тель­ные и могут быть далее раз­де­ле­ны на удив­ле­ние, дове­рие, ожи­да­ние, гнев, страх, грусть, отвра­ще­ние, радость и т. д. [Bose et al. 2020]. Хотя, как отме­ча­ет­ся, частым огра­ни­че­ни­ем сентимент-анализа высту­па­ет широ­кая кате­го­ри­за­ция выска­зы­ва­ний на три клас­са — пози­тив­ные, нега­тив­ные и ней­траль­ные [Wei, Zhang 2024].

Довольно часто пуб­ли­ка­ции, посвя­щен­ные сентимент-анализу, стро­ят­ся вокруг раз­ных под­хо­дов к эмо­ци­о­наль­ной раз­мет­ке тек­стов — ана­ли­за лек­си­ко­на, тра­ди­ци­он­но­го машин­но­го обу­че­ния, глу­бо­ко­го обу­че­ния, гибрид­ных под­хо­дов [Sankar, Subramaniyaswamy 2017]. А. А. Двойникова и А. А. Карпов клас­си­фи­ци­ру­ют мето­ды опре­де­ле­ния тональ­но­сти тек­ста и выде­ля­ют три основ­ные груп­пы мето­дов: линг­ви­сти­че­ские, машин­ное обу­че­ния и гибрид­ные. Первая груп­па под­раз­де­ля­ет­ся на мето­ды, осно­ван­ные на тональ­ных сло­ва­рях (напри­мер, RuSentiLex, РуТез, LinisCrowd, WordNetAffect) и на пра­ви­лах (напри­мер, кон­струк­ции «если → то»). Методы машин­но­го обу­че­ния раз­де­ле­ны на «с учи­те­лем» и «без учи­те­ля» [Двойникова, Карпов 2020].

В сентимент-анализе выде­ля­ют уров­ни доку­мен­та, пред­ло­же­ния и аспекта/фрагмента в соот­вет­ствии с диа­па­зо­ном тек­ста [Behdenna, Barigou, Belalem 2016]. Для ана­ли­за настро­е­ний исполь­зу­ют­ся раз­ные типы есте­ствен­ных язы­ков: англий­ский, фран­цуз­ский, китай­ский, рус­ский и др.

Что каса­ет­ся рус­ско­го язы­ка, здесь, ссы­ла­ясь на пуб­ли­ка­цию Сметанина, мож­но отме­тить спе­ци­фи­че­ские про­бле­мы извле­че­ния репре­зен­та­тив­ных дан­ных и состав­ле­ния все­объ­ем­лю­ще­го опи­са­ния огра­ни­че­ний [Smetanin 2020]. Кроме того, в боль­шин­стве иссле­до­ва­ний основ­ным недо­стат­ком было отсут­ствие оцен­ки моде­ли, по кото­рой про­из­во­дил­ся ана­лиз настро­е­ний, в текстах целе­во­го доме­на, что услож­ня­ет про­вер­ку каче­ства клас­си­фи­ци­ро­ван­ных настро­е­ний. Как отме­ча­ет иссле­до­ва­тель, наи­бо­лее часто изу­ча­е­мы­ми направ­ле­ни­я­ми иссле­до­ва­ний с при­ме­не­ни­ем сентимент-анализа были меж­эт­ни­че­ские и мигра­ци­он­ные про­бле­мы, а так­же укра­ин­ский кри­зис. Значительное вни­ма­ние так­же уде­ля­лось ана­ли­зу соци­аль­ной напря­жен­но­сти и изу­че­нию дру­гих тем [Smetanin 2020].

Сферой эмпи­ри­че­ско­го изу­че­ния тональ­но­сти ста­но­вят­ся мате­ри­а­лы соци­аль­ных сетей. На осно­ве кор­пу­са из 500 млн тви­тов на англий­ском язы­ке из 85 стран, иссле­до­ва­те­ли рекон­стру­и­ру­ют сово­куп­ную вре­мен­ную шка­лу еже­днев­ных изме­не­ний настро­е­ния 2,4 млн чело­век. Авторы с помо­щью пси­хо­линг­ви­сти­че­ско­го инстру­мен­та ана­ли­за тек­ста LIWC опре­де­ли­ли про­цент поло­жи­тель­ных и отри­ца­тель­ных лек­сем в сооб­ще­ни­ях каж­до­го отдель­но­го поль­зо­ва­те­ля, что­бы рекон­стру­и­ро­вать инди­ви­ду­аль­ную измен­чи­вость настро­е­ния. Они обна­ру­жи­ли, что неза­ви­си­мо от стра­ны поло­жи­тель­ные эмо­ции дости­га­ют пика утром и око­ло полу­но­чи, а отри­ца­тель­ные эмо­ции рас­тут в тече­ние дня и так­же дости­га­ют мак­си­му­ма око­ло полу­но­чи [Golder, Macy 2011].

Другой при­мер изу­че­ния мате­ри­а­лов соци­аль­ных сетей пред­став­лен в ста­тье Е. В. Комаровой. Она ана­ли­зи­ро­ва­ла тональ­ность интернет-сообщений, посвя­щен­ных мигран­там, с помо­щью сентимент-анализа и линг­ви­сти­че­ской экс­пер­ти­зы. В ее иссле­до­ва­нии пока­за­но, что коли­че­ство нега­тив­ных сооб­ще­ний пре­об­ла­да­ет над пози­тив­ны­ми, толь­ко сре­ди рус­ско­языч­ных сооб­ще­ний обна­ру­же­ны тек­сты с пози­тив­ной направ­лен­но­стью [Комарова 2023].

П. Байлис и соав­то­ры ана­ли­зи­ру­ют вли­я­ние погод­ных усло­вий на выра­жен­ные настро­е­ния в кор­пу­се из 3,5 млрд тви­тов. Они исполь­зу­ют LIWC, что­бы опре­де­лить, содер­жит ли дан­ный твит или обнов­ле­ние ста­ту­са хотя бы одну лек­се­му с пози­тив­ной или нега­тив­ной кон­но­та­ци­ей аффек­тив­но­сти. Используя вре­мен­ные мет­ки и гео­ло­ка­ци­он­ные дан­ные тви­тов и обнов­ле­ний ста­ту­са, иссле­до­ва­те­ли свя­зы­ва­ют тек­сты с пре­об­ла­да­ю­щи­ми погод­ны­ми усло­ви­я­ми на момент пуб­ли­ка­ции [Baylis et al. 2018].

Таким обра­зом, мож­но отме­тить широ­кий диа­па­зон иссле­до­ва­ний тональ­но­сти в раз­ных обла­стях науч­но­го зна­ния. Наше иссле­до­ва­ние сфо­ку­си­ро­ва­но на изу­че­нии осо­бен­но­стей ком­му­ни­ка­ции обра­зо­ва­тель­ных бло­ге­ров и их ауди­то­рии. Это слож­но иссле­ду­е­мый аспект обра­зо­ва­тель­но­го бло­гин­га, посколь­ку вза­и­мо­дей­ствия в боль­шин­стве слу­ча­ев огра­ни­че­ны ком­му­ни­ка­ци­я­ми посред­ством обме­на тек­сто­вы­ми сооб­ще­ни­я­ми на фору­мах, в чатах, ком­мен­та­ри­ях и т. п. Сложность свя­за­на с нефор­ма­ли­зо­ван­но­стью и фраг­мен­тар­но­стью ком­му­ни­ка­ции (ком­мен­та­рии и репли­ки ред­ко фор­ми­ру­ют устой­чи­вый диа­лог), сме­ше­ни­ем реги­стров обще­ния (ака­де­ми­че­ский, раз­го­вор­ный и др. сти­ли), эмо­ци­о­наль­ной насы­щен­но­стью и пр.

Обращаясь к клас­си­фи­ка­ции, пред­ло­жен­ной Л. Т. Касперовой [Касперова 2018], ком­мен­та­рии к обра­зо­ва­тель­ным бло­гам в боль­шин­стве слу­ча­ев мож­но опре­де­лить как «эмо­ци­о­наль­ный отклик» и изу­чать в логи­ке ана­ли­за тональ­но­сти, при этом сентимент-анализ пере­во­дит этот отклик в машинно-обрабатываемую фор­му, поз­во­ляя выяв­лять общие эмо­ци­о­наль­ные пат­тер­ны и стро­ить коли­че­ствен­ные моде­ли реак­ции аудитории.

Описание методики исследования

В ходе интер­вью­и­ро­ва­ния учи­те­лей и фокус-групп со школь­ни­ка­ми 9–11 клас­сов, про­жи­ва­ю­щи­ми в Новосибирске, Владивостоке и Москве, был сфор­ми­ро­ван рей­тинг обра­зо­ва­тель­ных бло­ге­ров, их акка­ун­ты вери­фи­ци­ро­ва­ны. Далее для каж­до­го бло­ге­ра были ото­бра­ны 4–5 видео наи­бо­лее попу­ляр­ных на 10.08.2023. Из это­го рей­тин­га ран­дом­но ото­бра­ны три видео с коли­че­ством ком­мен­та­ри­ев боль­ше 1 тыс.

С исполь­зо­ва­ни­ем про­грам­мы MAXQDA были загру­же­ны ком­мен­та­рии к трем ото­бран­ным обра­зо­ва­тель­ным видео. Инструментарий про­грам­мы поз­во­лил загру­зить не толь­ко ком­мен­та­рии, но и лай­ки, отмет­ки о ком­мен­та­ри­ях верх­не­го уров­ня, ID поль­зо­ва­те­лей, коли­че­ство отве­тов на ком­мен­та­рий, дату публикации.

Далее дан­ные про­шли пре­до­б­ра­бот­ку в Python с исполь­зо­ва­ни­ем биб­лио­тек NLTK (Natural Language Toolkit), а имен­но nltk.corpus.stopwords — для полу­че­ния спис­ка стоп-слов, что поз­во­ли­ло исклю­чить наи­бо­лее частые, но неин­фор­ма­тив­ные сло­ва из ана­ли­за; nltk.tokenize.word_tokenize — для токе­ни­за­ции тек­стов, т. е. раз­бив­ки строк на отдель­ные сло­ва и зна­ки пре­пи­на­ния; nltk.pos_tag — для опре­де­ле­ния частей речи (POS-тегирования), что помог­ло в даль­ней­шем ана­ли­зе и пони­ма­нии кон­тек­ста слов. Для под­сче­та коли­че­ства сло­ва в тек­сте исполь­зо­вал­ся класс Counter моду­ля Сollections. Инструмент Wordcloud исполь­зо­валcя для гене­ра­ции обла­ков слов, Matplotlib — для визу­а­ли­за­ции дан­ных и графиков.

Для клас­си­фи­ка­ции ком­мен­та­ри­ев по их эмо­ци­о­наль­но­му содер­жа­нию при­ме­ня­лась пре­до­бу­чен­ная модель BERT (Bidirectional Encoder Representations from Transformers). Необходимые клас­сы и функ­ции были импор­ти­ро­ва­ны из биб­лио­те­ки transformers, исполь­зо­вал­ся токе­ни­за­тор BertTokenizer и модель BertForSequenceClassification, а так­же модель DeepPavlov/rubert-base-cased, пре­до­бу­чен­ная на рус­ском язы­ке и пред­на­зна­чен­ная для задач клас­си­фи­ка­ции  текстов.

Анализ материалов

Набор пере­мен­ных, выгру­жен­ных при помо­щи MAXQDA, был допол­нен сле­ду­ю­щи­ми: коли­че­ство слов и сим­во­лов, раз­ных частей речи (гла­го­лов, суще­стви­тель­ных, при­ла­га­тель­ных и наре­чий), вос­кли­ца­тель­ных и вопро­си­тель­ных пред­ло­же­ний, тональ­ность. Наблюдениями высту­пи­ли отдель­ные ком­мен­та­рии. Всего в выбор­ке пред­став­ле­но 4707 ком­мен­та­ри­ев: 1127, 1096, 2484 к пер­во­му, вто­ро­му и тре­тье­му видео соответственно.

Датасет был допол­нен рас­чет­ны­ми пере­мен­ны­ми — сред­няя дли­на сло­ва и коли­че­ство дней, про­шед­ших с даты пуб­ли­ка­ции комментария.

Общие све­де­ния об иссле­ду­е­мых видео при­ве­де­ны в таб­ли­це 1.

Таблица 1. Описание харак­те­ри­стик видео

При ана­ли­зе ком­мен­та­ри­ев к видео изу­ча­лись сле­ду­ю­щие переменные:

— коли­че­ство дней пуб­ли­ка­ции (раз­ни­ца меж­ду датой опуб­ли­ко­ва­ния видео и датой созда­ния датасета);

— тональ­ность комментария;

— уро­вень комментария;

— коли­че­ство отве­тов и лай­ков к комментарию;

— дли­на ком­мен­та­рия (отно­ше­ние коли­че­ства сим­во­лов к коли­че­ству слов в комментарии);

— коли­че­ство слов и символов;

— коли­че­ство частей речи — гла­го­лы, суще­стви­тель­ные, при­ла­га­тель­ные, наречия;

— коли­че­ство вос­кли­ца­тель­ных и вопро­си­тель­ных знаков.

Целью насто­я­ще­го иссле­до­ва­ния высту­па­ет поиск зако­но­мер­но­стей (мор­фо­ло­ги­че­ских, син­так­си­че­ских и пр.) в ком­мен­та­ри­ях раз­ной тональ­но­сти, выде­ле­ние опре­де­лен­ных пат­тер­нов тональности.

Результаты исследования и их обсуждение

Для срав­не­ния ком­мен­та­ри­ев трех выде­лен­ных в ходе иссле­до­ва­ния видео, отли­ча­ю­щих­ся по тональ­но­сти, был исполь­зо­ван инстру­мент «Облако слов» (рис. 1). Количество слов было огра­ни­че­но 100 (по реше­нию авто­ров исхо­дя из сни­же­ния инфор­ма­тив­но­сти слов).

Для иссле­до­ва­ния выска­зы­ва­ний раз­ной тональ­но­сти часто выде­ля­ют клю­че­вые сло­ва. Инструмент «Облако слов» в каче­стве таких клю­че­вых слов опре­де­ля­ет наи­бо­лее частот­ные, конеч­но после исполь­зо­ва­ния всех необ­хо­ди­мых стоп-слов. Так, в пуб­ли­ка­ции китай­ских иссле­до­ва­те­лей выде­ле­ны две груп­пы слов. Первая — сло­ва с пози­тив­ной тональ­но­стью, такие как «поощ­рять», «важ­но», «вме­сте», «общий», «давай» и пр. Другая кате­го­рия — сло­ва с ней­траль­ным зна­че­ни­ем, кото­рые обыч­но исполь­зу­ют­ся при пуб­ли­ка­ции кон­струк­тив­ных ново­стей о госу­дар­ствен­ных делах, напри­мер «обра­зо­ва­ние», «сту­дент», «учи­тель», «эко­но­ми­ка», «реа­ли­зо­вать» и т. д. Слова ней­траль­ной тональ­но­сти соста­ви­ли боль­шин­ство [Li, Shi 2023].

Визуализация дан­ных наше­го иссле­до­ва­ния (рис. 1) поз­во­ля­ет в пер­вом при­бли­же­нии уви­деть фоку­си­ро­ва­ние ком­мен­та­то­ров на сда­че ЕГЭ и ОГЭ (сло­ва «проб­ник», «экза­мен», «гото­вить­ся», «сда­вать» и др.), что не слу­чай­но, ведь под­го­тов­ке к экза­ме­нам по рус­ско­му язы­ку и мате­ма­ти­ке были посвя­ще­ны пер­вые два роли­ка напря­мую, тре­тий — опо­сре­до­ван­но, так как бло­гер реко­мен­ду­ет выби­рать Python при сда­че ОГЭ и ЕГЭ по информатике.

Также мож­но рас­по­знать спе­ци­фи­че­скую лек­си­ку в тре­тьем слу­чае. Поскольку это видео о Python, в ком­мен­та­ри­ях встре­ча­ют­ся print, message и др. В нега­тив­ных ком­мен­та­ри­ях обра­ща­ет на себя вни­ма­ние боль­шая раз­ни­ца меж­ду часто­той пер­вых и послед­них слов, вошед­ших в 100 самых частот­ных, об этом гово­рит уве­ли­чен­ный кегль слов на рисун­ке. Облака слов с поло­жи­тель­ны­ми ком­мен­та­ри­я­ми вклю­ча­ют боль­шее коли­че­ство слов, напи­сан­ных уве­ли­чен­ным кег­лем. Облака слов с ней­траль­ны­ми и пози­тив­ны­ми ком­мен­та­ри­я­ми содер­жат сло­ва бла­го­дар­но­сти, оце­ноч­ные наре­чия и при­ла­га­тель­ные («про­сто», «кру­то», «хоро­ший», «боль­шой»).

Как вид­но из рисун­ка 2, доля ней­траль­ных ком­мен­та­ри­ев пре­об­ла­да­ет во всех трех видео, 56, 60 и 58 % соот­вет­ствен­но. В пер­вом видео про ОГЭ по мате­ма­ти­ке доля нега­тив­ных ком­мен­та­ри­ев (29 %) боль­ше, чем пози­тив­ных (15 %), в тре­тьем видео про Python наблю­да­ет­ся обрат­ная ситу­а­ция, пози­тив­ные (24 %) пре­об­ла­да­ют над нега­тив­ны­ми (19 %) ком­мен­та­ри­я­ми. Во вто­ром видео обна­ру­же­но прак­ти­че­ски рав­ное коли­че­ство пози­тив­ных и нега­тив­ных ком­мен­та­ри­ев. Разметка тональ­но­сти ком­мен­та­ри­ев выпол­не­на с исполь­зо­ва­ни­ем пре­до­бу­чен­ной язы­ко­вой моде­ли BERT, адап­ти­ро­ван­ной для задач сентимент-анализа.

Рассмотрим сред­ние пока­за­те­ли, харак­те­ри­зу­ю­щие ком­мен­та­рии к изу­ча­е­мым видео. Показатель «коли­че­ство дней пуб­ли­ка­ции ком­мен­та­рия» в 2,3–2,5 раза выше в пер­вом и тре­тьем видео — 907,3 и 984,4 дней соот­вет­ствен­но отно­си­тель­но вто­ро­го (390,5 дней). Это может сви­де­тель­ство­вать не столь­ко о росте тра­фи­ка в целом, сколь­ко о дол­го­вре­мен­ной акту­аль­но­сти и устой­чи­вом инте­ре­се ауди­то­рии к дан­ным мате­ри­а­лам. Такие зна­че­ния ука­зы­ва­ют на воз­мож­ную поис­ко­вую зна­чи­мость кон­тен­та и его спо­соб­ность вовле­кать новых зри­те­лей спу­стя зна­чи­тель­ное вре­мя после пуб­ли­ка­ции. Это под­твер­жда­ет рису­нок 3, пока­зы­ва­ю­щий дина­ми­ку ком­мен­та­ри­ев по квар­та­лам (берут­ся дан­ные по сре­дин­но­му меся­цу) начи­ная с меся­ца пуб­ли­ка­ции видео на кана­ле. Если рас­це­ни­вать пуб­ли­ка­цию ком­мен­та­ри­ев как кри­те­рий попу­ляр­но­сти видео, то оче­вид­но, что вто­рое видео про уда­ре­ния устой­чи­во удер­жи­ва­ет инте­рес поль­зо­ва­те­лей. Первое видео про ОГЭ по мате­ма­ти­ке после появ­ле­ния на кана­ле «Дядя Артем | Математика ОГЭ | 100балльный» вызва­ло бур­ное ком­мен­ти­ро­ва­ние, пре­вы­сив­шее по сво­им зна­че­ни­ям коли­че­ство ком­мен­та­ри­ев по двум дру­гим видео, но потом ком­мен­ти­ро­ва­ние пошло на спад. Пользователи ста­ли остав­лять к нему мень­ше ком­мен­та­ри­ев, чем к видео про Python, появив­ше­е­ся на YouTube гораз­до раньше.

Анализ коли­че­ства ком­мен­та­ри­ев к видео за весь пери­од пуб­ли­ка­ции поз­во­ля­ет выде­лить всплес­ки в каж­дой выбор­ке, начи­на­ю­щи­е­ся с янва­ря и для­щи­е­ся до кон­ца вто­ро­го квар­та­ла у пер­во­го и вто­ро­го видео (рис. 4). В тре­тьем видео про Python уве­ли­че­ние чис­ла ком­мен­та­ри­ев начи­на­ет­ся с янва­ря 2020 г. и спа­да­ет в янва­ре 2023 г. Графики дина­ми­ки коли­че­ства ком­мен­та­ри­ев пер­во­го и вто­ро­го видео похо­жи по пери­о­дам мак­си­маль­ных точек, так как оба кон­тен­та име­ют пря­мое отно­ше­ние к экза­ме­нам. Актуальность тре­тье­го видео из-за его тема­ти­ки не так зави­сит от «сезон­но­сти».

Рис. 4. Распределение коли­че­ства ком­мен­та­ри­ев за 2023 г. в трех видео

Во вто­ром видео в сред­нем боль­ше отве­тов (0,57) на ком­мен­та­рии и лай­ков (30,98) к ком­мен­та­ри­ям (для срав­не­ния: в пер­вом видео сред­нее коли­че­ство отве­тов 0,39, в тре­тьем сред­нее коли­че­ство лай­ков — 6,46), т. е. ком­мен­та­рии вызы­ва­ют боль­ше эмо­ци­о­наль­ных откли­ков поль­зо­ва­те­лей. Стоит обра­тить вни­ма­ние на доволь­но кре­а­тив­ное оформ­ле­ние кон­тен­та — в виде рэпа про уда­ре­ния. Средняя дли­на сло­ва боль­ше в ком­мен­та­ри­ях к тре­тье­му видео (6,8 зна­ков), что может гово­рить о более слож­ных рече­вых выска­зы­ва­ни­ях. В пер­вом и вто­ром видео, наобо­рот, более корот­кие ком­мен­та­ри­ях со сред­ней дли­ной сло­ва — 5,7 и 5,9 зна­ков соот­вет­ствен­но. Идея исполь­зо­ва­ния рас­пре­де­ле­ния сред­ней дли­ны сло­ва для ана­ли­за тек­сто­вой слож­но­сти обсуж­де­ний по теме устой­чи­во­сти была пред­ло­же­на T. Андерсон и соав­то­ра­ми. Короткие сло­ва могут ука­зы­вать на более про­стое и пря­мо­ли­ней­ное обще­ние, в то вре­мя как боль­шая сред­няя дли­на сло­ва может сви­де­тель­ство­вать о тех­ни­че­ских или спе­ци­а­ли­зи­ро­ван­ных обсуж­де­ни­ях [Anderson, Sarkar, Kelley 2024]. В нашем слу­чае это пред­по­ло­же­ние под­твер­жда­ет­ся, так как в ком­мен­та­ри­ях к тре­тье­му видео, посвя­щен­но­му про­грам­ми­ро­ва­нию на Python, наблю­да­ет­ся пре­об­ла­да­ние более длин­ных слов. Средняя дли­на сло­ва пред­став­ля­ет собой сред­нее коли­че­ство сим­во­лов, при­хо­дя­щих­ся на сло­во в тек­сте. Вычисление это­го пока­за­те­ля может быть полез­ным для оцен­ки слож­но­сти тек­ста и уров­ня его тех­ни­че­ской детализации.

На рисун­ке 5 визу­а­ли­зи­ро­ва­но рас­пре­де­ле­ние сред­них зна­че­ний коли­че­ства слов и отдель­ных частей речи в ком­мен­та­ри­ях к трем иссле­ду­е­мым видео. Комментарии ко вто­ро­му видео отли­ча­ют­ся мень­шим коли­че­ством слов в целом и слов, отно­ся­щих­ся к отдель­ным частям речи в частности.

Корреляционный ана­лиз трех видео пока­зал осо­бен­но­сти свя­зей пере­мен­ных, хотя во всех выяв­лен­ных слу­ча­ях они носят сла­бо­вы­ра­жен­ный харак­тер. В пер­вом видео обна­ру­же­ны зна­чи­мые пря­мые свя­зи вос­кли­ца­ний с коли­че­ством слов (0,147 при p < 0,001) и частя­ми речи в ком­мен­та­ри­ях: гла­го­ла­ми (0,143 при p < 0,001), суще­стви­тель­ны­ми (0,127 при p < 0,001), при­ла­га­тель­ны­ми (0,111 при p < 0,01) и наре­чи­я­ми (0,152 при p < 0,001).

Примеры ком­мен­та­ри­ев²:

…слу­чай­но наткнул­ся на видео, но как уча­щий­ся 2го кур­са тех­ни­че­ско­го вуза хочу ска­зать тебе, мой доро­гой 9ти класс­ник или ты уже в этом году сда­ешь егэ, все эти экза­ме­ны, это такая лег­кот­ня, ска­жу из лич­но­го опы­та, я столь­ко нер­вов потра­тил на эти экза­ме­ны, столь­ко все­го упу­стил, конеч­но, гото­вить­ся без­услов­но нуж­но, но ОГЭ, это такая фиг­ня, поверь мне! учась в тех­ни­че­ском вузе нам так, «повез­ло», что мы не можем сдать исто­рию, пото­му, что пре­под кон­чен­ный, и чуть ли не весь поток отчис­ли­ли из за того, что мы ходи­ли по 8 раз на пере­сда­чи, и с этим пре­по­до­ва­те­лем ниче­го не сде­ла­ешь. сколь­ко бы ты не учил, а там реаль­но мно­го, ты не сдашь. я луч­ше бы еще раз сдал ЕГЭ, чем 9ый раз ходил на пере­сда­чу к этой дуре. и помни! в вузе заче­ты и 4 экза­ме­на мини­мум, по всем пред­ме­там, кото­рые были у тебя в этом семест­ре! так, что сей­час, спо­кой­но готовь­ся, надо быть иди­о­том, что бы не сдать ОГЭ или ЕГЭ, готовь­ся и насла­ждай­ся жизнью!)))))

В дан­ном ком­мен­та­рии содер­жит­ся 4 вос­кли­ца­ния, 20 гла­го­лов, 30 суще­стви­тель­ных, 8 при­ла­га­тель­ных и 6 наречий.

Боже, год назад попа­лись эти сра­ные шины! Я набрал 2 бала по гео­мет­рии! Всего я сде­лал 11 балов а вме­сте 14 без 2 части и пер­вых 5 зада­ний (ну кро­ме 1)

В дан­ном ком­мен­та­рии — 2 вос­кли­ца­ния, 3 гла­го­ла, 8 суще­стви­тель­ных, 2 при­ла­га­тель­ных, 2 наречия.

Во вто­ром видео обна­ру­же­ны свя­зи вос­кли­ца­ний и вопро­сов с дли­ной сло­ва в ком­мен­та­рии, 0,152 и 0,161 при p < 0,001 соот­вет­ствен­но. Также обна­ру­же­ны свя­зи вос­кли­ца­ний с коли­че­ством слов, гла­го­лов и при­ла­га­тель­ных 0,145, 0,149 и 0,166 при p < 0,001, соответственно.

В тре­тьем видео вос­кли­ца­ния свя­за­ны с дли­ной ком­мен­та­рия, коли­че­ством при­ла­га­тель­ных и наре­чий, 0,110 при p < 0,01, 0,144 и 0,251 при p < 0,001.

При выгруз­ке посред­ством MAXQDA оцен­ки были раз­де­ле­ны на ком­мен­та­рии верх­не­го уров­ня и отве­ты на них. Как «верх­ний уро­вень» опре­де­ля­ют­ся пер­вые ком­мен­та­рии, остав­ля­е­мые под видео поль­зо­ва­те­ля­ми. Количество отве­тов и лай­ков к ком­мен­та­рию ука­зы­ва­ют на сте­пень его популярности.

Рассмотрим частот­ное рас­пре­де­ле­ние ком­мен­та­ри­ев раз­но­го уров­ня по типам их тональ­но­сти (рис. 6). Частотный ана­лиз тональ­но­сти ком­мен­та­ри­ев в отве­тах и верх­нем уровне пока­зал, что доля ней­траль­ных пре­об­ла­да­ет: 26 и 32 % соответственно.

Если не при­ни­мать во вни­ма­ние ней­траль­ные оцен­ки, то мож­но заме­тить, что в ком­мен­та­ри­ях верх­не­го уров­ня доля пози­тив­ных (16,2 %) выше, чем доля нега­тив­ных (11,3 %). В ком­мен­та­ри­ях по типу «отве­ты», наобо­рот, доля нега­тив­ных (10,1 %) выше, чем пози­тив­ных (4,4 %). Последнее, веро­ят­но, свя­за­но с обще­ни­ем поль­зо­ва­те­лей меж­ду собой, в том чис­ле с хейтом.

Исследуем далее отли­чия пози­тив­ных и нега­тив­ных ком­мен­та­ри­ев с помо­щью кри­те­рия Манна-Уитни³. От ней­траль­ных ком­мен­та­ри­ев было реше­но отка­зать­ся, так как они соче­та­ют в себе осо­бен­но­сти двух дру­гих групп тональ­но­сти и не име­ют ста­ти­сти­че­ски зна­чи­мых отли­чий в раз­ре­зе трех рас­смат­ри­ва­е­мых видео.

У пози­тив­ных и нега­тив­ных ком­мен­та­ри­ев не обна­ру­же­ны зна­чи­мые раз­ли­чия по пара­мет­рам «отве­ты», «коли­че­ство дней публикации».

При этом пози­тив­ные и нега­тив­ные ком­мен­та­рии зна­чи­мо отли­ча­ют­ся — по коли­че­ству слов, их сред­ней длине, исполь­зу­е­мым частям речи, вос­кли­ца­ни­ям и вопро­сам в их содер­жа­нии (p < 0,001, кри­те­рий Манна-Уитни). Позитивные ком­мен­та­рии чаще дру­гих полу­ча­ют лай­ки, при этом они более корот­кие по длине (коли­че­ство слов и сим­во­лов), в них мень­ше гла­го­лов и суще­стви­тель­ных, но боль­ше наре­чий, а так­же вос­кли­ца­тель­ных кон­струк­ций, сло­ва в сред­нем более длин­ные. В нега­тив­ных ком­мен­та­ри­ях, наобо­рот, выше сред­ние зна­че­ния коли­че­ства слов, в том чис­ле гла­го­лов, суще­стви­тель­ных, а так­же вопро­си­тель­ных конструкций.

Рассмотрим кор­ре­ля­ции меж­ду раз­ны­ми пара­мет­ра­ми внут­ри двух набо­ров ком­мен­та­ри­ев — пози­тив­но­го и нега­тив­но­го. Используем коэф­фи­ци­ент Спирмена, так как дан­ные не име­ют нор­маль­но­го рас­пре­де­ле­ния (табл. 2).

Помимо оче­вид­ной свя­зи меж­ду коли­че­ством отве­тов и коли­че­ством лай­ков, обна­ру­же­ны свя­зи коли­че­ства отве­тов к ком­мен­та­рию с коли­че­ством слов и частя­ми речи: гла­го­лом и суще­стви­тель­ным. На пози­тив­ные ком­мен­та­рии с бóль­шим содер­жа­ни­ем суще­стви­тель­ных и гла­го­лов поль­зо­ва­те­ли чаще дают ответы.

Таблица 2. Матрица кор­ре­ля­ций в выбор­ке ком­мен­та­ри­ев с пози­тив­ной тональностью