Публикации автора

Авторы представляют практическое исследование особенностей заказных отзывов, которые упоминаются маркетологами и другими экспертами. Из-за обилия заказных отзывов на маркетплейсах доверие потребителей падает не просто к продавцу или площадке, но к самому жанру. В работе представлены результаты автоматической классификации отзывов с российских маркетплейсов на потенциально заказные и честные при помощи моделирования признаков, которые эксперты называют признаками заказного отзыва (наличие шаблонных слов, восклицательных знаков, эмодзи, положительная тональность), и алгоритмов машинного обучения. Для решения поставленной задачи был собран корпус с российских маркетплейсов Wildberries и «Мегамаркет» объемом 6 288 текстов. В качестве целевой переменной (предсказываемого класса) выступает соотношение лайков и дизлайков, поставленных отзыву другими покупателями. Лучший результат демонстрирует метод опорных векторов SVM (англ. support vector machine) в бинарной классификации на отзывы с низким и высоким рейтингом (без нейтральных). Модель классификации подтверждает, что формальные признаки, выделяемые экспертами как указывающие на заказные отзывы, действительно имеют предсказательный потенциал. Качество модели снижают дисбаланс в классах и недостаточное количество отзывов с реакциями покупателей в нашем корпусе, что оставляет задел для дальнейшей работы.

С точки зрения теории текстовых миров (Text World Theory), в нарративах содержатся элементы (указания времени, места, персонажей и др.), которые можно выявлять автоматически и сравнивать на их основе версии событий и схожие сюжеты. Мы разметили корпус сказок и коротких рассказов TextWorlds и обнаружили, что читатели не всегда согласны в том, указывает ли то или иное слово на персонажа, время или место действия. Цель исследования - установить степень согласованности читателей относительно положения этих нарративных категорий в тексте. Практическая задача исследования заключается в оценке надежности разметки, которая будет использоваться для обучения алгоритмов выявлению текстовых миров автоматически. Научная новизна заключается в том, что мы изучаем именно степень согласованности, в то время как в других работах согласованность рассматривается как нечто само собой разумеющееся, и если читатели не согласны друг с другом, то это воспринимается как ошибка одного из читателей или процедуры разметки. В статье мы представляем результаты двух метрик согласованности экспертов: процент согласия и альфа Криппендорфа. Полученные результаты для этих метрик показывают, что согласованность относительно разных элементов варьируется в зависимости от произведения и иногда достигает среднего уровня, достаточного для того, чтобы говорить о надежности разметки.