Разработка AI-системы сентимент-анализа финансовых новостей

Почему сентимент-анализ финансовых новостей ломается на живом потоке

Живая лента устроена не так, как размеченный набор для обучения. Одно и то же событие приходит несколькими редакциями, а рядом с сухим фактом стоит колонка аналитика, где та же цифра подана с оценкой. Если сентимент-анализ финансовых новостей читает весь текст сразу, модель сглаживает разницу между событием и его трактовкой — и оценка тональности начинает отражать мнение автора, а не положение дел.

Внутри новости почти всегда есть чужие голоса: цитата брокера, комментарий регулятора, отсылка к прошлому прогнозу. Отрицание внутри цитаты перевешивает сам факт, а заголовки с иронией ломают словарные признаки: формально положительные слова несут обратный сигнал. Без отдельного слоя проверки такие материалы уходят в поток непрочитанными.

Дальше подключаются шум в новостной ленте и задержка поступления новостей. Одно событие выходит десятками перепечаток с разной тональностью, и поток перекашивается в сторону того, кто продублировал быстрее, а не точнее. Если лента доходит с лагом, сигнал опирается на уже отыгранное движение — раннего предупреждения не получается.

Качество разметки тональности — корень всех этих сбоев. Разметчики расходятся на спорных материалах, а метки часто ставят по заголовку, не читая тело, и модель уверенно воспроизводит эту ошибку на живых данных. Показатели на аккуратной выборке при этом остаются высокими, поэтому сбой всплывает уже в работе. Разбираем, как это закрывается.

Эффект от системы оценки тональности: что меняется

Скорость реакции на рыночные события измеряется не временем счёта модели, а отрезком от публикации до готового сигнала в очереди. Лента проходит через конвейер с приоритетами — сперва биржевые объявления и заголовки профильных изданий, затем остальной поток, — и аналитик видит оценку в первые минуты после выхода новости вместо получаса ручного чтения.

Доля автоматической обработки новостей — показатель, по которому видно, окупилась ли система. Основная масса публикаций проходит без ручного вмешательства, на разбор остаются пограничные случаи: короткие заметки без контекста, сарказм, пересказ чужих прогнозов. Эти примеры уходят в очередь доразметки и становятся обучающей выборкой для следующей итерации модели.

Снижение ручной разметки высвобождает аналитиков под интерпретацию, а не сортировку: вместо проставления эмоциональной окраски вручную команда проверяет аномалии и расхождения между сигналом и фактической реакцией рынка.

Устойчивость к ложным сигналам держится на пороге уверенности: если модель колеблется между нейтральной и негативной оценкой, сигнал не уходит как торговый, а помечается требующим проверки. Отдельно снимается класс ошибок на перепечатках — дедупликация схлопывает дубли одной новости до единственного события, и всплеск тональности не размножается по всему потоку.

Контуры обработки: сравнение подходов и режимов

Новостной поток неоднороден: агентства дают сжатые заголовки, аналитики — длинные тексты с оговорками, регулятор — формулировки, где тональность меняется от одного слова. Поэтому контур выбирают не по модели, а по границе данных и допустимой задержке: пакетная обработка по расписанию или потоковая обработка новостей по мере публикации.

На практике устойчивый результат даёт связка: отраслевая модель, дообученная на вашем архиве, плюс правила для формулировок, которые статистика путает. Разметку отраслевой лексики и переобучение ведут внутри закрытого контура обработки данных — словарь и веса не покидают ваш периметр, а потоковая обработка новостей идёт без остановки сбора.

Как устроен проект: этапы инженерной работы

Работу разбиваем на этапы с проверяемым результатом на каждом — заказчик видит, где находится проект и что именно можно принять частично. Порядок не случаен: пока не зафиксирована схема разметки, обучение модели превращается в перебор гипотез без критерия остановки.

1. Аудит источников новостей. Разбираем, какие ленты, биржевые сводки, аналитические обзоры и пресс-релизы реально попадают в поток: доступность, регулярность, язык, дубли, задержку публикации. На выходе — перечень источников с оценкой пригодности и правилом приоритета при расхождении оценок.
2. Схема разметки тональности. Задаём шкалу, правила для смешанных новостей и учёт субъекта — тональность компании и тональность рынка в одном тексте расходятся. Фиксируем словарь маркеров и инструкцию, по которой разные разметчики приходят к согласованному результату.
3. Сбор и подготовка данных. Снимаем архив публикаций, чистим от дублей и нерелевантных рубрик, приводим к единому формату. Обучающую и контрольную части разделяем по времени без пересечения периодов — иначе оценка качества окажется завышенной.
4. Разметка и обучение. Переносим схему на реальные тексты, разбираем спорные случаи, обучаем модель и настраиваем порог срабатывания под требования заказчика.
5. Проверка на контрольной выборке. Считаем точность по классам, отдельно смотрим новости с иронией, отрицаниями и цитатами. Системный провал возвращает нас на шаг к разметке, а не к переобучению вслепую.
6. Приёмка качества модели. Целевые показатели согласуем до старта, затем сравниваем с ними результат и показываем поведение на данных, сдвинутых по времени вперёд.
7. Передача и регламент сопровождения. Отдаём документацию по разметке, воспроизводимый конвейер, инструкцию по дообучению и порядок мониторинга дрейфа тональности с обновлением словаря.

Артефакты проекта: модели, схемы разметки, регламенты

Ценность проекта сентимент-анализа определяется не демонстрацией, а тем, что физически остаётся в контуре заказчика после сдачи. Все артефакты передаём в ваш репозиторий с историей изменений и описанием, чтобы запуск модели и дообучение не зависели от нас.

• Обученная модель и веса — запускается в контейнере с зафиксированными зависимостями: воспроизводимый результат на новых данных без пересборки окружения.
• Схема разметки и словари — правила аннотации со спорными примерами, словари финансовой тональности, списки тикеров, отрицаний и модальных конструкций: разметка остаётся согласованной при расширении корпуса.
• Отчёт о качестве — метрики на отложенной выборке по каждому классу, матрица ошибок и разбор ложных срабатываний на отчётности компаний и коротких заголовках.
• Интеграционные спецификации — контракты обмена с внутренними системами, форматы сообщений, правила повторов и поведение при недоступности источника.
• Политики доступа к данным — роли, разграничение по источникам и журналирование запросов: работу с чувствительными данными подтверждают журналы, а не договорённости.
• Регламенты эксплуатации — мониторинг дрейфа качества, окно дообучения, процедура отката на предыдущую версию модели.
• Инструкции для аналитиков — как читать оценку тональности, пороги уверенности и что делать в нейтральной зоне.

На приёмке проходим по списку построчно: каждый пункт должен работать у вас без нашего участия.

Кейс: поток отраслевых новостей для аналитического отдела

До внедрения поток отраслевых новостей разбирали вручную: четыре аналитика по очереди просматривали выпуски, комментарии брокеров и заметки профильных изданий. Лента давала несколько сотен публикаций в сутки, поэтому за смену успевали прочитать около трети — остальное уходило в архив, и значимые события иногда всплывали только на следующий день, когда реакция уже теряла смысл.

Сначала мы собрали разметку вместе с аналитиками: корпус публикаций с четырьмя классами тональности и отдельной меткой неопределённости для случаев, где формулировка не даёт однозначного вывода. Модель обучили на отраслевой лексике и связали с потоком: публикация ниже порога уверенности не идёт в сигнал, а попадает в очередь ручного разбора — так отдел видит зоны сомнений и пополняет разметку.

Контроль качества держим на самом потоке Dow Jones Newswires: каждую неделю аналитики вслепую размечают выборку, расхождения возвращаются в дообучение. Доля спорных публикаций снизилась, и отдел переключился с чтения ленты на разбор причин — сигнал приходит раньше, а решение по позиции обсуждается по существу, а не по факту вчерашней новости.

Что делать, если поток новостей неоднороден по языкам и форматам?

Единый классификатор на все случаи здесь не работает: маршрутизация строится на входе, до модели тональности. Сначала публикация проходит определение языка и жанра, и только потом попадает в свою ветку обработки — с отдельным словарём, разметкой и набором признаков.

Жанр в спорных случаях важнее языка. Биржевая сводка, пресс-релиз, аналитическая колонка и расшифровка эфира дают разную плотность оценочной лексики: в сводке её почти нет, в колонке — половина текста. Если смешать их в одном потоке, модель начнёт выдавать нейтральное за эмоциональное и наоборот.

Маршрутизация по источникам задаётся таблицей правил: для каждой ленты прописаны язык, жанр, периодичность и вес при конфликте сигналов. Один релиз, разошедшийся на трёх языках, склеивается в общую запись с единым идентификатором — сигнал не удваивается, а перевод не считается отдельным событием.

Порог ручной проверки — не константа, а калибруемая граница. В очередь на разбор уходит то, где уверенность модели ниже порога или языки смешаны внутри одного текста: аналитик проверяет, а его правки возвращаются в обучающую выборку. Порог двигают по доле ручных разборов — если она растёт, растёт и нагрузка на аналитиков.

Контроль держится на трёх числах: доля автоматически разобранных публикаций, точность отдельно по каждому языку и распределение уверенности по жанрам. Просадка по одному языку при общей норме — сигнал, что пора дообучать модель, а не поднимать порог.

Технические сомнения: качество, разметка, поддержка модели

Сомнения по качеству обычно касаются не средней точности, а узких мест: сарказм в комментариях аналитиков, цитаты и пересказ чужих слов, отраслевая лексика вроде «шорт-сквиз» или «инверсия кривой». Мы проверяем такие места отдельными наборами примеров, а не одной усреднённой метрикой по всей выборке — иначе редкие классы размываются на фоне нейтральных новостей.

Ниже — то, о чём чаще всего спрашивают на приёмке. Для каждого пункта указано, как проверяется устойчивость результата и что именно передаётся вместе с моделью.

Что с цитатами и пересказом чужих слов?

Границы цитаты определяются до классификации, тональность приписывается источнику высказывания, а не автору новости. В отчётности эти оценки разделены, поэтому резкое слово в интервью не искажает тон самого материала.

Как контролируется разметка обучающего набора?

Спорные фрагменты размечают двое, расхождения выше порога уходят к аналитику. Ведём журнал решений и пересматриваем правила по мере появления новых формулировок — согласованность разметчиков измеряется до старта обучения.

Как учитывается отраслевая лексика?

Словари терминов и сокращений обновляются вместе с источниками, редкие обороты проверяются на отдельном наборе. Разметку ведём в Label Studio внутри изолированного контура, поэтому чувствительные данные не покидают периметр.

Закрытый контур — это обязательно?

Да, если новости или сделки не должны уходить наружу: обучение, вывод и хранение разметки работают внутри инфраструктуры заказчика, внешние сервисы не вызываются. Обновление моделей идёт тем же путём, что и обычные релизы.

Что происходит с переобучением после передачи?

Фиксируем эталонный набор и базовую версию модели, описываем регламент переобучения и условия отката на предыдущую версию. Команда заказчика может обновлять модель сама, мы подключаемся на изменениях словарей и правил разметки.

Обсудим вашу задачу оценки тональности и объём данных

Предметный разговор об оценке тональности начинается не с выбора модели, а с описания корпуса и режима работы сигнала. Чем точнее видно, из чего складывается поток публикаций и как быстро нужна метка, тем меньше допущений закладываем в оценку и план работ.

Что стоит подготовить к обсуждению задачи оценки тональности:

• Примеры публикаций — 30–50 реальных текстов, среди них однозначные и спорные: на них фиксируем разметку и порог срабатывания.
• Список источников публикаций: ленты агентств, каналы компаний, отраслевые рассылки, выгрузки аналитиков — с форматом подачи (xml, html, pdf) и языком по каждому.
• Требования к задержке сигнала: от появления новости до готовой метки. Минуты требуют потоковой обработки, часы допускают разбор пачками.
• Ограничения по контуру обработки: допустимы ли внешние сервисы или расчёт идёт внутри вашего контура, где хранятся тексты и логи, у кого есть доступ.
• Глубина исторического среза: за какой период нужна разметка архива, чтобы сопоставить метки с фактической динамикой рынка.
• Состав принимающей команды: кто отвечает за источники, кто валидирует разметку, кто принимает результат.
• Критерий приёмки: доля верных меток на спорных примерах, воспроизводимость при повторном прогоне, поведение на шумном тексте.

Если часть данных закрыта — не откладывайте разговор: работаем с тем, что есть, остальное фиксируем как условие запуска. Опишите задачу и пришлите примеры публикаций — вернёмся с оценкой, планом и составом метрик.