Розробка NLP-моделі для аналізу крипто-новин

NLP-модель крипто-новин: де ламається ручний розбір

Стрічка публікацій про цифрові активи зростає швидше, ніж штат аналітиків. За добу надходять сотні повідомлень: біржові оголошення, регуляторні документи, оновлення мереж, обговорення в закритих каналах.

Один фахівець встигає розібрати лише частину потоку — і то за умови, що не витрачає час на звірку джерел.

Передруки й дублі з'їдають половину цього часу. Та сама новина надходить від десятка видань із різними заголовками й без посилання на першоджерело, тому аналітик витрачає сили на зіставлення, а не на оцінку впливу події на ринок.

До кінця зміни накопичується втома аналітика: падає увага до формулювань, зростає частка пропущених деталей — уточнення в примітці, зміни у статусі документа, застереження в коментарі регулятора.

Ціна такого режиму — затримка сигналу ринку. Поки публікація проходить ланцюжок «знайшов, звірив, оцінив, передав», вікно, у якому подія ще не відіграна, закривається, і рішення ухвалюється за ціною, що вже врахувала новину.

Зворотна крайність теж погана: спроба читати все швидше знижує точність розмітки, і в стрічку потрапляють хибні спрацювання.

Ручний розбір публікацій масштабується лише людьми, а потік зростає нелінійно — у дні високої волатильності він зростає кратно за години. Саме на цьому розриві між обсягом і швидкістю втрачається те, заради чого стрічка взагалі збирається.

Розбираємо, як це закривається: що NLP-модель крипто-новин бере на себе, де залишається людина й як виміряти, що сигнал доходить до рішення вчасно.

Що дає автоматичний розбір потоку публікацій

Модель читає стрічку безперервно, тому сигнал про значущу подію з'являється за хвилини після виходу публікації, а не до ранку наступного дня. Аналітик отримує вже розібраний матеріал: що сталося, про яку монету чи проєкт ідеться, наскільки різко змінився тон повідомлень.

Швидкість реакції стає передбачуваною — вона залежить від розкладу опитування джерел, а не від того, хто сьогодні на зміні.

Повнота обробки стрічки перестає залежати від людської уваги.

Ручний перегляд десятка каналів закриває приблизно десяту частину потоку, тоді як автоматичний розбір доводить покриття майже до всієї стрічки: відсіюються дублі, передруки й відвертий шум, а значущі матеріали залишаються.

Частка пропущених значущих подій при цьому падає кратно — саме на пропусках зазвичай і втрачаються гроші та час.

Тональність оцінюється не за однією гучною публікацією, а за сукупністю повідомлень за вікно спостереження. Сплеск негативу щодо конкретної монети видно за частотою та силою сигналів, що дає змогу відрізнити поодинокий випад від зміни настрою ринку.

Той самий механізм показує, коли новина розганяється вторинними переказами, а коли сходить нанівець.

Виділення сутностей прив'язує кожну подію до монет, бірж, проєктів, регуляторів і персон. З'являються фільтри за тикером і темою замість ручного гортання, а за ланцюжком згадок видно, як одна новина розходиться джерелами. Для аналітика це означає перехід від пошуку до тлумачення.

Ручні помилки знижуються завдяки однаковій розмітці: та сама логіка застосовується до кожної публікації, без утоми й зсуву уваги. Спірні випадки з низькою впевненістю моделі йдуть на перевірку людині за заданим порогом, решта розбирається автоматично.

Правило розмітки й поріг можна змінювати під задачу — важливі для вас теми отримують чутливіший режим.

Способи побудови: правила, готова основа, навчання з нуля

Три інженерні шляхи відрізняються не стільки точністю, скільки обсягом роботи з даними та ціною помилки на нових текстах.

Словникові правила збираються за лічені дні: список тикерів, термінів і модальних конструкцій на кшталт «делістингу» чи «зламу» з вагами.

Класифікатор повністю прозорий — будь-яке спрацювання пояснюється правилом, — але на перефразованих новинах точність класифікації просідає, а словник доводиться вести й чистити вручну.

Донавчання готової основи закриває більшість задач: відкрита мовна основа Hugging Face і кілька тисяч розмічених прикладів дають стійке розділення зростання й падіння, новини й аналітики.

Головне обмеження — зсув основи на загальних текстах: крипто-сленг і абревіатури вона не розрізняє, тому розмітка даних має рівномірно покривати джерела й тональності.

Власна розмітка потрібна там, де важливі тонкі сигнали — іронія, сарказм, відсилання до минулих подій. Корпус збирається довше, зате стеля точності вища, а модель не залежить від чужих ваг і їхніх ліцензій.

На практиці ми починаємо зі словникових правил як базової лінії — вона дає метрику, з якою порівнюються інші варіанти, — і переходимо до донавчання, коли цієї точності перестає вистачати.

Етапи роботи: від аудиту даних до передавання контуру

Якість NLP-моделі крипто-новин задається не архітектурою, а дисципліною перших кроків: якщо джерела не розібрані, а схема міток розмита, донавчання результат не витягне. Тому йдемо послідовно й фіксуємо артефакт на кожному етапі.

1. Аудит джерел. Збираємо реальний потік: стрічки видань, канали, аналітичні замітки, оголошення бірж. Рахуємо частку дублів, рекламних вставок і автоматичних публікацій — від цього залежить, чи потрібна передфільтрація до подавання в модель.

2. Схема розмітки. Фіксуємо мітки — тональність, актив, тип події, чутка чи підтверджений факт — і правила для спірних випадків. Розмітники мають давати згоду вище заданого порогу, інакше мітку переформульовуємо.

3. Навчання основи. Беремо відкриту мовну модель і донавчаємо на розміченому корпусі. Окремо опрацьовуємо словник тикерів, жаргону й транслітерацій: без нього модель плутає позначення активів зі звичайними словами.

4. Перевірка якості. Оцінюємо на відкладеній вибірці, розбитій за часом: навчаємо на минулому, перевіряємо на пізніших новинах. Дивимося метрики за кожним класом, а не лише загальну — рідкісні події важливіші за часті.

5. Упровадження. Підключаємо модель до потоку новин, ставимо відсікання дублів і поріг впевненості, нижче якого сигнал іде людині. Вимірюємо затримку від публікації до готової оцінки.

6. Передавання контуру. Віддаємо документацію щодо міток, ваги моделі, скрипти перенавчання й регламент контролю зсуву даних — із зазначенням, коли запускати повторне навчання.

Артефакти проєкту: розмітка, ваги, регламент оновлення

Передаємо не звіт про роботу, а комплект, за яким ваша команда зможе експлуатувати модель і оновлювати її без нас. Те, що у вас уже є, не дублюємо — склад фіксуємо на старті.

• Розмічений корпус — новинні тексти з розміткою за класами впливу та значущості події плюс правила розмітки й спірні приклади. Це і навчальна вибірка, і еталон для перевірки наступних версій.
• Навчена основа — ваги моделі та словник із правилами розбиття тексту, конфігурація навчання із зафіксованими параметрами. Повторний прогін відтворюваний: результат не залежить від того, хто запускає навчання.
• Схема виклику сервісу — контракт запиту й відповіді, приклади звернень, поведінка на неповних або битих даних, ліміти за частотою. За нею модель підключається до потоку новин без переписування логіки.
• Перевірний набір із метриками — відкладені приклади з очікуваними відповідями та порогові значення точності. Прогін за ним показує, чи погіршилася модель після донавчання.
• Документація — опис шляху сигналу від збору джерел до запису у вашу систему, слабкі місця й на що дивитися за відхилень. Новий інженер розбирається за нею без дзвінків із нами.
• Регламент оновлення — періодичність донавчання, вимоги до свіжої розмітки, критерії приймання нової версії та умови повернення до попередньої. Ролі й точки погодження прописані, щоб оновлення не залишилося разовою кампанією.

Кейс: розбір новинного потоку прискорився в рази

Аналітична група розбирала потік крипто-новин вручну: біржові оголошення, регуляторні рішення, повідомлення про злами й делістинги надходили з десятків джерел, включно з CoinDesk і профільними каналами.

Один аналітик встигав розмітити близько 300 матеріалів за зміну, а пікові дні давали до 900 — частина стрічки залишалася непереглянутою, і сигнал надходив із затримкою в кілька годин.

Ми почали з корпусу: вивантажили історію публікацій за півтора року й розмітили близько 12 тисяч матеріалів за класами подій — злам, лістинг, регуляторика, делістинг, партнерство.

NLP-модель навчили на класифікацію подій, вилучення сутностей (монета, біржа, регулятор) і оцінку тональності. Окремо налаштували поріг впевненості: усе, що нижче, іде в чергу на ручну перевірку, а не в стрічку сигналів.

Після впровадження потік проходить попередню обробку за хвилини. Частка матеріалів, розібраних без участі людини, зросла до 82%, а ручна робота скоротилася до спірних випадків — 60-80 публікацій на добу замість 300. Повнота за рідкісними класами, які раніше губилися в пікові дні, піднялася з 0,6 до 0,93.

Перевірка на практиці йшла паралельно з ручним розбором: місяць модель і аналітики обробляли той самий потік, розбіжності розбирали й додавали в навчальну вибірку.

Точність за ключовими класами подій вийшла на 0,9 і вище, а затримка між публікацією та сигналом скоротилася з годин до кількох хвилин.

Чим відрізняється донавчання готової основи від навчання з нуля?

Обидва підходи починаються з корпусу текстів і розмітки.

Різниця в тому, де проходить межа «свого»: за донавчання модель спирається на мовні закономірності, вивчені на величезних масивах, і ми додаємо до них крипто-специфіку; за навчання з нуля ці закономірності будуються лише з ваших даних.

Донавчання готової основи — базовий варіант. Беремо відкриту мовну модель (сімейство RuBERT), доповнюємо шаром під нашу задачу й навчаємо на вибірці в кілька тисяч розмічених новин: тональність, згадки тикерів і бірж, тип події.

Термін виходу в роботу — тижні, а метрики за кожним класом видно ще до того, як корпус розмітки встигне вирости.

Навчання з нуля потрібне, коли підмова далека від того, що модель бачила: трансліт тикерів, абревіатури бірж, емодзі-сигнали, іронія в коментарях.

Тут потрібен власний словник, сотні тисяч нерозмічених документів і десятки тисяч розмічених — інакше модель згладить саме рідкісні класи, заради яких проєкт і запускається.

Стійкість до сленгу вища, але термін виходу в роботу вимірюється місяцями: чистка корпусу, розмітка, кілька циклів навчання.

Критерій вибору — не обсяг даних загалом, а обсяг розмічених прикладів на рідкісний клас. Якщо спірних випадків сотні й вони вкладаються в поточну таксономію, донавчання достатньо.

Якщо класи визначаються лише внутрішніми матеріалами — аналітикою, тікетами, закритими чатами — або модель плутає сленг із фактами, власна основа виправдана.

На практиці крайнощі рідкі: спочатку донавчаємо основу, рахуємо помилку за класами на відкладеній вибірці й лише потім, якщо рідкісні сутності не сходяться до потрібного порогу, збираємо свій корпус і навчаємо з нуля. Так модель починає працювати раніше, а точність ще має куди зростати.

Технічні сумніви перед стартом проєкту

Заперечення на старті майже завжди одні й ті самі: чи вистачить даних, що робити з передруками й як зрозуміти, що модель не деградувала. Нижче — те, що розбираємо до оцінки.

Що з джерелами, де є лише заголовок або посилання?

Такі записи не викидаємо й не підмішуємо в основну вибірку: заголовок, тикер і метадані йдуть окремим шаром ознак, а порожні позначаємо як неповні. Інакше модель учиться вгадувати за шумом.

Як часто перенавчати модель і як зрозуміти, що стало краще?

Фіксованого розкладу мало — стежимо за дрейфом: мова ринку й набір подій змінюються, і точність на свіжому потоці просідає першою. Перенавчаємо регулярно й позапланово, коли з'являється новий клас подій.

Кожну збірку порівнюємо з поточною на відкладеній за часом вибірці — на новинах, яких модель не бачила, — і змінюємо лише за метриками.

Обговоримо задачу: які дані у вас уже є

Щоб повернутися з оцінкою й планом робіт, а не із загальними міркуваннями, нам потрібен доступ до того, як крипто-новини надходять до вас зараз.

Вузьке місце майже завжди лежить не в NLP-моделі, а в переліку джерел: частина стрічок віддає лише заголовки, частина дублює одна одну, частина публікує аналітику, яку модель приймає за факт.

Якщо надішлете приклади публікацій за пару тижнів і розбір поточної схеми — як фільтруєте, розмічаєте й що потім робите з результатом — ми повернемося з оцінкою й планом робіт протягом кількох днів. Обговорити задачу можна листуванням: уточнювальні деталі знімемо по ходу.

Що надіслати для розбору:

• перелік джерел: стрічки, канали, розсилки — із позначкою, де фільтр уже стоїть;
• приклади публікацій: 50–100 матеріалів, включно зі спірними, рекламними й дублями;
• розбір поточної схеми: шлях новини від появи до потрапляння у ваше рішення;
• еталонну розмітку або її подобу: 20–30 текстів із проставленою темою й тональністю;
• вимоги до затримки: наскільки свіжою має бути оцінка на момент виходу;
• обмеження щодо доступів: що не можна вивантажувати назовні й які ключі не готові передавати;
• формат результату: мітка в базі, потік подій або звіт за розкладом.

Після розбору ви отримаєте план робіт з обсягом розмітки, схемою збагачення, точками контролю якості та порядком приймання. Опишіть задачу у вільній формі — цього достатньо, щоб ми повернулися з оцінкою.