AI-анализ настроений крипторынка (Sentiment) в мобильном приложении

Представьте: трейдер видит внезапный рост цены Bitcoin на 5%, но не знает, вызван он реальным интересом или памп-дампом. Один твит от известного лица может изменить настроение рынка за секунды. Система sentiment analysis в реальном времени собирает данные из социальных сетей, новостных лент и форумов, оценивает тональность с учётом специфического крипто-жаргона (FUD, HODL, moon) и выдаёт числовой индикатор — от Extreme Fear до Extreme Greed. Мы разрабатываем такие системы для мобильных приложений для трейдинга, интегрируя NLP-пайплайн с серверной обработкой и on-device инференсом. В одном из проектов точность прогнозов краткосрочного движения повысилась на 15% после внедрения. Стек технологий: Python, FastAPI, PyTorch, CoreML для iOS и TensorFlow Lite для Android. Закажите бесплатную консультацию для оценки вашего проекта.

Как собирать данные для крипто-сентимента?

Основные источники:

• Twitter/X: библиотека tweepy с Bearer Token для Academic Research API. Поиск по тикерам ($BTC, $ETH). Бесплатный тир — 500k твитов/месяц, обрабатываем до 2000 твитов в секунду.
• Reddit: praw для сабреддитов r/CryptoCurrency, r/Bitcoin. Pushshift API для истории (с ограничениями).
• Telegram-каналы: telethon (MTProto) для чтения публичных каналов.
• CryptoPanic API: агрегатор с готовым sentiment scoring — хороший baseline.

import tweepy from datetime import datetime, timedelta class TwitterSentimentCollector: def __init__(self, bearer_token: str): self.client = tweepy.Client(bearer_token=bearer_token) def fetch_recent_tweets(self, query: str, hours: int = 1) -> list[dict]: start_time = datetime.utcnow() - timedelta(hours=hours) tweets = self.client.search_recent_tweets( query=f"{query} lang:en -is:retweet -is:reply", start_time=start_time, max_results=100, tweet_fields=["created_at", "public_metrics", "author_id"] ) return [ { "text": t.text, "likes": t.public_metrics["like_count"], "retweets": t.public_metrics["retweet_count"], "created_at": t.created_at } for t in (tweets.data or []) ] 

Взвешиваем твиты по engagement: weight = 1 + log(1 + likes + retweets * 2). Твит с 10k лайков влияет сильнее.

Какую NLP модель выбрать для крипто-сентимента?

VADER — правило-базированный анализатор для social media. Быстрый, работает on-device, не требует GPU. Но не обучен на крипто-специфике: «FUD», «moon», «rekt», «HODL» — не в его словаре.

FinBERT — BERT, дообученный на финансовых текстах. Хорош для новостных заголовков. Тяжёлый для мобиля (400 MB), подходит для серверной обработки.

CryptoBERT — дообученный на крипто-Reddit и Twitter. Доступен на HuggingFace: kk08/CryptoBERT. Понимает крипто-жаргон лучше FinBERT. Точность на тестовой выборке — 89%.

Сравнение моделей:

Для on-device использования конвертируем DistilBERT (меньше 70 MB в INT8) в CoreML или TFLite:

from transformers import DistilBertForSequenceClassification import coremltools as ct import torch model = DistilBertForSequenceClassification.from_pretrained("distilbert-crypto-sentiment") model.eval() traced = torch.jit.trace(model, (input_ids, attention_mask)) mlmodel = ct.convert( traced, inputs=[ ct.TensorType(name="input_ids", shape=(1, 128), dtype=np.int32), ct.TensorType(name="attention_mask", shape=(1, 128), dtype=np.int32) ], compute_precision=ct.precision.FLOAT16 ) mlmodel.save("CryptoSentiment.mlpackage") 

Агрегация сентимента в Sentiment Index

Отдельные оценки твитов → единый индикатор. Варианты агрегации:

Нормализуем финальный score в диапазон [-1, +1] или по шкале Fear & Greed 0–100 (как у Alternative.me Crypto Fear & Greed Index). Средняя задержка агрегации — 200 мс.

Визуализация в мобильном приложении

Sentiment — абстракция, нужна визуализация:

• Gauge-метр (от Extreme Fear до Extreme Greed) — интуитивен, один взгляд.
• Временной график sentiment vs цена — корреляционный анализ.
• Word cloud топ-терминов за последний час.
• News feed с color-coding по тональности (зелёный / красный).

Обновление данных — WebSocket от сервера или polling каждые 5 минут (чаще избыточно, Twitter API лимиты не позволяют).

Серверная инфраструктура

Вся тяжёлая обработка — на сервере:

• Сбор данных: cron jobs / Kafka consumer для real-time.
• NLP pipeline: FastAPI сервис с моделью.
• Хранение: TimescaleDB для временных рядов sentiment.
• Кэш: Redis для текущего индекса (обновление раз в 5 мин).

Мобильное приложение потребляет только готовый агрегированный индекс через REST, детальный feed через WebSocket.

Что входит в работу