Парсинг соцсетей для криптоаналитики: Twitter, Telegram, Discord
Мы столкнулись с типичной ситуацией: вы отслеживаете новый токен в Telegram, но сообщение о сливе ликвидности появляется в Twitter на 10 минут раньше — вы теряете деньги. Или хотите построить дашборд sentiment'а, но API Twitter требует серьёзных вложений, а Telegram блокирует аккаунты при частых запросах. Наш опыт показывает, что без грамотного pipeline данные остаются разрозненными и малоэффективными. В этой статье разберём конкретные инструменты, настройки и подводные камни.
Для trading signals, sentiment analysis и мониторинга безопасности нужен надёжный pipeline сбора данных из Twitter/X, Telegram и Discord. У каждой платформы своя специфика доступа. Pro-тариф Twitter API даёт 1M твитов в месяц и Filtered Stream — этого достаточно для мониторинга сотен токенов. Но если бюджет ограничен, можно комбинировать с Telegram, где данные бесплатны, но выше риск блокировки аккаунта.
Twitter/X: API и обходные пути
Официальный API
Twitter API v2 — единственный легальный путь. Сравнение тарифов:
| Тариф | Лимит чтения | Filtered Stream | Full Archive |
|---|---|---|---|
| Free | Только запись | Нет | Нет |
| Basic | 10,000 постов/мес | Нет | Нет |
| Pro | 1M твитов/мес | Да | Нет |
| Enterprise | Firehose | Да | Да |
Для crypto sentiment подходит Pro — даёт 1M твитов в месяц и доступ к Filtered Stream.
import tweepy client = tweepy.Client(bearer_token=BEARER_TOKEN) class CryptoStreamListener(tweepy.StreamingClient): def on_tweet(self, tweet): if tweet.data: asyncio.create_task(self.process_tweet(tweet)) async def process_tweet(self, tweet): await self.queue.put({ "id": tweet.data.id, "text": tweet.data.text, "author_id": tweet.data.author_id, "created_at": tweet.data.created_at, "source": "twitter", }) stream = CryptoStreamListener(bearer_token=BEARER_TOKEN, queue=event_queue) stream.add_rules(tweepy.StreamRule( "(bitcoin OR ethereum OR $BTC OR $ETH OR defi OR crypto) " "lang:en -is:retweet -is:reply" )) stream.filter(tweet_fields=["created_at", "author_id", "public_metrics"]) Для исторических данных (до 7 дней назад на Pro) используем Recent Search с пагинацией через next_token.
Как выбрать тариф Twitter API для криптомониторинга?
Если нужно отслеживать десятки токенов и сотни аккаунтов — только Pro. Для тестирования одного проекта хватит Basic, но он быстро упирается в лимит. Enterprise — для full archive и firehose, цена обсуждается индивидуально. Мы помогаем подобрать оптимальный тариф под ваши задачи — оцените проект бесплатно.
Telegram: MTProto API
Telegram — основная площадка крипто-анонсов. Сообщения здесь появляются на минуты раньше, чем в Twitter. Для парсинга используем Telethon с user account.
from telethon import TelegramClient, events from telethon.tl.types import Channel API_ID = int(os.getenv("TELEGRAM_API_ID")) API_HASH = os.getenv("TELEGRAM_API_HASH") async def monitor_channels(channel_usernames: list[str]): async with TelegramClient("session", API_ID, API_HASH) as client: @client.on(events.NewMessage(chats=channel_usernames)) async def handler(event): msg = event.message await process_message({ "channel": event.chat.username, "message_id": msg.id, "text": msg.text or "", "date": msg.date, "views": msg.views, "forwards": msg.forwards, "has_media": bool(msg.media), }) async def fetch_history(channel: str, limit: int = 1000): messages = [] async for msg in client.iter_messages(channel, limit=limit): messages.append({ "id": msg.id, "text": msg.text or "", "date": msg.date, "views": msg.views, }) return messages await client.run_until_disconnected() Технические ограничения Telethon
- Rate limit: 30 запросов в секунду на один аккаунт.
- Сессии могут быть заблокированы при отправке более 50 сообщений в минуту.
- Для парсинга больших объёмов требуется пул аккаунтов.
- Невозможно получить историю закрытых каналов без членства.
Важно: Telethon использует аккаунт реального пользователя. Telegram блокирует аккаунты при подозрительной активности. Используйте выделенный аккаунт и соблюдайте rate limits. Мы гарантируем, что ваш аккаунт не попадёт под блокировку благодаря настройке безопасных интервалов.
Почему Telegram — главный источник ранних сигналов?
Сообщения в Telegram появляются на минуты раньше, чем в Twitter. Резкий рост активности в канале (в 3+ раза) часто предшествует движению цены. Мы включаем детектор аномалий, который считает сообщения за час и сравнивает с предыдущим — при превышении порога отправляется alert.
Discord: Bot API
Большинство DeFi-проектов используют Discord для community. Там происходят технические обсуждения и early announcements.
Discord Bot
Нужен bot token из Discord Developer Portal и бот на сервере:
import discord from discord.ext import commands intents = discord.Intents.default() intents.message_content = True # Privileged intent bot = commands.Bot(command_prefix="!", intents=intents) TARGET_SERVERS = { "1234567890": ["general", "announcements", "alpha-calls"], } @bot.event async def on_message(message: discord.Message): if message.author.bot: return guild_id = str(message.guild.id) if message.guild else None if guild_id not in TARGET_SERVERS: return channel_name = message.channel.name if channel_name not in TARGET_SERVERS[guild_id]: return await process_message({ "platform": "discord", "server": message.guild.name, "channel": channel_name, "author": str(message.author), "content": message.content, "timestamp": message.created_at, "attachments": [a.url for a in message.attachments], }) Ограничение: message_content — привилегированный intent, требует верификации на 100+ серверах. На маленьких серверах работает без верификации.
Как соединить данные из Twitter, Telegram и Discord в единый pipeline?
Единая схема для сообщений из всех платформ:
CREATE TABLE social_messages ( id UUID PRIMARY KEY DEFAULT gen_random_uuid(), platform TEXT NOT NULL, -- 'twitter', 'telegram', 'discord' source_id TEXT NOT NULL, -- оригинальный ID сообщения channel TEXT, -- @username, channel_name, server/channel author TEXT, content TEXT NOT NULL, metadata JSONB, -- platform-specific: views, likes, reactions captured_at TIMESTAMPTZ NOT NULL DEFAULT NOW(), published_at TIMESTAMPTZ, UNIQUE (platform, source_id) ); CREATE INDEX idx_social_platform_channel ON social_messages (platform, channel, published_at DESC); CREATE INDEX idx_social_content_fts ON social_messages USING gin(to_tsvector('english', content)); GIN индекс для full-text search — нужен для поиска упоминаний токенов и адресов контрактов.
Sentiment анализ
Для crypto-специфического sentiment используем CryptoBERT — fine-tuned модель на HuggingFace.
from transformers import pipeline sentiment = pipeline( "sentiment-analysis", model="ElKulako/cryptobert", device=0, ) def analyze_sentiment(text: str) -> dict: result = sentiment(text[:512])[0] return { "label": result["label"], "score": result["score"], } Дополнительно применяем volume-weighted sentiment: твит с 100k impressions весит больше, чем с 100. Для Telegram — по views. Подробнее о sentiment analysis.
Сравнение платформ:
| Платформа | API | Скорость | Доступность | Риск блокировки |
|---|---|---|---|---|
| Twitter/X | REST v2, Stream | Мгновенно | Ограничен тарифом | Низкий (легальный API) |
| Telegram | MTProto, Bot API | Мгновенно | Неограничен (user) | Средний (аккаунт) |
| Discord | Bot API | Зависит от сервера | Только вступление | Низкий (бот) |
Что входит в работу
При заказе разработки pipeline вы получаете:
- Анализ требований и выбор платформ
- Проектирование архитектуры сбора и хранения
- Реализацию парсинга на выбранных API (Twitter, Telegram, Discord)
- Интеграцию с вашей базой данных (PostgreSQL, ClickHouse и др.)
- Настройку sentiment-анализа (CryptoBERT или кастомная модель)
- Тестирование и оптимизацию (до 1000 сообщений в секунду)
- Документацию и обучение вашей команды
- Поддержку 1 месяц после сдачи
Сроки: 2–4 недели на базовый pipeline (Twitter + Telegram + sentiment) и до 6 недель с Discord и ML-доработками. Стоимость рассчитывается индивидуально — получите оценку вашего проекта за 1 день. Свяжитесь с нами для консультации — расскажем, какой подход лучше для ваших задач. Наш опыт: 10+ лет в крипторазработке, более 50 реализованных проектов по сбору данных.