Навчання NLP-моделі для аналізу Reddit (r/cryptocurrency)

Трейдери часто покладаються на Twitter для швидких сигналів, але шум там зашкалює. Довгі DD-пости на Reddit залишаються непоміченими, хоча містять глибокий аналіз токеноміки, команди та on-chain даних. Ми побудували NLP-модель для аналізу Reddit, яка виловлює ці сигнали з r/cryptocurrency і перетворює їх на торгові ідеї. Комплексне навчання NLP-моделі включає збір даних, передобробку, тюнінг BERT і розгортання в продакшн. Модель здатна виявляти тональність, детектувати DD-пости та відстежувати згадки токенів у реальному часі. Протягом багатьох років ми займаємося NLP для крипторинку та реалізували понад 15 проєктів з аналізу соціальних мереж. Окупність такого рішення становить у середньому 3–4 місяці за рахунок автоматизації ручного моніторингу.

Гарантуємо точність класифікації >85% — зв'яжіться з нами, щоб обговорити ваш кейс. Нижче — як це працює.

Як ми збираємо дані з Reddit?

Основне джерело — Reddit. Використовуємо PRAW та asyncpraw для асинхронного збору. Приклад збирача, який ми налаштовуємо під кожен проєкт:

import praw from datetime import datetime import asyncpraw class RedditCryptoCollector: def __init__(self, client_id, client_secret, user_agent): self.reddit = asyncpraw.Reddit( client_id=client_id, client_secret=client_secret, user_agent=user_agent ) async def collect_subreddit_posts(self, subreddit_name, limit=100, sort='new', time_filter='day'): subreddit = await self.reddit.subreddit(subreddit_name) posts = [] async for post in subreddit.top(time_filter=time_filter, limit=limit): posts.append({ 'id': post.id, 'title': post.title, 'text': post.selftext, 'score': post.score, 'upvote_ratio': post.upvote_ratio, 'num_comments': post.num_comments, 'created_utc': datetime.fromtimestamp(post.created_utc), 'author': str(post.author), 'subreddit': subreddit_name, 'flair': post.link_flair_text }) return posts async def collect_comments(self, post_id, limit=50): submission = await self.reddit.submission(id=post_id) await submission.comments.replace_more(limit=3) comments = [] for comment in submission.comments.list()[:limit]: if hasattr(comment, 'body') and len(comment.body) > 20: comments.append({ 'body': comment.body, 'score': comment.score, 'created_utc': datetime.fromtimestamp(comment.created_utc) }) return comments 

Джерело: документація Reddit API

Ключові сабредіти для аналізу

Порівняння Reddit і Twitter для сентимент-аналізу

Специфіка Reddit контенту

Reddit пости значно довші за твіти. DD-пости можуть містити 2000+ слів. Потрібна спеціальна обробка:

1. Chunk-based processing: розбиваємо довгий текст на фрагменти по 512 токенів із перекриттям 50. Кожен класифікується окремо, потім агрегується.

def analyze_long_post(text, analyzer, chunk_size=512, overlap=50): tokens = text.split() chunks = [] for i in range(0, len(tokens), chunk_size - overlap): chunk = ' '.join(tokens[i:i+chunk_size]) chunks.append(chunk) chunk_scores = [analyzer.analyze(chunk)['score'] for chunk in chunks] weights = np.ones(len(chunk_scores)) if len(weights) > 2: weights[0] = 1.5 # заголовок/початок weights[-1] = 1.3 # висновок return np.average(chunk_scores, weights=weights) 

2. Title vs body weighting: заголовок посту часто інформативніший за тіло. Використовуємо вагу 2:1.

Reddit-specific signals

У кожного посту є метрики залученості, які ми враховуємо:

• Upvote ratio: > 0.85 = consensus positive, < 0.50 = controversial.
• Comment velocity: різке зростання коментарів за годину сигналізує про вірусний пост.
• Hot algorithm: Reddit's hot score = (upvotes - downvotes) / (time_since_post)^gravity. Високий score = trending content.
• Awards: пости з Gold/Platinum awards отримали значну взаємодію.

def calculate_reddit_engagement_score(post): score = post['score'] ratio = post['upvote_ratio'] comments = post['num_comments'] engagement = ( np.log1p(score) * ratio + np.log1p(comments) * 0.5 ) return engagement 

Due Diligence (DD) аналіз

DD-пости на Reddit — найцінніше джерело. Вони містять глибокий аналіз проєктів, часто випереджаючи mainstream media. Ми детектуємо їх за флером і ключовими словами:

def is_dd_post(post): dd_indicators = [ post.get('flair', '').lower() in ['dd', 'analysis', 'research'], any(kw in post['text'].lower() for kw in ['tokenomics', 'whitepaper', 'team analysis', 'red flag', 'due diligence', 'fundamentals', 'on-chain data']), len(post['text'].split()) > 500 ] return sum(dd_indicators) >= 2 

Для DD-постів застосовуємо більш детальний аналіз з оцінкою конкретних тверджень. Додатково ми використовуємо weighted average з урахуванням upvote_ratio: пости з високим рейтингом і низьким порогом спірності отримують більшу вагу в архіві навчання. Наша модель навчалася на 10 000 вручну розмічених DD-постів і показує повноту детекції >80%. Замовте консультацію, щоб інтегрувати цей модуль у ваш трейдинговий пайплайн.

Чому Reddit кращий за Twitter для довгострокового прогнозування?

Аналіз сентименту Reddit повільніше реагує на події — період напіврозпаду ~24-72 години проти ~1-4 годин для Twitter. Це дає більш стабільні сигнали для середньострокових позицій. Ми використовуємо 7-денний rolling average для побудови long-term sentiment індексу. Якщо вам потрібна детальна консультація, замовте зустріч — ми покажемо, як модель працює на ваших даних.

Що входить у результат

• Документація: опис архітектури, інструкція із запуску, опис API.
• Навчена модель: файл ваг, конфігурація.
• Дашборд метрик: графіки сентименту, детекція DD, згадки токенів.
• Підтримка: 2 тижні інженерного супроводу після передачі.

reddit: client_id: "your_client_id" client_secret: "your_client_secret" user_agent: "CryptoSentimentBot/1.0" subreddits: - r/CryptoCurrency - r/Bitcoin collect_interval_minutes: 15