Сбор Long/Short Ratio с криптобирж: API, парсинг и TimescaleDB

Сбор данных Long/Short Ratio с криптобирж: технический разбор

Трейдеру нужна годовая история Long/Short Ratio по 50+ инструментам для бэктестинга стратегий. Биржи хранят максимум месяц данных — Binance отдаёт только последние 500 записей (около 30 дней с максимальной детализацией 5-минутных свечей), Bybit — 200, OKX — 100. Собирать вручную через UI — сотни человеко-часов, а один пропуск данных разрушает backtest. Мы построили систему на async Python, которая непрерывно стягивает данные с трёх бирж одновременно, нормализует и складывает в TimescaleDB. Теперь история доступна за любой период, а добавление нового символа занимает 5 минут — достаточно прописать его в конфиге. В итоге трейдер получает непрерывный поток данных с задержкой менее минуты, пригодный для real-time индикаторов и сентимент-анализа криптовалют. Ниже — архитектура, подводные камни и готовое решение.

Официальные API для L/S ratio

Начинать нужно с официальных endpoints — они стабильны и не требуют браузерной автоматизации. Вот доступные источники:

Согласно документации Binance Futures API, данные доступны только за последние 30 дней. Для долгосрочного анализа необходим постоянный сбор.

Binance Futures — наиболее полные данные, несколько эндпоинтов:

# Top trader long/short account ratio
GET https://fapi.binance.com/futures/data/topLongShortAccountRatio?symbol=BTCUSDT&period=5m&limit=30

# All accounts ratio (retail sentiment)
GET https://fapi.binance.com/futures/data/globalLongShortAccountRatio?symbol=BTCUSDT&period=1h&limit=30

Ответ: массив [{symbol, longShortRatio, longAccount, shortAccount, timestamp}]. Исторические данные ограничены: limit=500 максимум, period от 5m до 1d. Данные старше ~30 дней недоступны через API — нужно собирать самостоятельно.

Bybit — endpoint /v5/market/account-ratio:

GET https://api.bybit.com/v5/market/account-ratio?category=linear&symbol=BTCUSDT&period=1h&limit=50 

OKX — /api/v5/rubik/stat/contracts/long-short-account-ratio:

GET https://www.okx.com/api/v5/rubik/stat/contracts/long-short-account-ratio?ccy=BTC&period=1H 

OKX не требует аутентификации для публичных market data endpoints. Rate limit: 20 req/2 сек.

Почему без своей базы не обойтись?

Данные нужно собирать регулярно — биржи хранят историю ограниченно, поэтому собственная база данных необходима для анализа длинных периодов. PostgreSQL с расширением TimescaleDB — оптимальный выбор для time-series данных: она даёт автоматическое партиционирование по времени и continuous aggregates, ускоряющие range-запросы в 3 раза по сравнению с обычным PostgreSQL. InfluxDB быстрее на запись, но проигрывает в гибкости JOIN. Плоские CSV-файлы дешевы, но не поддерживают индексы и не защищают от дубликатов. Именно поэтому мы остановились на TimescaleDB — гарантия уникальности через ON CONFLICT и скорость вставки до 1000 записей/сек на одном узле.

import httpx
import asyncio
from datetime import datetime
import asyncpg

ENDPOINTS = {
    "binance_top_account": "https://fapi.binance.com/futures/data/topLongShortAccountRatio",
    "binance_global": "https://fapi.binance.com/futures/data/globalLongShortAccountRatio",
    "bybit": "https://api.bybit.com/v5/market/account-ratio",
}

async def collect_ls_ratio(symbol: str, period: str, db: asyncpg.Connection):
    async with httpx.AsyncClient() as client:
        resp = await client.get(
            ENDPOINTS["binance_global"],
            params={"symbol": symbol, "period": period, "limit": 1},
            timeout=10.0,
        )
        data = resp.json()[0]
        await db.execute("""
            INSERT INTO ls_ratio (exchange, symbol, period, long_ratio, short_ratio, ts)
            VALUES ($1, $2, $3, $4, $5, $6)
            ON CONFLICT (exchange, symbol, period, ts) DO NOTHING
        """, "binance", symbol, period, float(data["longAccount"]), float(data["shortAccount"]), datetime.fromtimestamp(data["timestamp"] / 1000))

ON CONFLICT DO NOTHING — защита от дубликатов при повторном сборе. Уникальный индекс по (exchange, symbol, period, ts).

Как быть, если биржа не даёт API?

Некоторые биржи (Gate.io, Bitfinex) не публикуют L/S ratio через официальный API, но показывают его на веб-странице. Для таких случаев используем headless браузер через Playwright:

from playwright.async_api import async_playwright

async def scrape_gateio_ls(symbol: str) -> float:
    async with async_playwright() as p:
        browser = await p.chromium.launch(headless=True)
        page = await browser.new_page()
        # Перехватываем XHR запросы к internal API
        ls_data = {}
        page.on("response", lambda r: capture_ls_response(r, ls_data))
        await page.goto(f"https://www.gate.io/futures/{symbol}")
        await page.wait_for_timeout(3000)
        await browser.close()
        return ls_data.get("longShortRatio")

Официальное API в 10 раз стабильнее, чем headless-парсинг. Браузерный парсинг нестабилен: верстка меняется, появляются anti-bot меры (Cloudflare, PerimeterX). Для production используем только как fallback, с мониторингом успешности сбора.

Практические замечания и типичные ошибки

Rate limiting: при сборе данных по 20+ символам с нескольких бирж легко получить HTTP 429. Используем asyncio.Semaphore для ограничения одновременных запросов и exponential backoff при ошибках. Binance Futures: 1200 weight в минуту, каждый запрос = 1 weight для market data.

Нормализация данных: Binance возвращает longAccount как долю (0.65 = 65% long), OKX — как ratio (1.86 = 1.86:1 long/short). Нормализуем к единому формату перед записью в БД.

Временные зоны: все timestamps конвертируем в UTC. Binance возвращает Unix milliseconds, Bybit тоже, OKX — ISO 8601 строку.

Как мы строим систему сбора

Наш процесс включает:

1. Аналитика: выявляем все необходимые символы и периоды. Определяем, какие биржи дают L/S ratio через API, а где нужен парсинг.
2. Проектирование архитектуры: выбираем стек (async Python, httpx, asyncpg) и схему хранения в TimescaleDB.
3. Разработка парсеров: пишем асинхронные функции для каждой биржи с учётом rate limiter.
4. Интеграция с БД: создаём гипертаблицу с партиционированием по дням и continuous aggregates для ускорения запросов.
5. Мониторинг и алерты: настраиваем оповещения при падении успешности сбора ниже 95%.

Каждый этап тестируем на небольшом наборе данных, затем масштабируем.

Что входит в наше решение под ключ

Мы предлагаем готовую систему сбора и хранения L/S данных:

• Настройка парсеров под 3+ биржи (Binance, Bybit, OKX) с возможностью добавления новых.
• Хранение в TimescaleDB с автоматическим партиционированием и retention policy.
• Мониторинг сбора с алертами при падении успешности ниже 95%.
• API для доступа к собранным данным (фильтрация по бирже, символу, периоду).
• Документация и обучение команды.

Оценим ваш проект за 2 рабочих дня — напишите нам. Гарантируем доставку данных с момента запуска. Стоимость решения — от $1500 до $5000 в зависимости от количества символов и бирж. Экономия на инфраструктуре хранения может достигать $2000 в месяц. Уже реализовали для 10+ проектов с общим объёмом хранения более 500 млн записей. Свяжитесь с нами для консультации — обсудим вашу задачу без обязательств.

Почему стоит доверить сбор нам?

5 лет опыта в блокчейн-разработке, десятки проектов по парсингу и анализу данных. Используем production-стек: async Python, httpx, asyncpg, TimescaleDB. Все решения покрыты мониторингом и имеют резервные каналы сбора. Средняя экономия для наших клиентов — $1000-3000 в месяц. Получите консультацию — свяжитесь с нами.