При розробці торгових систем для кількох бірж ми часто стикаємося з фундаментальною проблемою: кожна біржа має власний WebSocket API, власний формат даних, власні обмеження за частотою запитів і власні примхи в поведінці. Уявіть: вам потрібно порівнювати ціни на BTC/USDT на Binance та Bybit у реальному часі. Різні формати, різні затримки, різні ліміти. Без агрегатора ви витрачаєте тижні на інтеграцію кожної нової біржі. Агрегатор перетворює цей зоопарк на єдиний нормалізований потік — єдиний API для бірж. Наш досвід налічує понад 10 років у блокчейн-розробці та 50+ реалізованих інтеграцій з криптобіржами. Ми пропонуємо рішення під ключ: від проєктування до впровадження у вашу інфраструктуру. Економія на розробці власного агрегатора може досягати 60%, що становить близько $20 000 економії на типовому проєкті. Вартість готового агрегатора — від $5,000 до $20,000 залежно від кількості бірж. Наші консультації — $150/год.
Як нормалізувати дані з різних бірж?
Система будується за принципом fan-in архітектури: безліч джерел даних збираються в єдиний нормалізований потік. Ми використовуємо перевірені патерни. Це забезпечує агрегацію даних з бірж з нормалізацією даних WebSocket.
- Exchange Connectors — окремий модуль для кожної біржі. Відповідає за встановлення WebSocket-з'єднання, підписку на потрібні канали, handling reconnection механізмів та помилок, парсинг raw-формату біржі в нормалізований.
-
Normalization Layer — перетворює біржеспецифічні формати в єдину схему. Binance називає поле
b(best bid), Kraken —bтеж, але з іншою семантикою. OKX використовує наносекунди для timestamp, Bitfinex — мілісекунди. - Distribution Layer — публікує нормалізовані події в шину (Redis Streams, Kafka) для downstream-споживачів.
Нормалізований формат ticker-події:
{ "exchange": "binance", "symbol": "BTC/USDT", "timestamp": 1704067200000, "received_at": 1704067200045, "bid": 43250.50, "ask": 43251.00, "last": 43250.75, "volume_24h": 28450.123, "open_24h": 42800.00 } Поле received_at — час отримання даних агрегатором, відмінний від біржевого timestamp. Різниця між ними — network latency до біржі, корисна метрика для моніторингу. При арбітражних стратегіях ця затримка може сягати 100 мс, що критично для high-frequency trading.
Як обробляти обмеження та збої?
Кожна біржа обмежує кількість запитів. WebSocket-підключення зазвичай не лімітовані за повідомленнями, але є ліміти на кількість підписок в одному з'єднанні (Binance: 1024 потоки на з'єднання) та швидкість відправки команд підписки. Наша система забезпечує агрегацію даних з бірж з нормалізацією даних WebSocket, ефективною обробкою rate limits та надійними reconnection механізмами на основі fan-in архітектури. Наші reconnection механізми гарантують безперервність даних.
Правильний конектор керує чергою підписок з урахуванням цих обмежень:
class ExchangeConnector: MAX_SUBSCRIPTIONS_PER_CONN = 1000 SUBSCRIPTION_RATE_LIMIT = 10 # per second async def subscribe_symbols(self, symbols: list[str]): # Розбиваємо на чанки за розміром з'єднання for chunk in chunks(symbols, self.MAX_SUBSCRIPTIONS_PER_CONN): conn = await self.create_connection() # Rate-limit підписки async with self.rate_limiter: await conn.subscribe(chunk) WebSocket-з'єднання розриваються. Біржі іноді надсилають "ping" і очікують "pong" протягом строго визначеного часу (Binance: 10 хвилин без pong = disconnect). Правильний конектор:
- Автоматично відповідає на ping-frames
- Відстежує час останнього повідомлення (heartbeat check)
- При розриві — exponential backoff reconnect з jitter
- При відновленні — перепідписується на всі символи
- Публікує подію
GAP_DETECTEDз часовим діапазоном відсутніх даних
Downstream-споживачі повинні обробляти GAP-події коректно, особливо якщо використовують ковзні агрегати.
Продуктивність, затримки та моніторинг
При порівнянні цін на різних біржах критично важлива синхронізація часу. Системний час сервера має синхронізуватися через NTP з точністю до 1–5 ms. Більшість клауд-провайдерів надають точний NTP, але це потрібно перевіряти.
Біржі мають різний network latency — від 1 ms (co-location) до 50–100 ms для звичайного сервера. Для ultra-low latency агрегатора ми пишемо конектори на Rust або Go — це дає виграш у затримці в 5–10 разів порівняно з Python. Отже, Rust-агрегатор забезпечує в 10 разів кращу продуктивність, ніж Python, що критично для HFT. Для high-frequency трейдингу Go забезпечує затримку в 5–10 разів менше, ніж Python, а Rust — ще швидше. Наш Rust-агрегатор швидший за Python у 10 разів.
Порівняння продуктивності стеків
| Мова | Latency (p50) | Розробка | Підтримка бірж |
|---|---|---|---|
| Python | 10–50 ms | Швидка | 30+ (через бібліотеки) |
| Go | 1–5 ms | Середня | Кастомна |
| Rust | <1 ms | Довга | Кастомна |
Моніторинг якості даних:
| Метрика | Опис |
|---|---|
| Message rate | Повідомлень на секунду на біржу/символ |
| Latency (p50/p99) | Затримка від біржі до агрегатора |
| Gap rate | Кількість розривів у даних на годину |
| Reconnect count | Частота перепідключень |
| Stale data alerts | Символи без оновлень > X секунд |
Prometheus + Grafana — стандартний стек для цього моніторингу. Також ми впроваджуємо алерти в Telegram або Slack при відхиленні метрик від норми.
Технологічний стек та бібліотеки
CCXT Pro — WebSocket розширення CCXT з підтримкою 50+ бірж. Хороша відправна точка для прототипу, але для production часто потрібні кастомні конектори через продуктивність та специфічні вимоги. Згідно з документацією CCXT Pro, він забезпечує нормалізацію даних для більшості бірж.
cryptofeed (Python) — спеціалізована бібліотека для криптовалютних feeds з підтримкою 30+ бірж, нормалізацією даних WebSocket та бекендами для Kafka, Redis, RabbitMQ, PostgreSQL.
Для high-performance систем (< 1 ms latency) пишемо конектори на Rust або Go з нуля.
Впровадження та підтримка
Як впровадити систему збору торгових даних за 4 кроки:
- Аналіз — вивчаємо ваші джерела даних, торгові стратегії та вимоги до продуктивності. Готуємо технічне завдання з вибором стеку.
- Проєктування — розробляємо архітектуру конекторів, черговість інтеграції та систему моніторингу. Визначаємо точки нормалізації.
- Розробка та тестування — пишемо конектори для 5–50 бірж, реалізуємо обробку rate limits та reconnection механізми. Проводимо навантажувальне тестування з симуляцією збоїв.
- Впровадження та підтримка — розгортаємо агрегатор у вашій інфраструктурі, налаштовуємо алерти та дашборди. Навчаємо команду.
Що входить у роботу
- Архітектурні рішення та вибір стеку під вашу задачу
- Конектори для 5–50 бірж з повною нормалізацією
- Систему моніторингу та алертингу (Prometheus/Grafana)
- Документацію по API та схемам даних
- Доступи до всіх компонентів та вихідний код
- Навчання команди (2 сесії) та передачу коду
- Гарантійну підтримку 3 місяці після запуску
Отримайте консультацію та демо-версію — ми розповімо, як інтегрувати агрегатор у вашу інфраструктуру та які терміни реальні. Замовте консультацію для оцінки проєкту.
Чому обирають нас
Ми працюємо на ринку блокчейн-розробки понад 10 років. Наші інженери мають сертифікати з Solidity та Rust, досвід роботи з Ethereum, Solana та Polkadot. Понад 20 успішних проєктів у сфері DeFi та торгових систем. Ми гарантуємо якість та дотримання термінів. Наша компанія: 10+ років досвіду, 20+ успішних проєктів, 50+ інтеграцій з біржами. Наш low latency агрегатор забезпечує затримку менше 1 мс на Rust, що в 10 разів швидше за Python-рішення.