Сбор данных с DEX-агрегаторов: 1inch, Jupiter

При построении аналитики DeFi-рынков вы сталкиваетесь с проблемой: как получить чистые данные о маршрутизации и ценах с DEX-агрегаторов, не упираясь в их rate limits? 1inch и Jupiter — ключевые источники, но их API имеют ограничения, а маршруты часто меняются. Мы разработали скрапер, который собирает данные с обоих агрегаторов, нормализует их и сохраняет в TimescaleDB или ClickHouse. За 7+ лет работы с Web3 (более 50 проектов по агрегации) мы отработали архитектуру, устойчивую к перебоям.

Скрапинг DEX-агрегаторов — это не просто вызов API по расписанию. Это умение обрабатывать разные форматы ответов, обходить лимиты, нормализовать данные из 1inch (EVM) и Jupiter (Solana) в единую схему и хранить их с учётом временных меток для последующей аналитики. В нашей практике были проекты, где требовалось собирать данные по 500+ пар с частотой раз в 10 секунд — это потребовало настройки BullMQ и Redis для координации запросов.

В этой статье разберём, как парсить маршруты 1inch и Jupiter, обходить rate limits, хранить данные и строить на них аналитику. Также мы обсудим сбор MEV-данных, парсинг свопов на EVM-сетях и практические приёмы скрапинга DEX-агрегаторов.

Как собирать данные с 1inch API без rate limits?

Swap API vs Fusion API

Swap API (/swap/v6.0/{chain}/swap) — классическая агрегация. Запрос возвращает:

• tx объект с полными данными транзакции
• protocols — список протоколов в маршруте с долями
• toAmount — минимальная выходная сумма

Для скрапинга ценовых данных без исполнения свопа используем /quote endpoint: нет slippage параметра, нет fromAddress, возвращает только котировку. Это не создаёт нагрузку на RPC и не требует разрешений.

Fusion API (/fusion/v1.0/{chain}/quote/receive) — другая модель: RFQ (request for quote) с участием market maker-ов. Маршрутизация непрозрачна, протоколы не раскрываются полностью. Для скрапинга маршрутов — менее полезен.

Rate limits и обходы

1inch Public API: 1 request/second, 500k requests/month бесплатно. Для интенсивного скрапинга — 1inch Dev Portal с Pro планом или использование собственного 1inch router через direct contract calls.

Прямой вызов 1inch Aggregation Router через eth_call — получаем quote без HTTP запроса и без rate limits. Используем calldata из SDK для симуляции:

const data = routerContract.interface.encodeFunctionData("swap", [ executor, desc, data ]); const result = await provider.call({ to: ROUTER_ADDRESS, data }); 

Но это требует понимания внутреннего формата 1inch — он меняется между версиями роутера.

Парсинг маршрута

Ответ /quote содержит protocols — массив массивов, представляющий split route:

"protocols": [ [ [{"name": "UNISWAP_V3", "part": 60, "fromTokenAddress": "...", "toTokenAddress": "..."}], [{"name": "CURVE", "part": 40, ...}] ] ] 

Первый уровень — parallel paths (split по объёму). Второй уровень — sequential hops внутри пути. Для построения графа ликвидности: нормализуем имена протоколов, агрегируем по парам токенов, отслеживаем динамику part во времени.

Почему Jupiter Price API лучше для аналитики?

V6 Quote API

GET /quote?inputMint=...&outputMint=...&amount=...&slippageBps=50 Ответ включает routePlan — детальный маршрут через AMM-ы Solana:

"routePlan": [ { "swapInfo": { "ammKey": "...", "label": "Orca (Whirlpool)", "inputMint": "...", "outputMint": "...", "inAmount": "1000000", "outAmount": "998432", "feeAmount": "3000", "feeMint": "..." }, "percent": 100 } ] 

Для скрапинга: ammKey — публичный ключ пула на Solana. Можно прямо запросить состояние пула через getAccountInfo. label — человекочитаемое имя AMM.

Price API Jupiter

Jupiter предоставляет /price?ids=... endpoint — bulk price query для до 100 токенов за запрос. Возвращает цену в USDC с указанием ликвидности источника. Это не quotation (нет slippage), а справочная цена. Обновляется каждые 30 секунд.

Для построения price history: опрашиваем /price с нужными парами каждые 30 секунд, сохраняем в TimescaleDB или InfluxDB. За день — ~2880 точек на пару.

Rate limits Jupiter: публичный API без ключа — 600 requests/minute. Jupiter API Pro — выше. Гарантия беспрерывной работы для production систем — используем собственный Jupiter self-hosted или партнёрский ключ.

Архитектура скрапера

Структура данных

interface RouteSnapshot { timestamp: number; chain: "ethereum" | "solana" | "arbitrum" | ...; inputToken: string; outputToken: string; inputAmount: bigint; outputAmount: bigint; priceImpact: number; // в % protocols: ProtocolHop[]; source: "1inch" | "jupiter"; } interface ProtocolHop { name: string; poolAddress: string; percentOfRoute: number; inputAmount: bigint; outputAmount: bigint; } 

Очередь запросов и retry

Скрапер с несколькими парами токенов → параллельные запросы → быстрое достижение rate limit. Правильная архитектура: очередь с Bull/BullMQ + Redis, configurable concurrency per source.

Retry с exponential backoff для 429 Too Many Requests: delay = Math.min(base * 2^attempt, maxDelay). Для 1inch — base = 1000ms, maxDelay = 30000ms.

Мониторинг health скрапера: prometheus метрики scraper_requests_total{status="success|error"}, scraper_latency_ms. Alert при error rate > 10% за 5 минут.

Хранение и запросы

TimescaleDB (PostgreSQL расширение) для временных рядов — оптимизирован для WHERE timestamp BETWEEN ... AND ... запросов с агрегацией. Для скрапинга маршрутов с высокой частотой — партиционирование по дням.

ClickHouse как альтернатива для очень высоких объёмов (>10M строк/день): columnar storage даёт 10-100x быстрее аналитические запросы по большим временным диапазонам.

Что входит в работу

1. Анализ ваших целей и подбор пар/частоты опроса.
2. Разработка скрапера (Node.js/TypeScript) с буферизацией и retry.
3. Интеграция с хранилищем (TimescaleDB / ClickHouse).
4. Дашборд или API для доступа к данным (Grafana, REST).
5. Документация по форматам данных и лимитам.
6. Передача доступов и обучение вашей команды.

Ориентиры по срокам и бюджету

Скрапер для одного источника (1inch или Jupiter) с хранением в PostgreSQL — 1-2 дня. Мультисорсный скрапер с нормализацией данных, ClickHouse и аналитическим API — 3-5 дней. Сроки и стоимость обсуждаются индивидуально — свяжитесь для точного расчёта.

Закажите разработку скрапера под ваши задачи — получите надёжный инструмент для аналитики DeFi. Свяжитесь с нами — подберём оптимальное решение под ваши пары и частоту опроса.