Збір даних з DEX-агрегаторів: 1inch, Jupiter

При побудові аналітики DeFi-ринків ви стикаєтеся з проблемою: як отримати чисті дані про маршрутизацію та ціни з DEX-агрегаторів, не впираючись у їхні rate limits? 1inch і Jupiter — ключові джерела, але їхні API мають обмеження, а маршрути часто змінюються. Ми розробили скрапер, який збирає дані з обох агрегаторів, нормалізує їх та зберігає в TimescaleDB або ClickHouse. За 7+ років роботи з Web3 (понад 50 проектів з агрегації) ми відпрацювали архітектуру, стійку до перебоїв.

Скрапінг DEX-агрегаторів — це не просто виклик API за розкладом. Це вміння обробляти різні формати відповідей, обходити ліміти, нормалізувати дані з 1inch (EVM) і Jupiter (Solana) в єдину схему та зберігати їх з урахуванням часових міток для подальшої аналітики. У нашій практиці були проекти, де потрібно було збирати дані по 500+ пар з частотою раз на 10 секунд — це потребувало налаштування BullMQ і Redis для координації запитів.

У цій статті розберемо, як парсити маршрути 1inch і Jupiter, обходити rate limits, зберігати дані та будувати на них аналітику. Також ми обговоримо збір MEV-даних, парсинг свопів на EVM-мережах і практичні прийоми скрапінгу DEX-агрегаторів.

Як збирати дані з 1inch API без rate limits?

Swap API vs Fusion API

Swap API (/swap/v6.0/{chain}/swap) — класична агрегація. Запит повертає:

• tx об'єкт з повними даними транзакції
• protocols — список протоколів у маршруті з частками
• toAmount — мінімальна вихідна сума

Для скрапінгу цінових даних без виконання свопу використовуємо /quote endpoint: немає slippage параметра, немає fromAddress, повертає лише котирування. Це не створює навантаження на RPC і не потребує дозволів.

Fusion API (/fusion/v1.0/{chain}/quote/receive) — інша модель: RFQ (request for quote) з участю market maker-ів. Маршрутизація непрозора, протоколи не розкриваються повністю. Для скрапінгу маршрутів — менш корисний.

Rate limits і обходи

1inch Public API: 1 request/second, 500k requests/month безкоштовно. Для інтенсивного скрапінгу — 1inch Dev Portal з Pro планом або використання власного 1inch router через direct contract calls.

Прямий виклик 1inch Aggregation Router через eth_call — отримуємо quote без HTTP запиту і без rate limits. Використовуємо calldata з SDK для симуляції:

const data = routerContract.interface.encodeFunctionData("swap", [ executor, desc, data ]); const result = await provider.call({ to: ROUTER_ADDRESS, data }); 

Але це потребує розуміння внутрішнього формату 1inch — він змінюється між версіями роутера.

Парсинг маршруту

Відповідь /quote містить protocols — масив масивів, що представляє split route:

"protocols": [ [ [{"name": "UNISWAP_V3", "part": 60, "fromTokenAddress": "...", "toTokenAddress": "..."}], [{"name": "CURVE", "part": 40, ...}] ] ] 

Перший рівень — parallel paths (split за об'ємом). Другий рівень — sequential hops всередині шляху. Для побудови графа ліквідності: нормалізуємо імена протоколів, агрегуємо за парами токенів, відстежуємо динаміку part у часі.

Чому Jupiter Price API кращий для аналітики?

V6 Quote API

GET /quote?inputMint=...&outputMint=...&amount=...&slippageBps=50 Відповідь включає routePlan — детальний маршрут через AMM-и Solana:

"routePlan": [ { "swapInfo": { "ammKey": "...", "label": "Orca (Whirlpool)", "inputMint": "...", "outputMint": "...", "inAmount": "1000000", "outAmount": "998432", "feeAmount": "3000", "feeMint": "..." }, "percent": 100 } ] 

Для скрапінгу: ammKey — публічний ключ пулу на Solana. Можна прямо запросити стан пулу через getAccountInfo. label — людиночитане ім'я AMM.

Price API Jupiter

Jupiter надає /price?ids=... endpoint — bulk price query для до 100 токенів за запит. Повертає ціну в USDC з вказанням ліквідності джерела. Це не quotation (немає slippage), а довідкова ціна. Оновлюється кожні 30 секунд.

Для побудови price history: опитуємо /price з потрібними парами кожні 30 секунд, зберігаємо в TimescaleDB або InfluxDB. За день — ~2880 точок на пару.

Rate limits Jupiter: публічний API без ключа — 600 requests/minute. Jupiter API Pro — вище. Гарантія безперервної роботи для production систем — використовуємо власний Jupiter self-hosted або партнерський ключ.

Архітектура скрапера

Структура даних

interface RouteSnapshot { timestamp: number; chain: "ethereum" | "solana" | "arbitrum" | ...; inputToken: string; outputToken: string; inputAmount: bigint; outputAmount: bigint; priceImpact: number; // в % protocols: ProtocolHop[]; source: "1inch" | "jupiter"; } interface ProtocolHop { name: string; poolAddress: string; percentOfRoute: number; inputAmount: bigint; outputAmount: bigint; } 

Черга запитів і retry

Скрапер з декількома парами токенів → паралельні запити → швидке досягнення rate limit. Правильна архітектура: черга з Bull/BullMQ + Redis, configurable concurrency per source.

Retry з exponential backoff для 429 Too Many Requests: delay = Math.min(base * 2^attempt, maxDelay). Для 1inch — base = 1000ms, maxDelay = 30000ms.

Моніторинг health скрапера: prometheus метрики scraper_requests_total{status="success|error"}, scraper_latency_ms. Alert при error rate > 10% за 5 хвилин.

Зберігання та запити

TimescaleDB (PostgreSQL розширення) для часових рядів — оптимізований для WHERE timestamp BETWEEN ... AND ... запитів з агрегацією. Для скрапінгу маршрутів з високою частотою — партиціювання за днями.

ClickHouse як альтернатива для дуже високих обсягів (>10M рядків/день): columnar storage дає 10-100x швидші аналітичні запити за великими часовими діапазонами.

Що входить у роботу

1. Аналіз ваших цілей та підбір пар/частоти опитування.
2. Розробка скрапера (Node.js/TypeScript) з буферизацією та retry.
3. Інтеграція зі сховищем (TimescaleDB / ClickHouse).
4. Дашборд або API для доступу до даних (Grafana, REST).
5. Документація по форматах даних і лімітах.
6. Передача доступів і навчання вашої команди.

Орієнтири за термінами та бюджетом

Скрапер для одного джерела (1inch або Jupiter) зі зберіганням в PostgreSQL — 1-2 дні, від $800. Мультисорсний скрапер з нормалізацією даних, ClickHouse та аналітичним API — 3-5 днів, від $2000. Терміни та вартість обговорюються індивідуально — пишіть, оцінимо проект безкоштовно.

Замовте розробку скрапера під ключ за вашими вимогами — отримайте надійний інструмент для аналітики DeFi. Зв'яжіться з нами — підберемо оптимальне рішення під ваші пари та частоту опитування.