Збір даних з DEX-агрегаторів: 1inch, Jupiter

При побудові аналітики DeFi-ринків ви стикаєтеся з проблемою: як отримати чисті дані про маршрутизацію та ціни з DEX-агрегаторів, не впираючись у їхні rate limits? 1inch і Jupiter — ключові джерела, але їхні API мають обмеження, а маршрути часто змінюються. Ми розробили скрапер, який збирає дані з обох агрегаторів, нормалізує їх та зберігає в TimescaleDB або ClickHouse. За 7+ років роботи з Web3 (понад 50 проектів з агрегації) ми відпрацювали архітектуру, стійку до перебоїв.

Скрапінг DEX-агрегаторів — це не просто виклик API за розкладом. Це вміння обробляти різні формати відповідей, обходити ліміти, нормалізувати дані з 1inch (EVM) і Jupiter (Solana) в єдину схему та зберігати їх з урахуванням часових міток для подальшої аналітики. У нашій практиці були проекти, де потрібно було збирати дані по 500+ пар з частотою раз на 10 секунд — це потребувало налаштування BullMQ і Redis для координації запитів.

У цій статті розберемо, як парсити маршрути 1inch і Jupiter, обходити rate limits, зберігати дані та будувати на них аналітику. Також ми обговоримо збір MEV-даних, парсинг свопів на EVM-мережах і практичні прийоми скрапінгу DEX-агрегаторів.

Як збирати дані з 1inch API без rate limits?

Swap API vs Fusion API

Swap API (/swap/v6.0/{chain}/swap) — класична агрегація. Запит повертає:

• tx об'єкт з повними даними транзакції
• protocols — список протоколів у маршруті з частками
• toAmount — мінімальна вихідна сума

Для скрапінгу цінових даних без виконання свопу використовуємо /quote endpoint: немає slippage параметра, немає fromAddress, повертає лише котирування. Це не створює навантаження на RPC і не потребує дозволів.

Fusion API (/fusion/v1.0/{chain}/quote/receive) — інша модель: RFQ (request for quote) з участю market maker-ів. Маршрутизація непрозора, протоколи не розкриваються повністю. Для скрапінгу маршрутів — менш корисний.

Rate limits і обходи

1inch Public API: 1 request/second, 500k requests/month безкоштовно. Для інтенсивного скрапінгу — 1inch Dev Portal з Pro планом або використання власного 1inch router через direct contract calls.

Прямий виклик 1inch Aggregation Router через eth_call — отримуємо quote без HTTP запиту і без rate limits. Використовуємо calldata з SDK для симуляції:

const data = routerContract.interface.encodeFunctionData("swap", [
  executor, desc, data
]);
const result = await provider.call({ to: ROUTER_ADDRESS, data });

Але це потребує розуміння внутрішнього формату 1inch — він змінюється між версіями роутера.

Парсинг маршруту

Відповідь /quote містить protocols — масив масивів, що представляє split route:

"protocols": [
  [
    [{"name": "UNISWAP_V3", "part": 60, "fromTokenAddress": "...", "toTokenAddress": "..."}],
    [{"name": "CURVE", "part": 40, ...}]
  ]
]

Перший рівень — parallel paths (split за об'ємом). Другий рівень — sequential hops всередині шляху. Для побудови графа ліквідності: нормалізуємо імена протоколів, агрегуємо за парами токенів, відстежуємо динаміку part у часі.

Чому Jupiter Price API кращий для аналітики?

V6 Quote API

GET /quote?inputMint=...&outputMint=...&amount=...&slippageBps=50

Відповідь включає routePlan — детальний маршрут через AMM-и Solana:

"routePlan": [
  {
    "swapInfo": {
      "ammKey": "...",
      "label": "Orca (Whirlpool)",
      "inputMint": "...",
      "outputMint": "...",
      "inAmount": "1000000",
      "outAmount": "998432",
      "feeAmount": "3000",
      "feeMint": "..."
    },
    "percent": 100
  }
]

Для скрапінгу: ammKey — публічний ключ пулу на Solana. Можна прямо запросити стан пулу через getAccountInfo. label — людиночитане ім'я AMM.

Price API Jupiter

Jupiter надає /price?ids=... endpoint — bulk price query для до 100 токенів за запит. Повертає ціну в USDC з вказанням ліквідності джерела. Це не quotation (немає slippage), а довідкова ціна. Оновлюється кожні 30 секунд.

Для побудови price history: опитуємо /price з потрібними парами кожні 30 секунд, зберігаємо в TimescaleDB або InfluxDB. За день — ~2880 точок на пару.

Rate limits Jupiter: публічний API без ключа — 600 requests/minute. Jupiter API Pro — вище. Гарантія безперервної роботи для production систем — використовуємо власний Jupiter self-hosted або партнерський ключ.

Архітектура скрапера

Структура даних

interface RouteSnapshot {
  timestamp: number;
  chain: "ethereum" | "solana" | "arbitrum" | ...;
  inputToken: string;
  outputToken: string;
  inputAmount: bigint;
  outputAmount: bigint;
  priceImpact: number;  // в %
  protocols: ProtocolHop[];
  source: "1inch" | "jupiter";
}

interface ProtocolHop {
  name: string;
  poolAddress: string;
  percentOfRoute: number;
  inputAmount: bigint;
  outputAmount: bigint;
}

Черга запитів і retry

Скрапер з декількома парами токенів → паралельні запити → швидке досягнення rate limit. Правильна архітектура: черга з Bull/BullMQ + Redis, configurable concurrency per source.

Retry з exponential backoff для 429 Too Many Requests: delay = Math.min(base * 2^attempt, maxDelay). Для 1inch — base = 1000ms, maxDelay = 30000ms.

Моніторинг health скрапера: prometheus метрики scraper_requests_total{status="success|error"}, scraper_latency_ms. Alert при error rate > 10% за 5 хвилин.

Зберігання та запити

TimescaleDB (PostgreSQL розширення) для часових рядів — оптимізований для WHERE timestamp BETWEEN ... AND ... запитів з агрегацією. Для скрапінгу маршрутів з високою частотою — партиціювання за днями.

ClickHouse як альтернатива для дуже високих обсягів (>10M рядків/день): columnar storage дає 10-100x швидші аналітичні запити за великими часовими діапазонами.

Що входить у роботу

1. Аналіз ваших цілей та підбір пар/частоти опитування.
2. Розробка скрапера (Node.js/TypeScript) з буферизацією та retry.
3. Інтеграція зі сховищем (TimescaleDB / ClickHouse).
4. Дашборд або API для доступу до даних (Grafana, REST).
5. Документація по форматах даних і лімітах.
6. Передача доступів і навчання вашої команди.

Орієнтири за термінами та бюджетом

Скрапер для одного джерела (1inch або Jupiter) зі зберіганням в PostgreSQL — 1-2 дні, від $800. Мультисорсний скрапер з нормалізацією даних, ClickHouse та аналітичним API — 3-5 днів, від $2000. Терміни та вартість обговорюються індивідуально — пишіть, оцінимо проект безкоштовно.

Замовте розробку скрапера під ключ за вашими вимогами — отримайте надійний інструмент для аналітики DeFi. Зв'яжіться з нами — підберемо оптимальне рішення під ваші пари та частоту опитування.

Послуги з розробки DeFi-протоколів повного циклу

Ми проектуємо модульні DeFi-протоколи, в яких математика стейблкоїнів, ліквідності та оракулів працює без збоїв. Mango Markets — краш-тест: атакуючий маніпулював spot price через один акаунт, взяв кредит під завищений колатераль і вивів велику суму. Оракул брав ціну з єдиного джерела без TWAP. Не баг у коді — це архітектурне рішення, яке стало вразливістю. Наш досвід показує: будь-який DeFi-протокол — це система ставок на те, що всі компоненти, від розрахунків до економічних стимулів, вибудовані правильно одночасно.

Ми не пишемо код під «якщо все працює, не чіпай». Ми моделюємо стрес-сценарії: каскадні ліквідації, депег, флеш-позики. І тільки після цього — події, які не зламають протокол. Наші послуги з розробки DeFi-протоколів повного циклу охоплюють усі етапи — від архітектури до запуску та підтримки.

Чому оракули є критичним компонентом DeFi?

Більшість великих зломів DeFi починалися з маніпуляції оракулом. Розберемо три шари, які ми використовуємо в кожному проекті.

Spot price як оракул — не варіант. Uniswap v2 spot price можна зсунути flash loan за одну транзакцію. Ціна в кінці блоку — єдине, що потрапляє в state, її і читає оракул. Схема атаки: зайняти через flash loan → купити актив у пул → ціна піднялася → взяти кредит під завищений колатераль → продати актив → повернути flash loan. Одна транзакція.

TWAP як захист. Uniswap v3 observe() усереднює ціну за період (30 хвилин). Маніпуляція вимагає утримувати ціну кілька блоків — це коштує дорого. Але TWAP повільно реагує на легітимні зміни, що відкриває вікно для arbitrage на ліквідації при різких рухах.

Chainlink Price Feeds — агрегація від багатьох data providers з медіаною. Стандарт для lending. Проблема: heartbeat 1–24 години та deviation threshold 0.5%. Якщо ціна не рухається, фід може не оновлюватися добу. У волатильному ринку — lag.

У продакшені ми використовуємо дворівневу перевірку: Chainlink aggregator + Uniswap v3 TWAP як верифікатор. Якщо розбіжність більша за N% — транзакція відхиляється, система ставиться на паузу.

Як захистити DeFi-протокол від атак флеш-позик?

Flash loan перетворює будь-якого користувача на володаря необмеженого капіталу на одну транзакцію. Тому при проектуванні контрактів ми припускаємо: доступ до необмеженого капіталу є у всіх. Це змінює threat model повністю.

Легітимні застосування flash loan — арбітраж, ліквідація, самоліквідація. Але протокол повинен перевіряти, що позика не використовується для маніпуляції: оракул не повинен читати ціну з пулу, який можна зсунути за одну транзакцію. Ми додаємо перевірки на block.timestamp та мінімальну глибину ліквідності.

Як ми забезпечуємо безпеку DeFi-протоколу?

Ми не покладаємося на один шар захисту. Кожен контракт проходить формальну верифікацію математичної моделі, стресове тестування на форку mainnet та аудит щонайменше двома незалежними командами (серед яких сертифіковані аудитори ConsenSys Diligence). Гарантія — багаторічний досвід розробки та супроводу протоколів із сукупним TVL понад $500M.

Ключові компоненти DeFi-архітектури

AMM: від x*y=k до concentrated liquidity

Uniswap v2 використовує x * y = k. LP-токени ERC-20 — кожен пул випускає свій токен пропорційно частці. Проблема: ліквідність розмазана по всій кривій, більша частина не використовується.

Uniswap v3 та позиції ERC-721: concentrated liquidity — LP надає ліквідність у діапазоні [priceLow, priceHigh]. Capital efficiency до 4000x для стабільних пар. Але ERC-721 ламає vault-стратегії під ERC-20. Управління ranges — окрема інженерна задача: позиція виходить з діапазону при русі ціни, перестає заробляти fees, стає single-asset. Протоколи типу Arrakis Finance автоматично rebalance. Якщо будуєте vault поверх v3, потрібен власний range manager або інтеграція з існуючим.

Slippage у v3 розраховується через sqrtPriceX96 — 96-бітна fixed-point математика. Помилки на фронтенді призводять до розбіжності між видимим і фактичним slippage.

Curve для пар з близькими цінами (stablecoin/stablecoin, stETH/ETH) використовує інваріант, що комбінує constant product і constant sum. Менше slippage в діапазоні peg. Контракти на Vyper, код математично щільний, аудитувати складно.

Lending протоколи: collateral, liquidation, bad debt

LTV визначає максимальний кредит під колатераль. Liquidation threshold — рівень ліквідації. Різниця — буфер для liquidator. Типовий приклад: LTV 75%, liquidation threshold 80%, bonus 5%. Якщо ціна падає на 20%+, позиція відкрита до ліквідації.

Каскадні ліквідації: багато позицій ліквідується одночасно → ліквідатори продають колатераль → ціна падає → наступна хвиля. LUNA/UST — класичний каскад.

Якщо колатераль знецінюється швидше ліквідації, протокол отримує bad debt. Aave використовує Safety Module (застейканий AAVE), Compound — reserves. Без backstop bad debt соціалізується через dilution supply-токена або взаємозалік.

Проектування системи ліквідації вимагає моделювання стрес-сценаріїв: падіння єдиного liquidation bot, високий gas, делістинг колатералю.

Yield farming та incentive mechanics

Liquidity mining — роздача токенів управління LP-провайдерам. Проблема mercenary capital: фармери приходять, продають токени, йдуть. TVL фіктивний.

Стійкі механіки: protocol-owned liquidity (Olympus bonding), veToken (CRV locked → boost + governance), locked staking з penalty. Ve-модель при неправильній реалізації створює governance concentration. Потрібен timelock на зміни gauge weights та ліміти на votingPower.

Що входить у нашу розробку DeFi-протоколів

• Архітектурна документація: діаграми взаємодії контрактів, стрес-тести ліквідацій, розрахунки оракулів.
• Реалізація на Solidity 0.8.x з OpenZeppelin 5.x (AccessControl, ReentrancyGuard, Pausable, TimelockController) та Solmate для gas-optimised base contracts.
• Foundry fork-тести на реальному mainnet (Uniswap, Chainlink, Aave) — тести до деплою покривають всі сценарії. Завдяки Foundry час тестування скорочується на 80% порівняно з Hardhat.
• Аудит: мінімум два незалежних аудитори для TVL від значного рівня. Code4rena або Sherlock для bug bounty.
• Деплой з Gnosis Safe 3/5 multisig + timelock 48–72 години.
• Моніторинг через Tenderly (alerts, симуляції), OpenZeppelin Defender (automation), Forta (on-chain threat detection).
• Підтримка після запуску: оновлення, патчі, апгрейди через proxy.

Наші компетенції та досвід

Ми розробляємо DeFi-протоколи з моменту активного розвитку ринку — за цей час реалізували 30+ проектів із загальним TVL понад $500M. Серед клієнтів — протоколи в топ-20 за TVL на Ethereum, Arbitrum та Base. Команда сертифікованих розробників Solidity, які пройшли аудиторські треки ConsenSys Diligence. Гарантія якості підтверджена багаторічним досвідом та відсутністю інцидентів після запуску.

Терміни

• DEX з AMM (Uniswap v2 fork): 6–10 тижнів
• Lending protocol (Aave-style, один колатераль): 3–5 місяців
• Yield aggregator з кількома стратегіями: 2–4 місяці
• Повноцінний DeFi-протокол з governance: 5–8 місяців включаючи аудит

Вартість розраховується індивідуально — зв'яжіться для оцінки вашого проекту. Отримайте консультацію з архітектури DeFi-протоколу — ми проаналізуємо ризики та запропонуємо оптимальне рішення.