Сбор данных с DEX-агрегаторов: 1inch, Jupiter

При построении аналитики DeFi-рынков вы сталкиваетесь с проблемой: как получить чистые данные о маршрутизации и ценах с DEX-агрегаторов, не упираясь в их rate limits? 1inch и Jupiter — ключевые источники, но их API имеют ограничения, а маршруты часто меняются. Мы разработали скрапер, который собирает данные с обоих агрегаторов, нормализует их и сохраняет в TimescaleDB или ClickHouse. За 7+ лет работы с Web3 (более 50 проектов по агрегации) мы отработали архитектуру, устойчивую к перебоям.

Скрапинг DEX-агрегаторов — это не просто вызов API по расписанию. Это умение обрабатывать разные форматы ответов, обходить лимиты, нормализовать данные из 1inch (EVM) и Jupiter (Solana) в единую схему и хранить их с учётом временных меток для последующей аналитики. В нашей практике были проекты, где требовалось собирать данные по 500+ пар с частотой раз в 10 секунд — это потребовало настройки BullMQ и Redis для координации запросов.

В этой статье разберём, как парсить маршруты 1inch и Jupiter, обходить rate limits, хранить данные и строить на них аналитику. Также мы обсудим сбор MEV-данных, парсинг свопов на EVM-сетях и практические приёмы скрапинга DEX-агрегаторов.

Как собирать данные с 1inch API без rate limits?

Swap API vs Fusion API

Swap API (/swap/v6.0/{chain}/swap) — классическая агрегация. Запрос возвращает:

• tx объект с полными данными транзакции
• protocols — список протоколов в маршруте с долями
• toAmount — минимальная выходная сумма

Для скрапинга ценовых данных без исполнения свопа используем /quote endpoint: нет slippage параметра, нет fromAddress, возвращает только котировку. Это не создаёт нагрузку на RPC и не требует разрешений.

Fusion API (/fusion/v1.0/{chain}/quote/receive) — другая модель: RFQ (request for quote) с участием market maker-ов. Маршрутизация непрозрачна, протоколы не раскрываются полностью. Для скрапинга маршрутов — менее полезен.

Rate limits и обходы

1inch Public API: 1 request/second, 500k requests/month бесплатно. Для интенсивного скрапинга — 1inch Dev Portal с Pro планом или использование собственного 1inch router через direct contract calls.

Прямой вызов 1inch Aggregation Router через eth_call — получаем quote без HTTP запроса и без rate limits. Используем calldata из SDK для симуляции:

const data = routerContract.interface.encodeFunctionData("swap", [
  executor, desc, data
]);
const result = await provider.call({ to: ROUTER_ADDRESS, data });

Но это требует понимания внутреннего формата 1inch — он меняется между версиями роутера.

Парсинг маршрута

Ответ /quote содержит protocols — массив массивов, представляющий split route:

"protocols": [
  [
    [{"name": "UNISWAP_V3", "part": 60, "fromTokenAddress": "...", "toTokenAddress": "..."}],
    [{"name": "CURVE", "part": 40, ...}]
  ]
]

Первый уровень — parallel paths (split по объёму). Второй уровень — sequential hops внутри пути. Для построения графа ликвидности: нормализуем имена протоколов, агрегируем по парам токенов, отслеживаем динамику part во времени.

Почему Jupiter Price API лучше для аналитики?

V6 Quote API

GET /quote?inputMint=...&outputMint=...&amount=...&slippageBps=50

Ответ включает routePlan — детальный маршрут через AMM-ы Solana:

"routePlan": [
  {
    "swapInfo": {
      "ammKey": "...",
      "label": "Orca (Whirlpool)",
      "inputMint": "...",
      "outputMint": "...",
      "inAmount": "1000000",
      "outAmount": "998432",
      "feeAmount": "3000",
      "feeMint": "..."
    },
    "percent": 100
  }
]

Для скрапинга: ammKey — публичный ключ пула на Solana. Можно прямо запросить состояние пула через getAccountInfo. label — человекочитаемое имя AMM.

Price API Jupiter

Jupiter предоставляет /price?ids=... endpoint — bulk price query для до 100 токенов за запрос. Возвращает цену в USDC с указанием ликвидности источника. Это не quotation (нет slippage), а справочная цена. Обновляется каждые 30 секунд.

Для построения price history: опрашиваем /price с нужными парами каждые 30 секунд, сохраняем в TimescaleDB или InfluxDB. За день — ~2880 точек на пару.

Rate limits Jupiter: публичный API без ключа — 600 requests/minute. Jupiter API Pro — выше. Гарантия беспрерывной работы для production систем — используем собственный Jupiter self-hosted или партнёрский ключ.

Архитектура скрапера

Структура данных

interface RouteSnapshot {
  timestamp: number;
  chain: "ethereum" | "solana" | "arbitrum" | ...;
  inputToken: string;
  outputToken: string;
  inputAmount: bigint;
  outputAmount: bigint;
  priceImpact: number;  // в %
  protocols: ProtocolHop[];
  source: "1inch" | "jupiter";
}

interface ProtocolHop {
  name: string;
  poolAddress: string;
  percentOfRoute: number;
  inputAmount: bigint;
  outputAmount: bigint;
}

Очередь запросов и retry

Скрапер с несколькими парами токенов → параллельные запросы → быстрое достижение rate limit. Правильная архитектура: очередь с Bull/BullMQ + Redis, configurable concurrency per source.

Retry с exponential backoff для 429 Too Many Requests: delay = Math.min(base * 2^attempt, maxDelay). Для 1inch — base = 1000ms, maxDelay = 30000ms.

Мониторинг health скрапера: prometheus метрики scraper_requests_total{status="success|error"}, scraper_latency_ms. Alert при error rate > 10% за 5 минут.

Хранение и запросы

TimescaleDB (PostgreSQL расширение) для временных рядов — оптимизирован для WHERE timestamp BETWEEN ... AND ... запросов с агрегацией. Для скрапинга маршрутов с высокой частотой — партиционирование по дням.

ClickHouse как альтернатива для очень высоких объёмов (>10M строк/день): columnar storage даёт 10-100x быстрее аналитические запросы по большим временным диапазонам.

Что входит в работу

1. Анализ ваших целей и подбор пар/частоты опроса.
2. Разработка скрапера (Node.js/TypeScript) с буферизацией и retry.
3. Интеграция с хранилищем (TimescaleDB / ClickHouse).
4. Дашборд или API для доступа к данным (Grafana, REST).
5. Документация по форматам данных и лимитам.
6. Передача доступов и обучение вашей команды.

Ориентиры по срокам и бюджету

Скрапер для одного источника (1inch или Jupiter) с хранением в PostgreSQL — 1-2 дня. Мультисорсный скрапер с нормализацией данных, ClickHouse и аналитическим API — 3-5 дней. Сроки и стоимость обсуждаются индивидуально — свяжитесь для точного расчёта.

Закажите разработку скрапера под ваши задачи — получите надёжный инструмент для аналитики DeFi. Свяжитесь с нами — подберём оптимальное решение под ваши пары и частоту опроса.

Разработка DeFi-протоколов

Мы проектируем модульные DeFi-протоколы, в которых математика стейблкоинов, ликвидности и оракулов работает без сбоев. Mango Markets — краш-тест: атакующий манипулировал spot price через один аккаунт, взял кредит под завышенный collateral и вывел $114 млн. Оракул брал цену с единственного источника без TWAP. Не баг в коде — это архитектурное решение, которое стало уязвимостью. Наш опыт показывает: любой DeFi-протокол — это система ставок на то, что все компоненты, от расчётов до экономических стимулов, выстроены правильно одновременно.

Мы не пишем код под «если всё работает, не трогай». Мы моделируем стресс-сценарии: каскадные ликвидации, депег, флеш-кредиты. И только после этого — события, которые не сломают протокол.

Почему оракулы — критический компонент DeFi?

Большинство крупных взломов DeFi начинались с манипуляции оракулом. Разберём три слоя, которые мы используем в каждом проекте.

Spot price как оракул — не вариант. Uniswap v2 spot price можно сдвинуть flash loan за одну транзакцию. Цена в конце блока — единственное, что попадает в state, её и читает оракул. Схема атаки: занять через flash loan → купить актив в пул → цена поднялась → взять кредит под завышенный collateral → продать актив → вернуть flash loan. Одна транзакция.

TWAP как защита. Uniswap v3 observe() усредняет цену за период (30 минут). Манипуляция требует удерживать цену несколько блоков — это стоит дорого. Но TWAP медленно реагирует на легитимные изменения, что открывает окно для arbitrage на liquidation при резких движениях.

Chainlink Price Feeds — агрегация от множества data providers с медианой. Стандарт для lending. Проблема: heartbeat 1–24 часа и deviation threshold 0.5%. Если цена не двигается, фид может не обновляться сутки. В волатильном рынке — lag.

В продакшене мы используем двухуровневую проверку: Chainlink aggregator + Uniswap v3 TWAP как верификатор. Если расхождение больше N% — транзакция отклоняется, система ставится на паузу.

Как защитить DeFi-протокол от flash loan атак?

Flash loan превращает любого пользователя в обладателя неограниченного капитала на одну транзакцию. Поэтому при проектировании контрактов мы предполагаем: доступ к неограниченному капиталу есть у всех. Это меняет threat model полностью.

Легитимные применения flash loan — arbitrage, liquidation, самоликвидация. Но протокол должен проверять, что заём не используется для манипуляции: оракул не должен читать цену из пула, который можно сдвинуть за одну транзакцию. Мы добавляем проверки на block.timestamp и минимальную глубину ликвидности.

Ключевые компоненты DeFi-архитектуры

AMM: от x*y=k до concentrated liquidity

Uniswap v2 использует x * y = k. LP-токены ERC-20 — каждый пул выпускает свой токен пропорционально доле. Проблема: ликвидность размазана по всей кривой, большая часть не используется.

Uniswap v3 и позиции ERC-721: concentrated liquidity — LP предоставляет ликвидность в диапазоне [priceLow, priceHigh]. Capital efficiency до 4000x для стабильных пар. Но ERC-721 ломает vault-стратегии под ERC-20. Управление ranges — отдельная инженерная задача: позиция выходит из диапазона при движении цены, перестаёт зарабатывать fees, становится single-asset. Протоколы типа Arrakis Finance автоматически rebalance. Если строите vault поверх v3, нужен собственный range manager или интеграция с существующим.

Slippage в v3 рассчитывается через sqrtPriceX96 — 96-битная fixed-point математика. Ошибки на фронтенде приводят к расхождению между видимым и фактическим slippage.

Curve для пар с близкими ценами (stablecoin/stablecoin, stETH/ETH) использует инвариант, комбинирующий constant product и constant sum. Меньше slippage в диапазоне peg. Контракты на Vyper, код математически плотный, аудировать сложно.

Lending протоколы: collateral, liquidation, bad debt

LTV определяет максимальный кредит под collateral. Liquidation threshold — уровень ликвидации. Разница — буфер для liquidator. Типичный пример: LTV 75%, liquidation threshold 80%, bonus 5%. Если цена падает на 20%+, позиция открыта к ликвидации.

Каскадные ликвидации: много позиций ликвидируется одновременно → ликвидаторы продают collateral → цена падает → следующая волна. LUNA/UST 2022 — классический каскад.

Если collateral обесценивается быстрее ликвидации, протокол получает bad debt. Aave использует Safety Module (застейканный AAVE), Compound — reserves. Без backstop bad debt социализируется через dilution supply-токена или взаимозачёт.

Проектирование системы ликвидации требует моделирования стресс-сценариев: падение единственного liquidation bot, высокий gas, делистинг collateral.

Yield farming и incentive mechanics

Liquidity mining — раздача governance-токенов LP-провайдерам. Проблема mercenary capital: фармеры приходят, продают токены, уходят. TVL фиктивный.

Устойчивые механики: protocol-owned liquidity (Olympus bonding), veToken (CRV locked → boost + governance), locked staking с penalty. Ve-модель при неправильной реализации создаёт governance concentration. Нужен timelock на изменения gauge weights и лимиты на votingPower.

Что входит в нашу разработку DeFi-протоколов

• Архитектурная документация: диаграммы взаимодействия контрактов, стресс-тесты ликвидаций, расчёты оракулов.
• Реализация на Solidity 0.8.x с OpenZeppelin 5.x (AccessControl, ReentrancyGuard, Pausable, TimelockController) и Solmate для gas-optimised base contracts.
• Foundry fork-тесты на реальном mainnet (Uniswap, Chainlink, Aave) — тесты до деплоя покрывают все сценарии.
• Аудит: минимум два независимых аудитора для TVL от $1M. Code4rena или Sherlock для bug bounty.
• Деплой с Gnosis Safe 3/5 multisig + timelock 48–72 часа.
• Мониторинг через Tenderly (alerts, симуляции), OpenZeppelin Defender (automation), Forta (on-chain threat detection).
• Поддержка после запуска: обновления, патчи, апгрейды через proxy.

Наши компетенции и опыт

Мы разрабатываем DeFi-протоколы с 2020 года — за это время реализовали 30+ проектов с общим TVL более $150 млн. Среди клиентов — протоколы в топ-20 по TVL на Ethereum, Arbitrum и Base. Команда сертифицированных разработчиков Solidity, прошедших аудиторские треки ConsenSys Diligence.

DeFi на Wikipedia — базовые принципы, которые мы применяем на практике.

Сроки

• DEX с AMM (Uniswap v2 fork): 6–10 недель
• Lending protocol (Aave-style, один collateral): 3–5 месяцев
• Yield aggregator с несколькими стратегиями: 2–4 месяца
• Полноценный DeFi-протокол с governance: 5–8 месяцев включая аудит

Стоимость рассчитывается индивидуально — свяжитесь для оценки вашего проекта.

Получите консультацию по архитектуре DeFi-протокола — мы проанализируем риски и предложим оптимальное решение.