Разработка системы бэктестинга DeFi-стратегий

Разработка системы бэктестинга DeFi-стратегий

«Стратегия показывала 200% APY на бэктесте» — часто это значит, что бэктест был написан неправильно. Самая частая ошибка: стратегия использует closing price свечи, по которой она же и принимает решение о входе. Это look-ahead bias — в реальном времени ты не знаешь closing price текущей свечи. Второй вариант: бэктест игнорирует gas costs и slippage, превращая убыточную стратегию в прибыльную на бумаге.

DeFi-специфичный бэктестинг сложнее традиционного финансового, потому что нужны on-chain данные: исторические состояния пулов, реальные ставки lending протоколов, исторический gas price, события ликвидаций и flash loans. Всё это меняется поблочно.

Источники исторических on-chain данных

The Graph и subgraph архивы

The Graph индексирует события on-chain с блока деплоя. Для большинства крупных DeFi протоколов (Uniswap v2/v3, Aave v2/v3, Compound, Curve) существуют официальные subgraphs с историей всех swap, deposit, borrow событий.

Проблема: hosted service The Graph имеет rate limits и периодически теряет данные при реиндексации. Для серьёзного бэктестинга нужна либо собственная Graph Node с архивной нодой Ethereum, либо коммерческие источники (Dune Analytics, Flipside Crypto, Goldsky).

Dune Analytics — SQL-интерфейс к декодированным on-chain данным. Позволяет писать запросы по событиям любого контракта. Ограничение: API для программного доступа дорогой, но для построения датасетов разовые выгрузки бесплатны.

Архивные ноды

Некоторые данные нельзя получить из событий — нужно читать state конкретного блока. Например: balanceOf адреса в историческом блоке, totalSupply токена, цена в AMM пуле в конкретный момент.

Для этого нужна архивная нода (archive node) — полная история state. Infura, Alchemy, QuickNode предоставляют архивный доступ через eth_call с параметром blockNumber. Самостоятельная архивная нода Ethereum занимает 12+ TB.

from web3 import Web3

w3 = Web3(Web3.HTTPProvider(ARCHIVE_RPC_URL))

def get_pool_reserves_at_block(pool_address: str, block_number: int) -> tuple:
    """Получение резервов Uniswap v2 пула в конкретном блоке"""
    pool = w3.eth.contract(address=pool_address, abi=UNISWAP_V2_PAIR_ABI)
    reserves = pool.functions.getReserves().call(block_identifier=block_number)
    return reserves[0], reserves[1]

Архитектура системы бэктестинга

Слой данных

Загружаем и нормализуем исторические данные в локальную PostgreSQL базу. Схема:

-- Исторические своп события Uniswap v3
CREATE TABLE uniswap_v3_swaps (
    block_number    BIGINT NOT NULL,
    block_timestamp TIMESTAMPTZ NOT NULL,
    tx_hash         BYTEA NOT NULL,
    pool_address    VARCHAR(42) NOT NULL,
    amount0         NUMERIC(78, 0),
    amount1         NUMERIC(78, 0),
    sqrt_price_x96  NUMERIC(78, 0),
    tick            INTEGER,
    liquidity       NUMERIC(78, 0),
    PRIMARY KEY (tx_hash, pool_address)
);

-- Исторические lending ставки (Aave)
CREATE TABLE aave_rate_history (
    block_number        BIGINT NOT NULL,
    block_timestamp     TIMESTAMPTZ NOT NULL,
    asset               VARCHAR(42) NOT NULL,
    liquidity_rate      NUMERIC(40, 0),  -- RAY
    variable_borrow_rate NUMERIC(40, 0),
    utilization_rate    NUMERIC(20, 18),
    PRIMARY KEY (block_number, asset)
);

-- Исторический gas price
CREATE TABLE gas_price_history (
    block_number    BIGINT PRIMARY KEY,
    block_timestamp TIMESTAMPTZ NOT NULL,
    base_fee_gwei   NUMERIC(20, 9),
    priority_fee_p50 NUMERIC(20, 9)
);

Симуляционный движок

Движок проходит по блокам последовательно, для каждого блока вызывает стратегию с доступными данными:

class BacktestEngine:
    def __init__(self, strategy: Strategy, start_block: int, end_block: int):
        self.strategy = strategy
        self.db = DataLayer()
        
    def run(self) -> BacktestResult:
        portfolio = Portfolio(initial_capital=self.strategy.config.initial_capital)
        
        for block_data in self.db.iter_blocks(self.start_block, self.end_block):
            # Только данные до текущего блока — no look-ahead
            context = MarketContext(
                block=block_data,
                prices=self.db.get_prices_at(block_data.number),
                lending_rates=self.db.get_rates_at(block_data.number),
                gas_price=block_data.base_fee + block_data.priority_fee_p50,
            )
            
            signals = self.strategy.generate_signals(context, portfolio)
            
            for signal in signals:
                # Применяем реалистичное исполнение
                execution = self.simulate_execution(signal, context)
                portfolio.apply(execution)
                
        return BacktestResult(portfolio=portfolio, metrics=self.compute_metrics(portfolio))
    
    def simulate_execution(self, signal: Signal, ctx: MarketContext) -> Execution:
        """Учитываем slippage, gas, partial fills"""
        slippage = self.estimate_slippage(signal.size, ctx.pool_liquidity)
        gas_cost_usd = ctx.gas_price * signal.estimated_gas * ctx.eth_price / 1e18
        executed_price = signal.direction * slippage
        
        return Execution(
            price=executed_price,
            gas_cost=gas_cost_usd,
            timestamp=ctx.block.timestamp,
        )

Расчёт slippage

Для Uniswap v2: price_impact = trade_size / (pool_reserve × 2). Для v3 — точнее через математику concentrated liquidity, но для быстрых прикидок v2 формула работает.

Для lending протоколов slippage не применяется, но есть utilization impact: крупный депозит снижает utilization rate и соответственно APR следующих периодов.

Метрики бэктеста

Недостаточно смотреть только на P&L. Важные метрики:

Gas-adjusted APY — ключевая метрика именно для DeFi. Стратегия с 50% APY и еженедельным rebalancingом на Ethereum mainnet может иметь 30% gas-adjusted APY. Та же стратегия на Arbitrum — 45% (gas в 50x дешевле).

Стек

Python — pandas для временных рядов, sqlalchemy для работы с PostgreSQL. PostgreSQL — хранение исторических данных (TimescaleDB для временных рядов опционально). The Graph / Dune — выгрузка данных. Plotly / Dash — интерактивные графики P&L, drawdown, equity curve. Celery — очереди для параллельных бэктестов (перебор параметров).

Ориентиры по срокам

Система для одного протокола и одной стратегии с базовыми метриками — 1-2 недели. Полноценная мульти-протокольная платформа с параллельным перебором параметров и dashboard — 4-6 недель. Время на сбор исторических данных зависит от глубины архива. Стоимость рассчитывается индивидуально.