Кастомные дашборды аналитики на Dune: разработка под ключ

Разработка кастомных аналитических дашбордов на Dune

Вы запустили DeFi-протокол и хотите видеть реальную картину: сколько пользователей ежедневно вызывает ваш смарт-контракт, какой объём ликвидности в пулах, как меняется TVL. Ручной сбор данных из Etherscan или The Graph — это часы бесполезных кликов, а готовые дашборды не учитывают вашу токеномику и специфичные события. Мы решаем эту задачу: разрабатываем кастомные дашборды на Dune Analytics, которые дают ответы за секунды, а не часы. Экономия на аналитике достигает $3 000 в месяц, а окупаемость инвестиций — менее 3 месяцев.

Наш опыт — 10+ лет в блокчейн-разработке, более 50 успешных дашбордов для DeFi-протоколов, NFT-коллекций и инфраструктурных проектов. Мы не просто пишем SQL: мы строим продукты, которые экономят ресурсы вашей команды. Сложность Dune не в инструменте — она в понимании структуры блокчейн-данных в реляционной модели. Одна ошибка в JOIN — и запрос выполняется 5 минут вместо секунд. Мы знаем, как этого избежать.

Устройство данных в Dune

Dune работает с двумя уровнями таблиц. Использование декодированных таблиц снижает время запроса на 70%.

Дополнительно существуют абстракции данных: dex.trades, prices.usd из Spellbook. Они агрегируют данные по множеству протоколов, избавляя от необходимости писать JOIN на каждом проекте.

Типичные ошибки и оптимизация

Почему важна оптимизация SQL-запросов?

Полный скан без фильтра по дате — главная причина таймаутов. Фильтруйте block_time всегда:

-- ПЛОХО: полный скан всей истории
SELECT date_trunc('day', block_time), count(*)
FROM ethereum.transactions
WHERE "to" = 0xA0b86991c6218b36c1d19D4a2e9Eb0cE3606eB48

-- ХОРОШО: ограничиваем 90 днями
SELECT date_trunc('day', block_time), count(*)
FROM ethereum.transactions
WHERE "to" = 0xA0b86991c6218b36c1d19D4a2e9Eb0cE3606eB48
  AND block_time >= now() - interval '90 days'

Избыточные JOIN на erc20_ethereum.evt_Transfer — таблица содержит миллиарды строк. Добавляйте временной диапазон:

-- ПЛОХО: JOIN без фильтра
SELECT t.from, SUM(t.value)
FROM erc20_ethereum.evt_Transfer t
JOIN my_users u ON t."from" = u.address
WHERE t.contract_address = 0xdAC17F958D2ee523a2206206994597C13D831ec7
GROUP BY 1

-- ХОРОШО: с фильтром по evt_block_time
SELECT t.from, SUM(t.value / 1e6) as usdt_sent
FROM erc20_ethereum.evt_Transfer t
JOIN my_users u ON t."from" = u.address
WHERE t.contract_address = 0xdAC17F958D2ee523a2206206994597C13D831ec7
  AND t.evt_block_time >= now() - interval '30 days'
GROUP BY 1
ORDER BY 2 DESC

Метод snapshot + delta

Для дашбордов с исторической глубиной свыше 30 дней используем двухуровневую схему:

• Snapshot: тяжёлый запрос выполняется раз в сутки (кешируется).
• Delta: лёгкий запрос за последние 24 часа.
• Объединение через UNION ALL.

Это даёт пользователю актуальные данные без 5-минутного ожидания. Экономия времени вычислений — до 90%.

WITH historical AS (
    SELECT * FROM snapshot_table  -- пересчитывается раз в день
),
delta AS (
    SELECT * FROM live_table
    WHERE evt_block_time >= now() - interval '1 day'
)
SELECT * FROM historical
UNION ALL
SELECT * FROM delta

Что такое Spellbook и зачем его использовать?

Spellbook (Dune V2) — это dbt-проект с готовыми моделями: prices.usd (цены токенов), dex.trades (все DEX-свапы), tokens.erc20 (символы и decimals). Не нужно каждый раз джойнить price feeds — используйте готовые таблицы. Мы интегрируем Spellbook в каждый дашборд для ускорения разработки в 2 раза. Официальная документация Spellbook содержит полный список моделей.

Пример: TVL протокола

WITH deposits AS (
    SELECT
        date_trunc('day', evt_block_time) AS day,
        token,
        SUM(amount / POWER(10, decimals)) AS amount
    FROM protocol_ethereum.Pool_evt_Deposit
    JOIN tokens.erc20 ON token = contract_address AND blockchain = 'ethereum'
    WHERE evt_block_time >= now() - interval '180 days'
    GROUP BY 1, 2
),
withdrawals AS (
    SELECT
        date_trunc('day', evt_block_time) AS day,
        token,
        -SUM(amount / POWER(10, decimals)) AS amount
    FROM protocol_ethereum.Pool_evt_Withdraw
    JOIN tokens.erc20 ON token = contract_address AND blockchain = 'ethereum'
    WHERE evt_block_time >= now() - interval '180 days'
    GROUP BY 1, 2
),
daily_flows AS (
    SELECT day, token, SUM(amount) AS net_flow
    FROM (SELECT * FROM deposits UNION ALL SELECT * FROM withdrawals)
    GROUP BY 1, 2
)
SELECT
    day,
    token,
    SUM(net_flow) OVER (PARTITION BY token ORDER BY day) AS cumulative_tvl
FROM daily_flows
ORDER BY day DESC, token

Архитектура дашборда

Хороший дашборд — это продукт. Иерархия метрик: top-level KPI (TVL, Volume, Users) → drill-down (по сетям, токенам) → детали (топ адресов). Используйте параметры {{token_address}} для интерактивности. Например, дашборд для AMM позволяет выбрать пул, временной диапазон и сразу видеть объём, комиссии, impermanent loss.

Как мы строим дашборд: пошаговый процесс

1. Анализ протокола и определение ключевых метрик. Изучаем ABI контракта, выделяем события Deposit, Withdraw, Swap. Составляем маппинг полей.
2. Написание SQL-запросов с оптимизацией по времени (снижаем latency на 70%). Используем декодированные таблицы и Spellbook.
3. Настройка визуализаций: выбор типов графиков (line, bar, area), параметризация (сетевые фильтры, диапазоны дат), кеширование.
4. Документация логики расчётов для вашей команды — описание каждой метрики, формулы, ссылки на контракты.
5. Публикация в открытый доступ с поддержкой. После релиза мы мониторим ошибки и корректируем запросы при форках.

Процесс работы

• Аналитика: изучаем смарт-контракт, выявляем ключевые события.
• Проектирование: создаём прототип дашборда на Dune.
• Реализация: пишем оптимизированные SQL-запросы, настраиваем параметры.
• Тест: проверяем временные диапазоны, корректность агрегаций.
• Деплой: публикуем дашборд, подключаем кеширование.

Сроки — от 3 до 10 дней в зависимости от сложности. Свяжитесь с нами — и мы спроектируем дашборд, который даст полную картину по вашему протоколу. Закажите разработку под ключ: гарантируем, что все запросы выполняются <30 секунд, кеш обновляется с заданной периодичностью, дашборд публикуется в открытый доступ. Получите консультацию уже сегодня.

Развертывание блокчейн-инфраструктуры: ноды, RPC, индексация

Subgraph упал в 3:47 ночи. К утру пользователи видели устаревшие балансы, транзакции «висели» в UI, поддержка получила 47 тикетов за час. Причина: handler в subgraph упал на транзакции с нестандартным event log — и весь индекс встал. Мы сталкивались с такими ситуациями десятки раз. Наш опыт показывает: блокчейн-инфраструктура не прощает gaps в observability. Гарантировать uptime без многослойного мониторинга и fault‑tolerant архитектуры невозможно. За 8 лет работы с Ethereum, Polygon и Solana мы выработали подход, который позволяет предсказуемо развёртывать инфраструктуру любого масштаба — от одиночной ноды до мультичейн‑сетки с десятками субграфов.

Архитектура RPC-слоя

Каждое взаимодействие dApp с блокчейном идёт через RPC — JSON‑RPC API, которую предоставляет нода. Три варианта:

Managed providers — Alchemy, QuickNode, Infura, Ankr. Минимальные операционные расходы, SLA, встроенный мониторинг. Ограничения: rate limits (Alchemy Free: 300 RU/sec), vendor lock, потенциальные downtime при инцидентах провайдера. Для большинства проектов — правильный выбор на старте.

Собственные ноды — полный контроль, нет rate limits, нет зависимости от третьих сторон. Стоимость: архивная нода Ethereum занимает 2.5–3TB SSD, требует мощный сервер и DevOps‑поддержку. Sync с нуля на Ethereum через Geth/Nethermind — 3–7 дней. Оправдано при высокой нагрузке или требованиях к latency.

Гибрид — собственная нода как primary, managed provider как fallback. Стандарт для протоколов с TVL от $10M. Правильная балансировка может сократить расходы на 20–30% по сравнению с чисто managed‑схемой. При нагрузке 10 млн запросов в месяц гибрид экономит от $1500 до $3000.

Как настроить RPC-слой без единой точки отказа?

Минимум два провайдера, DNS round‑robin с health check каждые 5 секунд, автоматическое переключение на fallback при latency >500 мс. На практике это даёт 99.99% доступности при любом сбое провайдера. Для протоколов с TVL от $10M мы рекомендуем собственный HA‑прокси (nginx или Envoy) перед двумя managed‑провайдерами.

Почему гибридная RPC-схема выгоднее чисто managed?

При 50 млн запросов в месяц Alchemy стоит $2000+, QuickNode — $2500+, собственная нода — $400–600 за хостинг + DevOps. Гибрид: primary — своя нода ($500), fallback — QuickNode ($500), итого ~$1000. Экономия 50–60% без потери SLA.

Клиенты нод Ethereum

Execution clients: Geth (наиболее используемый), Nethermind (C#, быстрая sync), Besu (Java, enterprise), Erigon (самый быстрый sync, архивный режим эффективен по диску — ~2TB вместо 3TB).

Consensus clients (post‑Merge): Lighthouse (Rust), Prysm (Go), Teku (Java), Nimbus (Nim). Каждая нода после The Merge требует пары execution + consensus client.

Для DevOps: eth‑docker — Docker Compose конфигурации для всех комбинаций клиентов. Настройка мониторинга через Grafana + Prometheus — обязательна, стандартный дашборд есть в репозитории каждого клиента.

The Graph: индексация событий

The Graph Protocol — decentralized indexing. Subgraph описывает какие события с каких контрактов индексировать и как трансформировать их в GraphQL схему.

Структура subgraph:

• subgraph.yaml — манифест: адреса контрактов, startBlock, события которые обрабатываются
• schema.graphql — GraphQL схема entities
• src/mapping.ts — AssemblyScript обработчики событий

dataSources:
  - kind: ethereum
    name: UniswapV3Pool
    network: mainnet
    source:
      address: "0x88e6A0c2dDD26FEEb64F039a2c41296FcB3f5640"
      abi: UniswapV3Pool
      startBlock: 12370624
    mapping:
      eventHandlers:
        - event: Swap(indexed address,indexed address,int256,int256,uint160,uint128,int24)
          handler: handleSwap

AssemblyScript handlers — не TypeScript. Нет nullable types, нет closures, нет многих стандартных API. Ошибка в handler останавливает индексацию subgraph-а на той транзакции. Важно: добавлять try‑catch на операции которые могут падать (например store.get() для entity которая может не существовать).

Как избежать остановки индексации субграфа?

Лог файлы Graph Node мониторятся в реальном времени, при hasIndexingErrors = true срабатывает алерт и автоматический рестарт ноды (через systemd или Kubernetes). Типичный downtime при ошибке — 150–300 секунд до восстановления. Дополнительно: для production ставим watchdog, который перезапускает Graph Node если subgraph lag превышает 50 блоков.

Выбор между Hosted Service и Decentralized Network

Graph Hosted Service (бесплатный, централизованный) deprecated в пользу Subgraph Studio + Graph Network. Для продакшн: деплой на Graph Network с GRT curation signal — субграф получает indexers пропорционально curation.

Альтернативы The Graph: Ponder (TypeScript, self-hosted, проще дебагать), Envio (ultra‑fast indexer, поддерживает EVM + non‑EVM), Subsquid (TypeScript, своя сеть), Moralis Streams (managed, webhook‑based). Наш опыт показывает: для высоконагруженных проектов с уникальной логикой эффективнее Ponder или Envio — они дают полный контроль над процессом и не требуют токеномики GRT.

Webhooks и real-time нотификации

Alchemy Webhooks и QuickNode Streams позволяют получать события в реальном времени через HTTP webhook или WebSocket. Для мониторинга адресов, новых транзакций, минтов — это быстрее чем polling RPC.

Tenderly — платформа для мониторинга и алертов. Можно настроить alert на конкретный event из контракта, на изменение баланса, на вызов функции с определёнными параметрами. Симуляция транзакций через Tenderly API — бесценно для debugging.

Мониторинг и observability

Минимальный стек мониторинга для протокола:

On‑chain: OpenZeppelin Defender Sentinel — watches contract events, вызывает webhook или Autotask при срабатывании условий. Forta Network — community‑maintained боты детектируют аномалии (большие withdrawals, flash loans, governance attacks).

Infrastructure: Grafana + Prometheus для нод, Datadog или Grafana Cloud для managed метрик. Alert на: нода отстала на 10+ блоков, RPC latency > 500ms, subgraph lag > 100 блоков.

Uptime: Better Uptime или PagerDuty на RPC endpoint и subgraph health endpoint (The Graph предоставляет _meta { hasIndexingErrors, block { number } }).

Почему мониторинг без Tenderly недостаточен?

Tenderly даёт симуляцию транзакций и детальные трейсы — это критично для отладки ошибок в субграфах и смарт‑контрактах. Forta же фокусируется на аномалиях в сети, а не на вашей инфраструктуре. Комбинация Tenderly + собственный дашборд Grafana покрывает 90% сценариев инцидентов.

Мультичейн инфраструктура

Протокол на 5 чейнах = 5 отдельных RPC endpoints, 5 subgraphs, 5 мониторинг‑конфигов. Это управляемо, но нужна автоматизация деплоя.

Для subgraph multi‑network деплой: graph deploy --network mainnet, graph deploy --network arbitrum-one и т.д. с единой кодовой базой и network‑specific адресами в отдельных файлах конфигурации.

Chainlink CCIP и LayerZero для cross‑chain messaging требуют мониторинга состояния обоих чейнов и транзакций на intermediate relayers. Реорг на source chain при уже подтверждённом минте на target chain — классическая проблема мостов. Решение: ждать finality (на Ethereum ~15 минут после Merge для экономической finality) перед подтверждением на target chain.

Процесс настройки инфраструктуры

1. Аудит текущего стека — определяем чейны, объём запросов, требования к latency и доступности.
2. Проектирование архитектуры — выбор провайдеров, балансировка, redundancy.
3. Разработка subgraph — манифест → схема → handlers → тестирование на локальной Graph Node → деплой на testnet → mainnet.
4. Конфигурация мониторинга — Tenderly alerts, Grafana дашборд, PagerDuty интеграция.
5. Документация и runbook — что делать при: subgraph fell behind, RPC downtime, нода desync.
6. Передача в эксплуатацию — обучение команды, передача доступов, поддержка первый месяц.

Что входит в работу

• Развёртывание managed или self‑hosted нод Ethereum, Polygon, BNB Chain
• Настройка RPC‑слоя с primary/fallback и load balancing
• Разработка и деплой subgraph под ваш протокол
• Подключение мониторинга (Tenderly, Grafana, алерты)
• Создание runbook и документации по эксплуатации
• Обучение команды (до 4 часов онлайн)
• Поддержка в течение 30 дней после сдачи

Сроки

Все проекты ведутся в репозитории на GitHub/GitLab с CI/CD, код конфигураций остаётся у вас. Закажите развертывание инфраструктуры — расскажем, как сократить расходы на 20–30% без потери надёжности. JSON‑RPC спецификация, документация The Graph. Получите консультацию — покажем, как мы развёртывали инфраструктуру для протокола с TVL $50M+ на Ethereum и Arbitrum.

Свяжитесь с нами.