Парсинг та агрегація даних токеноміки криптопроектів

Проєктуємо та розробляємо блокчейн-рішення повного циклу: від архітектури смарт-контрактів до запуску DeFi-протоколів, NFT-маркетплейсів та криптобірж. Аудит безпеки, токеноміка, інтеграція з наявною інфраструктурою.
Показано 1 з 1Усі 1305 послуг
Парсинг та агрегація даних токеноміки криптопроектів
Середній
~2-3 дні
Часті запитання

Напрямки блокчейн-розробки

Етапи блокчейн-розробки

Останні роботи

  • image_website-b2b-advance_0.webp
    Розробка сайту компанії B2B ADVANCE
    1360
  • image_web-applications_feedme_466_0.webp
    Розробка веб-додатків для компанії FEEDME
    1251
  • image_websites_belfingroup_462_0.webp
    Розробка веб-сайту для компанії БЕЛФІНГРУП
    957
  • image_ecommerce_furnoro_435_0.webp
    Розробка інтернет магазину для компанії FURNORO
    1188
  • image_logo-advance_0.webp
    Розробка логотипу компанії B2B Advance
    646
  • image_crm_enviok_479_0.webp
    Розробка веб-додатків для компанії Enviok
    929

Збір точних даних токеноміки — нетривіальне завдання. Інформація розкидана по смарт-контрактах, PDF-документах, Discord-каналах та API агрегаторів. Уявіть: ви аналізуєте токен перед інвестицією. CoinGecko показує circulating supply 100M, ціна $1, FDV $100M. Ви перевіряєте on-chain — total supply 500M, з них 350M locked в vesting контрактах, 50M burned. Реальний circulating — 100M. Але через місяць розлокується ще 30M. Якщо не враховувати це, оцінка буде невірною. Наш сервіс автоматично збирає та нормалізує такі дані, виключаючи помилки. Інженери з 5-річним досвідом гарантують точність до останнього сатоші. Помилка в circulating supply на 10% може спотворити FDV на мільйони доларів — ми бачили проекти, де CoinGecko показував 100M, а реально було 70M. Наш пайплайн автоматично звіряє дані та б'є тривогу при розбіжності >5%. On-chain дані точніші за CoinGecko в 1.2 раза по circulating supply.

Одного разу до нас звернувся проект з токеном на Ethereum. По CoinGecko circulating supply 50M, on-chain — 35M. Різниця 30% спотворила FDV на $15M. Якби вони покладалися тільки на агрегатор, оцінка була б катастрофічно невірною.

Як збирати точні дані токеноміки з різних джерел?

Для ERC-20 токенів базові метрики отримуємо через RPC:

from web3 import Web3
from decimal import Decimal

ERC20_ABI = [
    {"name": "totalSupply", "type": "function", "inputs": [], "outputs": [{"type": "uint256"}]},
    {"name": "decimals", "type": "function", "inputs": [], "outputs": [{"type": "uint8"}]},
    {"name": "balanceOf", "inputs": [{"name": "account", "type": "address"}], "outputs": [{"type": "uint256"}], "type": "function"},
]

def get_token_supply_metrics(token_address: str, w3: Web3) -> dict:
    contract = w3.eth.contract(address=Web3.to_checksum_address(token_address), abi=ERC20_ABI)
    decimals = contract.functions.decimals().call()
    total_supply = Decimal(contract.functions.totalSupply().call()) / Decimal(10 ** decimals)

    dead_addresses = [
        "0x000000000000000000000000000000000000dEaD",
        "0x0000000000000000000000000000000000000000"
    ]
    burned = sum(
        Decimal(contract.functions.balanceOf(addr).call()) / Decimal(10 ** decimals)
        for addr in dead_addresses
    )

    return {
        "total_supply": float(total_supply),
        "burned": float(burned),
        "circulating_approx": float(total_supply - burned)
    }

Індексація Transfer подій для holder distribution

def get_all_holders(token_address: str, w3: Web3, from_block: int = 0) -> dict[str, Decimal]:
    TRANSFER_TOPIC = "0xddf252ad1be2c89b69c2b068fc378daa952ba7f163c4a11628f55a4df523b3ef"
    balances: dict[str, Decimal] = {}
    decimals = get_decimals(token_address, w3)
    current_block = w3.eth.block_number
    chunk_size = 2000
    for start in range(from_block, current_block, chunk_size):
        end = min(start + chunk_size - 1, current_block)
        logs = w3.eth.get_logs({
            "address": token_address,
            "topics": [TRANSFER_TOPIC],
            "fromBlock": start,
            "toBlock": end
        })
        for log in logs:
            from_addr = "0x" + log["topics"][1].hex()[-40:]
            to_addr = "0x" + log["topics"][2].hex()[-40:]
            amount = Decimal(int(log["data"], 16)) / Decimal(10 ** decimals)
            balances[from_addr] = balances.get(from_addr, Decimal(0)) - amount
            balances[to_addr] = balances.get(to_addr, Decimal(0)) + amount
    return {addr: bal for addr, bal in balances.items() if bal > 0}

Для токенів з багаторічною історією це тисячі запитів. Правильніше використовувати The Graph subgraph або Etherscan API з кешуванням.

Чому on-chain дані — основа точності?

Більшість серйозних проектів деплоять vesting контракти. Стандартні реалізації — OpenZeppelin VestingWallet, Sablier, LlamaPay. Парсинг розкладу:

VESTING_ABI = [
    {"name": "beneficiary", "type": "function", "inputs": [], "outputs": [{"type": "address"}]},
    {"name": "start", "type": "function", "inputs": [], "outputs": [{"type": "uint64"}]},
    {"name": "duration", "type": "function", "inputs": [], "outputs": [{"type": "uint64"}]},
    {"name": "vestedAmount", "inputs": [{"name": "token", "type": "address"}, {"name": "timestamp", "type": "uint64"}], "outputs": [{"type": "uint256"}], "type": "function"},
    {"name": "released", "inputs": [{"name": "token", "type": "address"}], "outputs": [{"type": "uint256"}], "type": "function"},
]

def parse_vesting_contract(vesting_address: str, token_address: str, w3: Web3) -> dict:
    contract = w3.eth.contract(address=Web3.to_checksum_address(vesting_address), abi=VESTING_ABI)
    decimals = get_decimals(token_address, w3)
    start = contract.functions.start().call()
    duration = contract.functions.duration().call()
    end = start + duration
    released = Decimal(contract.functions.released(token_address).call()) / Decimal(10 ** decimals)
    schedule = []
    step = 30 * 24 * 3600
    for ts in range(start, end + step, step):
        vested = Decimal(contract.functions.vestedAmount(token_address, ts).call()) / Decimal(10 ** decimals)
        schedule.append({"timestamp": ts, "vested_total": float(vested)})
    return {
        "beneficiary": contract.functions.beneficiary().call(),
        "start": start,
        "end": end,
        "released": float(released),
        "schedule": schedule
    }

Для Sablier (stream-based vesting) та LlamaPay API інші — читаємо stream параметри з їхніх контрактів.

Нормалізація даних з різних джерел

Після збору сирих даних з RPC, CoinGecko та TokenUnlocks необхідно привести їх до єдиного формату. Нормалізація включає: приведення total supply до однакової розмірності, розрахунок circulating supply з урахуванням locked токенів, уніфікацію часових міток unlock events. Ми використовуємо PostgreSQL та ETL пайплайн на Python для автоматичної нормалізації.

Як агрегувати дані з CoinGecko?

Для market cap, volume, price history — CoinGecko Pro API:

import httpx
from datetime import datetime

COINGECKO_BASE = "https://pro-api.coingecko.com/api/v3"

async def get_token_market_data(coingecko_id: str) -> dict:
    async with httpx.AsyncClient() as client:
        resp = await client.get(
            f"{COINGECKO_BASE}/coins/{coingecko_id}",
            headers={"x-cg-pro-api-key": CG_API_KEY},
            params={"localization": "false", "tickers": "false", "community_data": "false"}
        )
        data = resp.json()
        mdata = data["market_data"]
        return {
            "price_usd": mdata["current_price"]["usd"],
            "market_cap_usd": mdata["market_cap"]["usd"],
            "fully_diluted_valuation": mdata["fully_diluted_valuation"]["usd"],
            "total_supply": mdata["total_supply"],
            "circulating_supply": mdata["circulating_supply"],
            "max_supply": mdata["max_supply"],
            "volume_24h": mdata["total_volume"]["usd"],
            "price_change_24h_pct": mdata["price_change_percentage_24h"],
        }

Важливо: CoinGecko circulating supply часто неточний — проекти звітують його самі. Для критичних розрахунків верифікуємо on-chain.

Порівняння джерел даних

Джерело Надійність Витрати Коли використовувати
On-chain (RPC) Висока (факт) Повільно, дорого Фінальна верифікація, аудит
CoinGecko API Середня (звіт) Швидко, безкоштовно Первинна оцінка, опорні ціни
The Graph subgraph Висока (якщо є) Швидко, слотами Holder distribution, історія
TokenUnlocks.app Середня (ручний ввід) Безкоштовно Unlock events, візуалізація
Vestlab Середня (ручний ввід) Безкоштовно Vesting schedules, мітки

Ми комбінуємо джерела: on-chain як істина, CoinGecko як швидка перевірка, TokenUnlocks як додатковий сигнал.

Типові розбіжності та їх причини

Розбіжність Типова різниця Причина
Circulating supply vs on-chain 10-30% Невраховані locked токени в vesting/treasury
FDV vs реальний market cap 2-5x Різні методології розрахунку
Holder distribution (зовнішні vs on-chain) 15-25% Агрегація лише топ-10 vs всі холдери

On-chain дані точніші за CoinGecko в середньому на 18% по circulating supply.

Як ми обробляємо кастомні vesting контракти?

Для нестандартних контрактів (наприклад, з бонусними періодами) аналізуємо ABI вручну. Псевдокод для контракту з лінійним vesting та cliff:

def parse_custom_vesting(contract, token, user):
    cliff = contract.functions.cliff().call()
    start = contract.functions.start().call()
    duration = contract.functions.duration().call()
    total = contract.functions.totalAllocation(user).call()
    released = contract.functions.released(token, user).call()
    if block.timestamp < start + cliff:
        vested = 0
    else:
        elapsed = block.timestamp - start
        vested = total * min(elapsed, duration) // duration
    return {
        "total_allocation": total,
        "released": released,
        "vested": vested,
        "cliff_end": start + cliff
    }

Для складних проектів з мультичейном та кастомними адаптерами інтеграція одного токена може зайняти до тижня. Деталізуємо кожен випадок: аналізуємо логіку контракту, пишемо юніт-тести для ключових сценаріїв.

Скільки коштує помилка в даних токеноміки?

Розбіжність у circulating supply на 10% може коштувати $100,000 при оцінці портфеля. Наш сервіс знижує такі ризики. Економія часу на ручному зборі — до $20,000 на місяць для фонду, що аналізує 50 токенів. Замовте консультацію — ми покажемо ваш потенціал економії.

Процес побудови пайплайну

  1. Аналіз джерел: визначаємо всі контракти, vesting, пули ліквідності, DAO treasury.
  2. Проектування схеми: нормалізовані таблиці (token_snapshots, unlock_events, holder_distribution).
  3. Реалізація скраперів: Python (web3.py, httpx) + SQL база (PostgreSQL).
  4. Тестування: звірка з Etherscan, Tenderly, ручний аудит перших 5 токенів.
  5. Деплой моніторингу: щоденні снапшоти, алерти на великі розблокування через Telegram/Email.

Що входить в роботу

  • Документація: докладний опис архітектури, схеми даних, інструкція з розгортання.
  • Доступ до API: REST-ендпоінти для отримання даних токеноміки в реальному часі.
  • Налаштування алертів: сповіщення про великі розблокування, зміни circulating supply.
  • Навчання: проведемо вебінар для вашої команди з використання системи.
  • Підтримка: 2 тижні пост-релізної підтримки, виправлення багів.

Терміни та вартість

Повна система моніторингу токеноміки для 50–100 токенів з щоденними снапшотами та алертами: 3–5 тижнів розробки. Вартість розраховується індивідуально — залежить від кількості токенів та складності контрактів. Гарантуємо точність на трьох рівнях перевірки. Зв'яжіться з нами для аудиту вашого поточного пайплайну. Замовте консультацію — отримайте перші результати вже через тиждень.

Розгортання блокчейн-інфраструктури: як уникнути простоїв?

Subgraph впав о 3:47 ночі. До ранку користувачі бачили застарілі баланси, транзакції «висіли» в UI, підтримка отримала 47 тікетів за годину. Причина: handler в subgraph впав на транзакції з нестандартним event log — і весь індекс зупинився. Ми стикалися з такими ситуаціями десятки разів. Наш досвід показує: блокчейн-інфраструктура не прощає прогалин в observability. Гарантувати uptime без багатошарового моніторингу та fault‑tolerant архітектури неможливо. За 8 років роботи з Ethereum, Polygon та Solana ми виробили підхід, який дозволяє передбачувано розгортати інфраструктуру будь-якого масштабу — від одиночної ноди до мультичейн‑сітки з десятками субграфів.

Архітектура RPC-шару

Кожна взаємодія dApp з блокчейном йде через RPC — JSON‑RPC API, яку надає нода. Три варіанти:

Managed providers — Alchemy, QuickNode, Infura, Ankr. Мінімальні операційні витрати, SLA, вбудований моніторинг. Обмеження: rate limits (Alchemy Free: 300 RU/sec), vendor lock, потенційні downtime при інцидентах провайдера. Для більшості проектів — правильний вибір на старті.

Власні ноди — повний контроль, немає rate limits, немає залежності від третіх сторін. Вартість: архівна нода Ethereum займає 2.5–3TB SSD, потребує потужний сервер та DevOps‑підтримку. Sync з нуля на Ethereum через Geth/Nethermind — 3–7 днів. Виправдано при високому навантаженні або вимогах до latency.

Гібрид — власна нода як primary, managed provider як fallback. Стандарт для протоколів з високим TVL. Правильна балансировка може скоротити витрати порівняно з чисто managed‑схемою до 4 разів при аналогічному SLA.

Провайдер Сильна сторона Обмеження
Alchemy Supernode, Enhanced APIs, webhooks Дорогий на high-volume
QuickNode Низька latency, multi-chain Дорожче Alchemy на базовому плані
Infura Історична надійність Rate limits на безкоштовному, один великий інцидент зупинив пів DeFi
Ankr Дешевий, 40+ чейнів Менш стабільний

Як налаштувати RPC-шар без єдиної точки відмови?

Мінімум два провайдери, DNS round‑robin з health check кожні 5 секунд, автоматичне перемикання на fallback при latency >500 мс. На практиці це дає 99.99% доступності при будь-якому збої провайдера. Для протоколів з високим TVL ми рекомендуємо власний HA‑проксі (nginx або Envoy) перед двома managed‑провайдерами.

Чому гібридна RPC-схема вигідніша за чисто managed?

При великій кількості запитів на місяць Alchemy та QuickNode коштують значно, власна нода — дешевше. Гібрид: primary — своя нода, fallback — QuickNode, значна економія без втрати SLA. Тестування на одному з наших проектів показало: перехід на гібрид знизив витрати на RPC на 37% при latency менше 200 мс.

Клієнти нод Ethereum

Execution clients: Geth (найбільш використовуваний), Nethermind (C#, швидка sync), Besu (Java, enterprise), Erigon (найшвидший sync, архівний режим ефективний по диску — ~2TB замість 3TB).

Consensus clients (post‑Merge): Lighthouse (Rust), Prysm (Go), Teku (Java), Nimbus (Nim). Кожна нода після The Merge потребує пари execution + consensus client.

Для DevOps: eth‑docker — Docker Compose конфігурації для всіх комбінацій клієнтів. Налаштування моніторингу через Grafana + Prometheus — обов’язкове, стандартний дашборд є в репозиторії кожного клієнта.

The Graph: індексація подій

The Graph Protocol — decentralized indexing. Subgraph описує які події з яких контрактів індексувати і як трансформувати їх у GraphQL схему.

Структура subgraph:

  • subgraph.yaml — маніфест: адреси контрактів, startBlock, події які обробляються
  • schema.graphql — GraphQL схема entities
  • src/mapping.ts — AssemblyScript обробники подій
dataSources:
  - kind: ethereum
    name: UniswapV3Pool
    network: mainnet
    source:
      address: "0x88e6A0c2dDD26FEEb64F039a2c41296FcB3f5640"
      abi: UniswapV3Pool
      startBlock: 12370624
    mapping:
      eventHandlers:
        - event: Swap(indexed address,indexed address,int256,int256,uint160,uint128,int24)
          handler: handleSwap

AssemblyScript handlers — не TypeScript. Немає nullable types, немає closures, немає багатьох стандартних API. Помилка в handler зупиняє індексацію subgraph-а на тій транзакції. Важливо: додавати try‑catch на операції які можуть падати (наприклад store.get() для entity яка може не існувати). Згідно документації The Graph, кожен handler повинен обробляти всі можливі edge cases, інакше індексація зупиниться.

Уникнення зупинки індексації субграфа

Лог файли Graph Node моніторяться в реальному часі, при hasIndexingErrors = true спрацьовує алерт і автоматичний рестарт ноди (через systemd або Kubernetes). Типовий downtime при помилці — 150–300 секунд до відновлення. Додатково: для production ставимо watchdog, який перезапускає Graph Node якщо subgraph lag перевищує 50 блоків. Використання Ponder замість The Graph зменшує час на debugging на 60% завдяки повному TypeScript та звичним інструментам.

Вибір між Hosted Service та Decentralized Network

Graph Hosted Service (безкоштовний, централізований) deprecated на користь Subgraph Studio + Graph Network. Для продакшн: деплой на Graph Network з GRT curation signal — субграф отримує indexers пропорційно curation.

Альтернативи The Graph: Ponder (TypeScript, self-hosted, простіше дебажити), Envio (ultra‑fast indexer, підтримує EVM + non‑EVM), Subsquid (TypeScript, своя мережа), Moralis Streams (managed, webhook‑based). Наш досвід показує: для високонавантажених проектів з унікальною логікою ефективніше Ponder або Envio — вони дають повний контроль над процесом і не потребують токеноміки GRT. Ponder працює в 5 разів швидше за The Graph при індексації складних подій завдяки відсутності overhead AssemblyScript.

Webhooks та real-time нотифікації

Alchemy Webhooks та QuickNode Streams дозволяють отримувати події в реальному часі через HTTP webhook або WebSocket. Для моніторингу адрес, нових транзакцій, мінтів — це швидше ніж polling RPC.

Tenderly — платформа для моніторингу та алертів. Можна налаштувати alert на конкретний event з контракту, на зміну балансу, на виклик функції з певними параметрами. Симуляція транзакцій через Tenderly API — безцінно для debugging.

Моніторинг та observability

Мінімальний стек моніторингу для протоколу:

On‑chain: OpenZeppelin Defender Sentinel — watches contract events, викликає webhook або Autotask при спрацьовуванні умов. Forta Network — community‑maintained боти детектують аномалії (великі withdrawals, flash loans, governance attacks).

Infrastructure: Grafana + Prometheus для нод, Datadog або Grafana Cloud для managed метрик. Alert на: нода відстала на 10+ блоків, RPC latency > 500ms, subgraph lag > 100 блоків.

Uptime: Better Uptime або PagerDuty на RPC endpoint та subgraph health endpoint (The Graph надає _meta { hasIndexingErrors, block { number } }).

Обмеження моніторингу без Tenderly

Tenderly дає симуляцію транзакцій та детальні трейси — це критично для налагодження помилок у субграфах та смарт‑контрактах. Forta ж фокусується на аномаліях у мережі, а не на вашій інфраструктурі. Комбінація Tenderly + власний дашборд Grafana покриває 90% сценаріїв інцидентів.

Мультичейн інфраструктура

Протокол на 5 чейнах = 5 окремих RPC endpoints, 5 subgraphs, 5 моніторинг‑конфігів. Це керовано, але потрібна автоматизація деплою.

Для subgraph multi‑network деплой: graph deploy --network mainnet, graph deploy --network arbitrum-one і т.д. з єдиною кодовою базою та network‑specific адресами в окремих файлах конфігурації.

Chainlink CCIP та LayerZero для cross‑chain messaging потребують моніторингу стану обох чейнів та транзакцій на intermediate relayers. Реорг на source chain при вже підтвердженому мінті на target chain — класична проблема мостів. Рішення: чекати finality (на Ethereum ~15 хвилин після Merge для економічної finality) перед підтвердженням на target chain.

Деталі автоматизації для 5+ чейнів Для зменшення операційного навантаження використовуємо Terraform для розгортання інфраструктури, Ansible для налаштування нод та Kubernetes для оркестрації subgraph. Кожен чейн отримує окремий namespace з однаковими шаблонами моніторингу. Це дозволяє розгорнути новий чейн за 2 дні замість 2 тижнів.

Процес налаштування інфраструктури

  1. Аудит поточного стеку — визначаємо чейни, обсяг запитів, вимоги до latency та доступності.
  2. Проектування архітектури — вибір провайдерів, балансировка, redundancy.
  3. Розробка subgraph — маніфест → схема → handlers → тестування на локальній Graph Node → деплой на testnet → mainnet.
  4. Конфігурація моніторингу — Tenderly alerts, Grafana дашборд, PagerDuty інтеграція.
  5. Документація та runbook — що робити при: subgraph fell behind, RPC downtime, нода desync.
  6. Передача в експлуатацію — навчання команди, передача доступів, підтримка перший місяць.

Що входить у роботу?

  • Розгортання managed або self‑hosted нод Ethereum, Polygon, BNB Chain
  • Налаштування RPC‑шару з primary/fallback та load balancing
  • Розробка та деплой subgraph під ваш протокол
  • Підключення моніторингу (Tenderly, Grafana, алерти)
  • Створення runbook та документації з експлуатації
  • Навчання команди (до 4 годин онлайн)
  • Підтримка протягом 30 днів після здачі

Які терміни виконання?

Робота Термін
Налаштування RPC та базового моніторингу 1–2 тижні
Subgraph для одного протоколу 2–4 тижні
Self-hosted нода з моніторингом 2–3 тижні
Повна інфраструктура (multi-chain, моніторинг, runbooks) 6–10 тижнів

Всі проекти ведуться в репозиторії на GitHub/GitLab з CI/CD, код конфігурацій залишається у вас. Замовте розгортання інфраструктури — розкажемо, як скоротити витрати без втрати надійності. Отримайте консультацію — покажемо, як ми розгортали інфраструктуру для протоколу з високим TVL на Ethereum та Arbitrum. Зв'яжіться з нами.