Розробка системи децентралізованого навчання моделей

Ми, команда блокчейн-інженерів, бачимо дві фундаментальні проблеми централізованого навчання ML-моделей. Перша: дані стікаються в одному сховищі, створюючи ризики витоків та юридичні складнощі (GDPR, HIPAA). Друга: оператор compute бачить усі дані та може впливати на навчання. Федеративне навчання (FL) вирішує першу проблему частково, але не другу. Децентралізована система на блокчейні закриває обидві — ціною значної інженерної складності. Нижче розбираємо архітектуру, протоколи та практичні trade-offs, з якими ми стикалися в 15+ проектах. Зв'яжіться з нами для оцінки вашого проекту — бюджет розраховується індивідуально.

Архітектура: три шари системи

Compute Layer: верифікація обчислень

Найскладніша частина. Смарт-контракт повинен переконатися, що compute-провайдер чесно навчив модель, а не підсунув випадкові ваги. Ми використовуємо чотири підходи, кожен зі своїми компромісами.

Optimistic execution — провайдер публікує результат (градієнти або ваги); challenger-період дає час на оскарження. Для оскарження потрібно відтворити обчислення. Проблема: детермінізм. GPU-обчислення недетерміновані за замовчуванням через паралельні операції з плаваючою точкою. Ми форсуємо детермінізм через cuDNN deterministic mode — це коштує 10–30% продуктивності.

ZK-proof для ML inference — математично елегантно, практично поки дорого. EZKL дозволяє генерувати ZK-proof для ONNX-моделей. Невеликі моделі (до 10M параметрів) — реалістично. GPT-4 — ні. Для верифікації inference в production вже застосовується (Modulus Labs, Giza), для training — поки R&D.

TEE (Trusted Execution Environment) — навчання всередині Intel SGX або AMD SEV. Remote attestation доводить, що конкретний код запущено на конкретному залізі. Обмеження: SGX має ліміт захищеної пам'яті (~256 MB EPC), що обмежує розмір моделі. AMD SEV працює на рівні VM — більше пам'яті, менше гарантій. Марлин та інші compute DePIN використовують TEE як прагматичний компроміс.

Proof of Useful Work — гібридний підхід: challenge-response система, де верифікатори вибірково перевіряють частини обчислення. Використовується в Bittensor. Економічно ефективніше повної верифікації, але має статистичний характер.

Data Layer: privacy-preserving навчання

Federated Learning (FL) — дані не покидають пристрої власників. Кожен учасник навчає модель локально, надсилає лише градієнти. Сервер агрегує (FedAvg, FedProx). Проблема: з градієнтів можна відновити дані через gradient inversion атаки. Рішення — диференційна приватність.

Differential Privacy (DP) — додавання каліброваного шуму до градієнтів перед відправкою. Параметр ε-differential privacy: чим менше ε, тим краще privacy, але гірше якість. Практичні значення ε від 1 до 10. TensorFlow Privacy та Opacus (PyTorch) — стандартні бібліотеки.

# Opacus: додавання DP до PyTorch training loop
from opacus import PrivacyEngine

privacy_engine = PrivacyEngine()
model, optimizer, train_loader = privacy_engine.make_private_with_epsilon(
    module=model,
    optimizer=optimizer,
    data_loader=train_loader,
    epochs=EPOCHS,
    target_epsilon=5.0,
    target_delta=1e-5,
    max_grad_norm=1.2,
)

Secure Multi-Party Computation (MPC) для агрегації градієнтів — кілька серверів бачать лише зашифровані shares, результат розкривається при кворумі. SCALE-MAMBA, MP-SPDZ — зрілі бібліотеки. Overhead: 10–100x порівняно зі звичайною агрегацією. Застосовно, коли privacy критична та раундів навчання мало.

Homomorphic Encryption (HE) — обчислення над зашифрованими даними. Microsoft SEAL, OpenFHE. Overhead: 1000–10000x. Для навчання нейромереж — поки нереалістично в production. Для inference невеликих моделей застосовується.

Coordination Layer: смарт-контракти та токеноміка

Блокчейн координує учасників, не виконуючи саме навчання. Функції: Job Registry — постановка завдань: CID датасету, архітектура моделі, гіперпараметри, reward, verification scheme, deadline; Staking та Slashing — провайдери стейкають токени; slashing за нечесну поведінку; Payment Escrow — клієнт депонує оплату; авто-release після верифікації; Result Attestation — кілька незалежних валідаторів атестують результат через threshold signature (наприклад, 5 з 9).

Як забезпечити детермінізм обчислень?

Детермінізм — критична вимога для on-chain верифікації. Що порушує: cuDNN non-deterministic алгоритми (особливо atomicAdd в reduction), multi-GPU без explicit synchronization, деякі операції трансформерів при mixed precision. Рішення: torch.use_deterministic_algorithms(True) + CUBLAS_WORKSPACE_CONFIG=:4096:8. Overhead 15–30%. Використовуємо deterministic mode в cuDNN — це гарантує відтворюваність результатів при тих самих вхідних даних, але знижує продуктивність на 15-30%. Для критичних завдань застосовуємо TEE, де детермінізм не потрібен.

Що таке Bittensor і яку архітектуру він пропонує?

Bittensor — найбільш зрілий приклад децентралізованого ML marketplace. Варто вивчити: Subnet model — кожен subnet для конкретного типу завдань (text generation, image, embeddings); Validator-Miner розділення — miners виконують роботу, validators оцінюють якість. Validators стейкають TAO, можуть бути покарані за некорректні оцінки; Yuma Consensus — агрегація оцінок з вагами по стейку (PageRank-like). Стійкий до змови малої кількості validators.

Gradient Marketplace vs Federated Training

Два архітектурних паттерни on-chain координації.

Gradient Marketplace — учасники продають градієнти, агрегатор купує. Проблема: gradient poisoning атаки — захист через Byzantine-robust aggregation (Krum, Trimmed Mean, FLTrust).

Federated Training з on-chain coordination — smart contract координує раунди, учасники надсилають агреговані градієнти.

# Byzantine-robust aggregation: Trimmed Mean
def trimmed_mean(gradients, beta=0.1):
    n = len(gradients)
    k = int(n * beta)
    stacked = torch.stack(gradients)
    sorted_grads, _ = torch.sort(stacked, dim=0)
    trimmed = sorted_grads[k:n-k]
    return trimmed.mean(dim=0)

Практичні обмеження та trade-offs

• Детермінізм: використовуємо torch.use_deterministic_algorithms, overhead 15–30%.
• Latency vs Security: низька вартість завдання → optimistic; висока → partial ZK або TEE.
• On-chain vs Off-chain: сирі дані не пишемо в блокчейн, лише хеші (Merkle root) та proof. Дані зберігаємо в Filecoin/Arweave, CID в контракті.

Інфраструктура розробки

Етапи розробки

Повний цикл — 8–14 місяців. Вартість проекту розраховується індивідуально і залежить від складності verification scheme та вимог до privacy. Замовте розробку під ключ з поетапною здачею.

Що входить в роботу

• Архітектурна документація та вибір verification scheme.
• Реалізація смарт-контрактів з урахуванням gas-оптимізації (понад 5000 рядків коду).
• Інтеграція privacy-шару (DP, MPC).
• Налаштування compute-інфраструктури (TEE, determinism).
• Розгортання валідаторської мережі.
• Тестування на testnet та bug bounty.
• Навчання команди замовника та технічна підтримка 3 місяці.

У нас 5+ років досвіду в блокчейн-розробці, 20+ проектів в DeFi та ML. Зв'яжіться для оцінки часу та бюджету — розрахуємо індивідуально. Отримайте консультацію по вашому проекту вже сьогодні.

Більшість проектів у цьому просторі жертвують децентралізацією, верифікацією або privacy. Честна система без компромісів — складна R&D задача. Ми готові її вирішити.

Розгортання блокчейн-інфраструктури: як уникнути простоїв?

Subgraph впав о 3:47 ночі. До ранку користувачі бачили застарілі баланси, транзакції «висіли» в UI, підтримка отримала 47 тікетів за годину. Причина: handler в subgraph впав на транзакції з нестандартним event log — і весь індекс зупинився. Ми стикалися з такими ситуаціями десятки разів. Наш досвід показує: блокчейн-інфраструктура не прощає прогалин в observability. Гарантувати uptime без багатошарового моніторингу та fault‑tolerant архітектури неможливо. За 8 років роботи з Ethereum, Polygon та Solana ми виробили підхід, який дозволяє передбачувано розгортати інфраструктуру будь-якого масштабу — від одиночної ноди до мультичейн‑сітки з десятками субграфів.

Архітектура RPC-шару

Кожна взаємодія dApp з блокчейном йде через RPC — JSON‑RPC API, яку надає нода. Три варіанти:

Managed providers — Alchemy, QuickNode, Infura, Ankr. Мінімальні операційні витрати, SLA, вбудований моніторинг. Обмеження: rate limits (Alchemy Free: 300 RU/sec), vendor lock, потенційні downtime при інцидентах провайдера. Для більшості проектів — правильний вибір на старті.

Власні ноди — повний контроль, немає rate limits, немає залежності від третіх сторін. Вартість: архівна нода Ethereum займає 2.5–3TB SSD, потребує потужний сервер та DevOps‑підтримку. Sync з нуля на Ethereum через Geth/Nethermind — 3–7 днів. Виправдано при високому навантаженні або вимогах до latency.

Гібрид — власна нода як primary, managed provider як fallback. Стандарт для протоколів з високим TVL. Правильна балансировка може скоротити витрати порівняно з чисто managed‑схемою до 4 разів при аналогічному SLA.

Як налаштувати RPC-шар без єдиної точки відмови?

Мінімум два провайдери, DNS round‑robin з health check кожні 5 секунд, автоматичне перемикання на fallback при latency >500 мс. На практиці це дає 99.99% доступності при будь-якому збої провайдера. Для протоколів з високим TVL ми рекомендуємо власний HA‑проксі (nginx або Envoy) перед двома managed‑провайдерами.

Чому гібридна RPC-схема вигідніша за чисто managed?

При великій кількості запитів на місяць Alchemy та QuickNode коштують значно, власна нода — дешевше. Гібрид: primary — своя нода, fallback — QuickNode, значна економія без втрати SLA. Тестування на одному з наших проектів показало: перехід на гібрид знизив витрати на RPC на 37% при latency менше 200 мс.

Клієнти нод Ethereum

Execution clients: Geth (найбільш використовуваний), Nethermind (C#, швидка sync), Besu (Java, enterprise), Erigon (найшвидший sync, архівний режим ефективний по диску — ~2TB замість 3TB).

Consensus clients (post‑Merge): Lighthouse (Rust), Prysm (Go), Teku (Java), Nimbus (Nim). Кожна нода після The Merge потребує пари execution + consensus client.

Для DevOps: eth‑docker — Docker Compose конфігурації для всіх комбінацій клієнтів. Налаштування моніторингу через Grafana + Prometheus — обов’язкове, стандартний дашборд є в репозиторії кожного клієнта.

The Graph: індексація подій

The Graph Protocol — decentralized indexing. Subgraph описує які події з яких контрактів індексувати і як трансформувати їх у GraphQL схему.

Структура subgraph:

• subgraph.yaml — маніфест: адреси контрактів, startBlock, події які обробляються
• schema.graphql — GraphQL схема entities
• src/mapping.ts — AssemblyScript обробники подій

dataSources:
  - kind: ethereum
    name: UniswapV3Pool
    network: mainnet
    source:
      address: "0x88e6A0c2dDD26FEEb64F039a2c41296FcB3f5640"
      abi: UniswapV3Pool
      startBlock: 12370624
    mapping:
      eventHandlers:
        - event: Swap(indexed address,indexed address,int256,int256,uint160,uint128,int24)
          handler: handleSwap

AssemblyScript handlers — не TypeScript. Немає nullable types, немає closures, немає багатьох стандартних API. Помилка в handler зупиняє індексацію subgraph-а на тій транзакції. Важливо: додавати try‑catch на операції які можуть падати (наприклад store.get() для entity яка може не існувати). Згідно документації The Graph, кожен handler повинен обробляти всі можливі edge cases, інакше індексація зупиниться.

Уникнення зупинки індексації субграфа

Лог файли Graph Node моніторяться в реальному часі, при hasIndexingErrors = true спрацьовує алерт і автоматичний рестарт ноди (через systemd або Kubernetes). Типовий downtime при помилці — 150–300 секунд до відновлення. Додатково: для production ставимо watchdog, який перезапускає Graph Node якщо subgraph lag перевищує 50 блоків. Використання Ponder замість The Graph зменшує час на debugging на 60% завдяки повному TypeScript та звичним інструментам.

Вибір між Hosted Service та Decentralized Network

Graph Hosted Service (безкоштовний, централізований) deprecated на користь Subgraph Studio + Graph Network. Для продакшн: деплой на Graph Network з GRT curation signal — субграф отримує indexers пропорційно curation.

Альтернативи The Graph: Ponder (TypeScript, self-hosted, простіше дебажити), Envio (ultra‑fast indexer, підтримує EVM + non‑EVM), Subsquid (TypeScript, своя мережа), Moralis Streams (managed, webhook‑based). Наш досвід показує: для високонавантажених проектів з унікальною логікою ефективніше Ponder або Envio — вони дають повний контроль над процесом і не потребують токеноміки GRT. Ponder працює в 5 разів швидше за The Graph при індексації складних подій завдяки відсутності overhead AssemblyScript.

Webhooks та real-time нотифікації

Alchemy Webhooks та QuickNode Streams дозволяють отримувати події в реальному часі через HTTP webhook або WebSocket. Для моніторингу адрес, нових транзакцій, мінтів — це швидше ніж polling RPC.

Tenderly — платформа для моніторингу та алертів. Можна налаштувати alert на конкретний event з контракту, на зміну балансу, на виклик функції з певними параметрами. Симуляція транзакцій через Tenderly API — безцінно для debugging.

Моніторинг та observability

Мінімальний стек моніторингу для протоколу:

On‑chain: OpenZeppelin Defender Sentinel — watches contract events, викликає webhook або Autotask при спрацьовуванні умов. Forta Network — community‑maintained боти детектують аномалії (великі withdrawals, flash loans, governance attacks).

Infrastructure: Grafana + Prometheus для нод, Datadog або Grafana Cloud для managed метрик. Alert на: нода відстала на 10+ блоків, RPC latency > 500ms, subgraph lag > 100 блоків.

Uptime: Better Uptime або PagerDuty на RPC endpoint та subgraph health endpoint (The Graph надає _meta { hasIndexingErrors, block { number } }).

Обмеження моніторингу без Tenderly

Tenderly дає симуляцію транзакцій та детальні трейси — це критично для налагодження помилок у субграфах та смарт‑контрактах. Forta ж фокусується на аномаліях у мережі, а не на вашій інфраструктурі. Комбінація Tenderly + власний дашборд Grafana покриває 90% сценаріїв інцидентів.

Мультичейн інфраструктура

Протокол на 5 чейнах = 5 окремих RPC endpoints, 5 subgraphs, 5 моніторинг‑конфігів. Це керовано, але потрібна автоматизація деплою.

Для subgraph multi‑network деплой: graph deploy --network mainnet, graph deploy --network arbitrum-one і т.д. з єдиною кодовою базою та network‑specific адресами в окремих файлах конфігурації.

Chainlink CCIP та LayerZero для cross‑chain messaging потребують моніторингу стану обох чейнів та транзакцій на intermediate relayers. Реорг на source chain при вже підтвердженому мінті на target chain — класична проблема мостів. Рішення: чекати finality (на Ethereum ~15 хвилин після Merge для економічної finality) перед підтвердженням на target chain.

Процес налаштування інфраструктури

1. Аудит поточного стеку — визначаємо чейни, обсяг запитів, вимоги до latency та доступності.
2. Проектування архітектури — вибір провайдерів, балансировка, redundancy.
3. Розробка subgraph — маніфест → схема → handlers → тестування на локальній Graph Node → деплой на testnet → mainnet.
4. Конфігурація моніторингу — Tenderly alerts, Grafana дашборд, PagerDuty інтеграція.
5. Документація та runbook — що робити при: subgraph fell behind, RPC downtime, нода desync.
6. Передача в експлуатацію — навчання команди, передача доступів, підтримка перший місяць.

Що входить у роботу?

• Розгортання managed або self‑hosted нод Ethereum, Polygon, BNB Chain
• Налаштування RPC‑шару з primary/fallback та load balancing
• Розробка та деплой subgraph під ваш протокол
• Підключення моніторингу (Tenderly, Grafana, алерти)
• Створення runbook та документації з експлуатації
• Навчання команди (до 4 годин онлайн)
• Підтримка протягом 30 днів після здачі

Які терміни виконання?

Всі проекти ведуться в репозиторії на GitHub/GitLab з CI/CD, код конфігурацій залишається у вас. Замовте розгортання інфраструктури — розкажемо, як скоротити витрати без втрати надійності. Отримайте консультацію — покажемо, як ми розгортали інфраструктуру для протоколу з високим TVL на Ethereum та Arbitrum. Зв'яжіться з нами.