Дашборд парсингу: метрики, помилки, швидкість у реальному часі

Зауважте: коли ваш парсинг обробляє мільйони запитів на день, без дашборда ви сліпі. Помилки накопичуються, проксі падають, а ви дізнаєтеся про це через годину. Дашборд статистики парсингу вирішує: бачити здоров'я системи в реальному часі, реагувати на збої за хвилини, оптимізувати швидкість збору. Ми розробляємо такі дашборди під ключ з урахуванням ваших джерел даних та інфраструктури. Більше 5 років на ринку, 50+ успішних проєктів — наш досвід гарантує стабільність. Оцінимо ваш проєкт за 1 день. Замовте консультацію, щоб обговорити вашу задачу.

Ключові метрики

Рішення проблеми падіння проксі

Уявіть: пул із 200 проксі, 15% з них періодично відвалюються. Без моніторингу ви втрачаєте до 30% пропускної здатності. Ми вбудовуємо в дашборд метрику Proxy Health: якщо її значення падає нижче 95%, алерт надсилається в Telegram. Аналітика показує, що середній час відновлення скорочується з 40 до 8 хвилин. Додатково ми налаштовуємо автоматичну ротацію проксі: при падінні health нижче порогу проксі виключається з пулу, а його навантаження перерозподіляється на робочі адреси. Це знижує кількість втрачених запитів на 20%. Ми також відстежуємо час відповіді та помилки по кожному проксі, що дозволяє точково замінювати проблемні IP. У нещодавньому проєкті для агрегатора електронної комерції це знизило загальний рівень помилок з 12% до 3.5% за перший тиждень. Зв'яжіться з нашими інженерами для обговорення ваших метрик.

Які метрики критично важливі для моніторингу парсингу?

Із набору метрик особливу увагу варто приділити Success Rate та Proxy Health. Success Rate показує частку успішних відповідей — якщо він падає нижче 90%, значить джерело блокує запити або проксі перевантажені. Proxy Health відстежує працездатність кожного проксі: якщо health падає, система автоматично виключає проксі з ротації. Також важливий Avg Response Time — різке зростання часто сигналізує про проблеми з мережею або перевантаження цільового сервера. Ми рекомендуємо налаштовувати дашборд так, щоб усі три метрики відображалися на головному екрані.

Чому TimescaleDB підходить для метрик парсингу?

Для часових рядів спеціалізовані інструменти ефективніші за стандартний PostgreSQL. TimescaleDB — це розширення PostgreSQL з автоматичним партиціонуванням за часом. Запити на тижневі або місячні зрізи виконуються швидко навіть при 10 млн рядків. В одному проєкті ми зберігали 500 млн записів — агрегація займала менше 2 секунд. Крім того, TimescaleDB підтримує стиснення даних, що скорочує об'єм сховища в 5–10 разів без втрати продуктивності.

# TimescaleDB (розширення PostgreSQL) import psycopg2 CREATE TABLE scraper_metrics ( time TIMESTAMPTZ NOT NULL DEFAULT NOW(), scraper_id INTEGER, requests_ok INTEGER DEFAULT 0, requests_fail INTEGER DEFAULT 0, items_scraped INTEGER DEFAULT 0, avg_resp_ms FLOAT, proxy_used TEXT ); SELECT create_hypertable('scraper_metrics', 'time'); CREATE INDEX ON scraper_metrics (scraper_id, time DESC); 

API для дашборду

@app.get('/api/v1/stats/overview') async def get_overview(scraper_id: int, period: str = '24h'): interval = {'1h': '1 hour', '24h': '24 hours', '7d': '7 days'}[period] rows = await db.fetch(f''' SELECT time_bucket('5 minutes', time) AS bucket, SUM(requests_ok) AS ok, SUM(requests_fail) AS fail, SUM(items_scraped) AS items, AVG(avg_resp_ms) AS avg_ms FROM scraper_metrics WHERE scraper_id = $1 AND time > NOW() - INTERVAL '{interval}' GROUP BY bucket ORDER BY bucket ''', scraper_id) return { 'timeline': [dict(r) for r in rows], 'totals': { 'requests': sum(r['ok'] + r['fail'] for r in rows), 'success_rate': sum(r['ok'] for r in rows) / max(sum(r['ok'] + r['fail'] for r in rows), 1), 'items': sum(r['items'] for r in rows), } } 

Візуалізація

import { LineChart, Line, XAxis, YAxis, Tooltip, ResponsiveContainer } from 'recharts'; function MetricsChart({ data }: { data: TimelinePoint[] }) { return ( <ResponsiveContainer width="100%" height={300}> <LineChart data={data}> <XAxis dataKey="bucket" tickFormatter={d => format(new Date(d), 'HH:mm')} /> <YAxis /> <Tooltip /> <Line dataKey="ok" stroke="#22c55e" name="Успішних" strokeWidth={2} dot={false} /> <Line dataKey="fail" stroke="#ef4444" name="Помилок" strokeWidth={2} dot={false} /> </LineChart> </ResponsiveContainer> ); } 

Алерти

Порівняння сховищ метрик

Як ми будуємо дашборд: процес роботи

1. Аналітика — вивчаємо ваші джерела даних і вимоги до метрик. Визначаємо критичні KPI. Оцінюємо об'єм даних і частоту оновлення. Проводимо інтерв'ю з вашою командою, щоб виявити вузькі місця.
2. Проєктування схеми — обираємо інструменти (TimescaleDB, FastAPI, React). Проєктуємо структуру таблиць та API-ендпоінтів. Враховуємо майбутнє масштабування.
3. Реалізація API — пишемо бекенд для збору та агрегації метрик. Обробляємо до 10 000 запитів на секунду. Використовуємо асинхронні воркери для мінімізації затримок.
4. Фронтенд — розробляємо інтерфейс з графіками та алертами. Використовуємо Recharts для інтерактивних графіків. Додаємо фільтри за часом та scraper_id.
5. Тестування — перевіряємо на навантаженні до 1000 запитів/сек. Виправляємо вузькі місця. Проводимо UAT з вашою командою.
6. Деплой — розгортаємо на вашому сервері або хмарі. Налаштовуємо моніторинг самого дашборду. Даємо інструкції з експлуатації.

Що входить в роботу

• Документація API у форматі OpenAPI
• Вихідний код дашборду (бекенд та фронтенд)
• Інструкція з розгортання
• Навчання команди (до 2 годин)
• Гарантія на код 3 місяці

Строки

Дашборд з TimescaleDB, REST API та React-візуалізацією: 5–8 робочих днів. Оцінимо ваш проєкт за 1 день. Зв'яжіться з нами для консультації — запропонуємо архітектуру під ваше навантаження. Замовте оцінку прямо зараз, щоб отримати індивідуальну пропозицію. Отримайте індивідуальний кошторис за 1 день — надішліть заявку.