Потоковий експорт зібраних даних: CSV, JSON та REST API

Промисловий експорт зібраних даних: CSV, JSON та REST API

Зібрані дані рідко потрібні в сирому вигляді. Аналітик просить CSV для зведеної таблиці, розробник — JSON із можливістю фільтрації, а система обліку — автоматичні сповіщення через webhook. Типова ситуація: парсер зібрав 50 000 товарів, а віддавати їх одним файлом не можна — сервер падає по пам'яті, Excel не відкриває. Ми вирішуємо це потоковою передачею та грамотним API-дизайном. Потоковий CSV обробляє дані в 10 разів швидше, ніж завантаження всього файлу в пам'ять, і дозволяє експортувати каталоги до 500 000 рядків без збоїв. Стримінг знижує навантаження на сервер в 10 разів, а отже — економить до 50% витрат на серверну інфраструктуру. Зв'яжіться з нами для підбору оптимального формату експорту під ваше завдання.

Сирі дані часто містять дублікати, невалідні записи та сміття. Перед експортом ми виконуємо очищення та нормалізацію, щоб на виході були лише якісні дані. За роки практики ми реалізували понад 50 інтеграцій експорту для проєктів з мільйонами записів.

Як побудувати відмовостійкий експорт для мільйонів записів?

Для великих обсягів даних критична архітектура експорту. Ми використовуємо курсори бази даних, чанковані запити з пагінацією та backpressure-контроль. У реляційних БД (PostgreSQL, MySQL) застосовуємо server-side cursors — це дозволяє не завантажувати весь результат у пам'ять. Для NoSQL (MongoDB) використовуємо allowDiskUse() та ітератори. Типовий шаблон: читаємо по 1000 записів, порційно відправляємо в стрим. Якщо клієнт повільний — призупиняємо читання, щоб не забити пам'ять.

Потоковий експорт CSV для великих обсягів

Для CSV з обсягом понад 10 000 рядків не генеруємо весь файл у пам'яті — використовуємо стримінг. Приклад на Flask з Response та stream_with_context:

import csv
import io
from flask import Response, stream_with_context

def export_csv(site_id: int, filters: dict):
    def generate():
        output = io.StringIO()
        writer = csv.DictWriter(output, fieldnames=[
            'id', 'name', 'price', 'currency', 'url', 'in_stock', 'scraped_at'
        ])
        writer.writeheader()
        yield output.getvalue()
        output.truncate(0); output.seek(0)

        for product in stream_products(site_id, filters):
            writer.writerow(product)
            yield output.getvalue()
            output.truncate(0); output.seek(0)

    return Response(
        stream_with_context(generate()),
        mimetype='text/csv',
        headers={'Content-Disposition': 'attachment; filename=export.csv'},
    )

Такий підхід дозволяє обробляти файли будь-якого розміру без збільшення споживання пам'яті. Ми застосовуємо його в проєктах з каталогами на 200 000+ позицій — гарантуємо стабільну роботу під навантаженням.

Чому webhook із підписом HMAC безпечніший за простий POST?

Відправка даних по webhook без перевірки автентичності — вразливість: будь-хто може імітувати запит у вашу систему. Ми додаємо підпис через HMAC-SHA256, щоб отримувач верифікував відправника. Використовуємо httpx:

import httpx, hashlib, hmac

def send_webhook(url: str, secret: str, payload: dict):
    body = json.dumps(payload).encode()
    sig = hmac.new(secret.encode(), body, hashlib.sha256).hexdigest()
    httpx.post(url, content=body, headers={
        'Content-Type': 'application/json',
        'X-Signature-SHA256': f'sha256={sig}',
    }, timeout=10)

Ідентичний secret зберігається у відправника та отримувача — це виключає підробку запитів. Підпис обчислюється з тіла, тому будь-яка зміна даних зламає перевірку. Для критичних даних можна додати шифрування тіла запиту за алгоритмом AES.

Порівняння форматів експорту

Як фільтрувати дані в REST API?

REST API для зібраних даних реалізуємо з повноцінною фільтрацією, пагінацією та вибором полів. Приклад ендпоінту:

GET /api/v1/scraped-products?site_id=7&in_stock=true&fields=name,price,url&page=1&per_page=100

Відповідь:

{
  "data": [
    { "name": "Кросівки Nike Air Max", "price": 89.99, "url": "https://..." }
  ],
  "meta": {
    "page": 1,
    "per_page": 100,
    "total": 4823
  }
}

Аутентифікація — API-ключ у заголовку X-API-Key. Доступ обмежується по IP та rate-limit (100 запитів/хв). Підтримується сортування за будь-яким полем, а також агрегація (сума, середнє) для аналітичних запитів.

Які сценарії використання експорту?

Що входить у типову реалізацію (deliverables)

• Вихідний код експорту з коментарями
• Документація API у форматі OpenAPI (Swagger)
• Скрипти для розгортання (Docker, docker-compose)
• Приклади інтеграції на Python та JavaScript
• Підтримка протягом 30 днів після здачі
• Можливість інтеграції з Sentry для моніторингу помилок

Терміни та вартість реалізації

Базова реалізація CSV та JSON API з аутентифікацією — 1–2 робочі дні. Додавання webhook із підписом, фільтри та вибір полів — ще 1 день. Вартість розраховується індивідуально після аналізу завдання. Зв'яжіться з нами, щоб обговорити деталі. Замовте реалізацію експорту під ключ — отримайте робоче рішення за 2–3 дні.

Послуги бекенд-розробки: production-grade надійність

На production-сервері о 3:14 ночі черга Laravel Jobs перестала оброблятися — 40 000 необроблених завдань у Redis. Причина: worker упав через memory leak у статичній змінній Eloquent observer, supervisor не перезапустив через misconfigured stopwaitsecs. Ми розбирали такий інцидент на проекті з 500 RPS: діагностика 4 години, фікс — 20 хвилин. Щоб ви не втрачали гроші, пропонуємо послуги бекенд-розробки з акцентом на production-grade надійність — 10+ років досвіду, 50+ проектів, 5 років на ринку. Оцінимо ваш проект за 2 дні.

Які проблеми вирішуємо

N+1 запити: головний вбивця швидкості

N+1 — найпоширеніша причина повільних сторінок у Laravel-додатках. Стандартна історія: сторінка працювала нормально на dev з 10 записами, на production з 10 000 — 8-секундне завантаження.

Laravel Debugbar у dev-оточенні показує кількість запитів. Більше 20 — сигнал для audit.

Model::preventLazyLoading(! app()->isProduction());

Telescope для профілювання: логує всі запити, jobs, mail, notifications з деталізацією. Після впровадження eager loading час завантаження сторінки падає з 8 с до 0.3 с — у 27 разів.

Memory leak у статичних змінних

У Laravel Octane або Swoole додаток тримається в пам’яті між запитами. Статичні змінні не скидаються — призводять до неконтрольованого росту пам’яті. Використовуємо defer-функції та контейнерні біндинги для коректного скидання стану.

Неправильний connection pool

Rails, Laravel, Django відкривають нове з'єднання PostgreSQL на кожен PHP/Python процес. 100 воркерів — 100 з'єднань. PostgreSQL деградує від 200+ активних з'єднань через overhead на управління.

PgBouncer у transaction pooling: 1000 воркерів → 20–50 реальних з'єднань. Це знижує latency на 40% та зменшує витрати на хостинг на 30% — при середній вартості хостингу $2,000/міс економить $600/міс. GIN-індекс для JSONB до 100 разів швидший за B-tree при пошуку.

Як Octane справляється з високим навантаженням?

Laravel Octane (RoadRunner або Swoole) прибирає overhead bootstrap на кожен HTTP-запит. Приріст: 3–8x на синтетичних бенчмарках, 2–4x на реальних додатках. Важливо: не зберігати стан у статичних змінних — застосовуємо це на проектах >1000 RPS.

Як PostgreSQL допомагає уникнути повільних запитів?

Використовуємо composite indexes для WHERE + ORDER BY, partial indexes для фільтрів з високою селективністю, GIN-індекси для JSONB та full-text search. to_tsvector + GIN замість LIKE '%query%' — запобігає seq scan навіть на мільйонах записів. Аналізуємо плани через EXPLAIN ANALYZE та pg_stat_statements.

Як обрати стек для вашого проекту?

Node.js виправданий для realtime: Laravel публікує події в Redis Pub/Sub, Node.js підписується та транслює клієнтам. Go — для goroutines (10k з'єднань на сервер — норма), але розробка повільніша, ніж Laravel.

Чому Redis критичний для продуктивності?

Redis виконує кілька ролей:

Redis Cluster для горизонтального масштабування, Sentinel для автоматичного failover. Замовте консультацію щодо оптимізації Redis для вашого проекту.

Що входить в роботу під ключ

• Архітектурне проектування (документація API, схема БД, діаграма сервісів)
• Реалізація за узгодженим ТЗ з code review
• Налаштування CI/CD (GitHub Actions, Docker), моніторингу (Sentry, Grafana), алертингу
• Навантажувальне тестування (k6, wrk) зі звітом
• Передача вихідних кодів, доступів, інструкція з деплою
• Навчання команди замовника (2–3 сесії)
• Гарантійна підтримка 1 місяць після здачі

Орієнтири по термінах

Вартість розраховується індивідуально після аналізу вимог до навантаження, інтеграцій та бізнес-логіки. Зв'яжіться з нами для безкоштовного аудиту вашого поточного backend — отримайте план оптимізації за 2 дні. Замовте консультацію та дізнайтеся, як знизити витрати на інфраструктуру на 30% без втрати продуктивності.