REST API для ботів-парсерів: керування, моніторинг, webhooks

POST /api/v1/scrapers — створити новий скрапер GET /api/v1/scrapers — список скраперів GET /api/v1/scrapers/{id} — конфігурація скрапера PATCH /api/v1/scrapers/{id} — оновити конфігурацію DELETE /api/v1/scrapers/{id} — видалити скрапер POST /api/v1/scrapers/{id}/run — запустити негайно POST /api/v1/scrapers/{id}/stop — зупинити запущений GET /api/v1/scrapers/{id}/status — поточний статус GET /api/v1/scrapers/{id}/runs — історія запусків GET /api/v1/scrapers/{id}/runs/{runId} — деталі запуску GET /api/v1/scrapers/{id}/results — результати парсингу 

Приклад реалізації на FastAPI з фоновими завданнями та валідацією:

from fastapi import FastAPI, HTTPException, BackgroundTasks from pydantic import BaseModel from typing import Optional app = FastAPI() class ScraperConfig(BaseModel): name: str url: str schedule: Optional[str] = None # cron expression proxy_pool: Optional[str] = None rate_limit: int = 5 # req/sec headers: dict = {} @app.post('/api/v1/scrapers', status_code=201) async def create_scraper(config: ScraperConfig): scraper = await ScraperRepository.create(config.dict()) if config.schedule: await Scheduler.register(scraper.id, config.schedule) return scraper @app.post('/api/v1/scrapers/{scraper_id}/run') async def run_scraper(scraper_id: int, background_tasks: BackgroundTasks): scraper = await ScraperRepository.get_or_404(scraper_id) if scraper.status == 'running': raise HTTPException(409, 'Scraper is already running') run = await ScraperRun.create(scraper_id=scraper_id, status='pending') background_tasks.add_task(execute_scraper, scraper, run.id) return {'run_id': run.id, 'status': 'started'} @app.get('/api/v1/scrapers/{scraper_id}/status') async def get_status(scraper_id: int): scraper = await ScraperRepository.get_or_404(scraper_id) last_run = await ScraperRun.get_latest(scraper_id) return { 'id': scraper_id, 'status': last_run.status if last_run else 'idle', 'last_run': last_run.started_at if last_run else None, 'items_count': last_run.items_collected if last_run else 0, } 

Аутентифікація та безпека

API-ключі з рівнями доступу: read, write, admin. Ключі зберігаються у вигляді хешів (bcrypt), передаються в заголовку Authorization: Bearer {key}. Також підтримуємо OAuth2 для корпоративних клієнтів — це спрощує аудит і підвищує безпеку.

Webhooks для оповіщень

Підписка на події: завершення запуску, помилки, нові дані. Приклад реєстрації webhook:

@app.post('/api/v1/webhooks') async def create_webhook(url: str, events: list[str]): return await WebhookRepository.create(url=url, events=events) 

Що входить у роботу

• Проєктування архітектури API під ваші бізнес-процеси.
• Реалізація на FastAPI або іншому стеку (Django, Node.js).
• Автоматична документація OpenAPI (Swagger).
• Базова аутентифікація (API-ключі) або OAuth2.
• Webhooks для ключових подій.
• Розгортання на вашому сервері або в хмарі (Docker Compose, Kubernetes).
• Гарантія 30 днів безкоштовної підтримки після запуску.
• Досвід інженерів: понад 5 років у розробці подібних систем, сертифіковані фахівці з FastAPI та Kubernetes, реалізовано 30+ проєктів.

Терміни та вартість

Орієнтовні терміни: 5–8 робочих днів для базового функціоналу (CRUD, запуск/зупинка, статус). Вартість розраховується індивідуально, залежить від складності: кількість ендпоїнтів, інтеграції, вимоги до продуктивності. Зв'яжіться з нами для оцінки вашого проєкту — ми підберемо оптимальне рішення.

Що вигідніше: REST API чи ручне керування?

REST API забезпечує значно вищу надійність і швидкість розробки. Автоматизація знижує витрати на підтримку до 40% порівняно з ручним керуванням. Типовий проєкт окупається за 2–3 місяці.

Замовте розробку REST API та автоматизуйте керування парсерами вже сьогодні. Отримайте консультацію з архітектури вашого API — ми допоможемо скоротити час інтеграції в 2–3 рази.