Налаштування експорту даних з Bitrix24 у BI-системи
Керівник просить звіт по воронці продажів за квартал. Менеджер відкриває CRM, застосовує фільтри, експортує CSV, копіює в Excel, будує зведену таблицю. Проходить година. Директор запитує: «А тепер у розрізі менеджерів». Ще година ручної роботи. Дані в Bitrix24 є, але витягати їх кожного разу вручну — це глухий кут. Потрібен постійний експорт у BI-систему, де дашборди оновлюються самі.
Способи експорту даних
Bitrix24 пропонує кілька механізмів для видобутку даних:
| Метод | Підходить для | Обмеження |
|---|---|---|
| REST API | Будь-які сутності CRM, завдання, користувачі | Ліміт 2 запити/сек, пагінація по 50 записів |
| BI Connector (тариф «Професійний» і вище) | Готові датасети: угоди, ліди, активності | Фіксований набір полів, оновлення раз на годину |
| Webhooks | Подієва модель — реакція на створення/зміну | Не надає історичних даних |
| CSV-експорт | Разові вивантаження, перевірка гіпотез | Ручна робота, без автоматизації |
Для більшості завдань оптимальна комбінація — REST API + ETL-конвеєр. BI Connector простіший у старті, але обмежений за складом полів і гнучкістю трансформацій.
ETL-конвеєр: видобуток, трансформація, завантаження
ETL-конвеєр — це послідовність: забрати дані з Bitrix24, привести до потрібної структури, покласти в сховище.
Видобуток. Скрипт звертається до REST API методами crm.deal.list, crm.lead.list, crm.activity.list та іншими. Запитуємо дані з фільтром по даті зміни — беремо тільки оновлені записи, а не всю базу щоразу. Для первинного завантаження робимо повний обхід з пагінацією.
Трансформація. Сирі дані з Bitrix24 містять ID замість назв, дати в різних форматах, користувацькі поля з технічними іменами на зразок UF_CRM_1678901234. На цьому етапі:
- Замінюємо ID стадій, відповідальних, типів на зрозумілі назви
- Приводимо дати до єдиного формату
- Розгортаємо множинні поля в окремі рядки або колонки
- Обчислюємо похідні метрики: тривалість угоди, конверсія між стадіями
Завантаження. Трансформовані дані записуються в сховище — PostgreSQL, ClickHouse, Google BigQuery. Структура таблиць проектується під конкретні звіти: таблиці фактів (угоди, активності) та довідники (менеджери, стадії, напрями).
Розклад і інкрементальне завантаження
Конвеєр запускається за розкладом — cron, Airflow, або простий таймер на сервері. Типова частота — раз на 30–60 хвилин для оперативних дашбордів, один раз на день для аналітичних звітів.
Інкрементальне завантаження економить час і трафік: запитуємо тільки записи з DATE_MODIFY більше останньої успішної синхронізації. Для видалених записів окремий механізм — періодична звірка ID.
Підключення BI-системи
Коли дані в сховищі, BI-система (Power BI, Metabase, Superset, Google Looker Studio) підключається безпосередньо до бази. Дашборди будуються один раз і оновлюються автоматично.
Типові дашборди:
- Воронка продажів — конверсія по стадіях, середній чек, тривалість угоди
- Активність менеджерів — дзвінки, листи, зустрічі за період
- План-факт — виконання плану по виручці у розрізі відділів і менеджерів
Що настроюємо
- Вибір методу експорту під завдання: REST API, BI Connector або комбінація
- ETL-конвеєр з інкрементальним завантаженням і обробкою помилок
- Структуру сховища даних під потрібні звіти
- Розклад синхронізації з моніторингом збоїв
- Підключення BI-системи і налаштування базових дашбордів
- Документацію по структурі даних і маппінгу полів