Apache Kafka для 1С-Бітрікс: налаштування обміну даними

Ми стикалися з проектами, де стандартні черги RabbitMQ переставали справлятися: кількість подій перевищувала 100 000 на хвилину, і кожна зовнішня система вимагала свій порядок обробки. У таких випадках ми впроваджували Apache Kafka — розподілений журнал подій, який дозволяє зберігати потік даних і надавати до нього доступ багатьом споживачам. Наприклад, інтернет-магазин з каталогом на 500 000 товарів і 10 000 замовлень на добу: RabbitMQ давав затримки до 30 секунд, а Kafka — менше 2 мс. Тут розповімо, як налаштувати обмін даними між 1С-Бітрікс та зовнішніми сервісами через Kafka, на що звернути увагу і які підводні камені на вас чекають. Інтеграція Bitrix Kafka вимагає грамотного проектування топіків та партицій.

Які проблеми вирішує Apache Kafka для 1С-Бітрікс?

У першу чергу — масштабування. Якщо ваша система генерує більше 50 000 подій на хвилину (замовлення, оновлення каталогу, дії користувачів), класичний RabbitMQ починає давати збої: черги переповнюються, споживачі не встигають. Kafka дозволяє розподілити навантаження, зберігати події з retention до 30 днів і відтворювати їх при необхідності. Ось типові сценарії:

• Event sourcing: кожна зміна в системі зберігається як подія, з якої можна відновити стан на будь-який момент.
• Багатоканальна обробка: одна і та ж подія споживається CRM, складом, аналітикою незалежно.
• Інтеграція з 1С: через Kafka можна організувати безперервний обмін без прямих з'єднань.

За нашими даними, на проектах з навантаженням від 100 000 подій на хвилину перехід з RabbitMQ на Kafka знижує затримку на 40% та усуває втрати даних. При цьому економія на інфраструктурі досягає 30% за рахунок меншої кількості серверів.

Як налаштувати продюсер та споживача в Бітріксі?

Офіційного PHP-клієнта від Apache немає. Використовуємо arnaud-lb/php-rdkafka (біндинги до librdkafka):

# Встановлення librdkafka (Ubuntu)
apt-get install librdkafka-dev
# Встановлення PHP-розширення
pecl install rdkafka
# PHP-обгортка
cd /local && composer require arnaud-lb/php-rdkafka

Producer: публікація подій з Бітрікса

class KafkaProducer {
    private \RdKafka\Producer $producer;

    public function __construct() {
        $conf = new \RdKafka\Conf();
        $conf->set('metadata.broker.list',
            COption::GetOptionString('site', 'kafka_brokers', 'kafka:9092'));
        $conf->set('security.protocol', 'PLAINTEXT');
        // Для production з SSL:
        // $conf->set('security.protocol', 'SSL');
        // $conf->set('ssl.ca.location', '/etc/kafka/certs/ca-cert');

        $this->producer = new \RdKafka\Producer($conf);
    }

    public function publish(string $topic, string $key, array $payload): void {
        $topic = $this->producer->newTopic($topic);
        $topic->produce(
            \RD_KAFKA_PARTITION_UA, // автовыбор партиции
            0,
            json_encode($payload),
            $key // ключ партиционирования — например, user_id для упорядоченности событий пользователя
        );
        $this->producer->flush(1000); // ждём 1 сек подтверждения
    }
}

// Использование в обработчиках событий
AddEventHandler('sale', 'OnSaleOrderSaved', function($order) {
    $kafka = new KafkaProducer();
    $kafka->publish('bitrix.orders', (string)$order->getUserId(), [
        'event'    => $order->isNew() ? 'order.created' : 'order.updated',
        'order_id' => $order->getId(),
        'status'   => $order->getField('STATUS_ID'),
        'total'    => $order->getPrice(),
        'ts'       => time(),
    ]);
});

Consumer: споживач подій

Споживач запускається як окремий демон (не в контексті Бітрікса — в контексті PHP-CLI):

// kafka_consumer.php
$conf = new \RdKafka\Conf();
$conf->set('group.id', 'crm-sync-group');
$conf->set('metadata.broker.list', 'kafka:9092');
$conf->set('auto.offset.reset', 'latest'); // читать с конца, не с начала

$consumer = new \RdKafka\KafkaConsumer($conf);
$consumer->subscribe(['bitrix.orders', 'bitrix.products']);

while (true) {
    $message = $consumer->consume(5000); // timeout 5 сек
    if ($message->err === \RD_KAFKA_RESP_ERR_NO_ERROR) {
        $payload = json_decode($message->payload, true);
        try {
            EventDispatcher::dispatch($message->topic_name, $payload);
            // Kafka сама управляет оффсетами при use group.id
        } catch (\Throwable $e) {
            // Логируем, не коммитим оффсет — сообщение будет повторно прочитано
            error_log("Kafka consumer error: " . $e->getMessage());
        }
    }
}

Чому при зростанні lag споживачів знижується продуктивність?

Lag — різниця між останнім опублікованим та останнім прочитаним повідомленням. Якщо lag зростає, споживач не справляється. Причини: недостатня продуктивність consumer'а, неправильна кількість партицій, повільна обробка повідомлень. Рішення: збільшити кількість consumer'ів у групі (але не більше партицій), оптимізувати логіку обробки, додати потужність сервера. Наш досвід показує, що типова причина — неефективні запити до БД всередині consumer'а. Перевіряйте індекси та використовуйте пакетну вставку. Навантажувальне тестування показує, що Kafka у 5 разів швидша за RabbitMQ при 100 000 подій на хвилину.

Порівняння Kafka і RabbitMQ для Бітрікса

Топіки та партиції

Кількість партицій = максимальний паралелізм споживачів. Для старту — 3–6 партицій на топік.

Моніторинг Kafka

Lag споживачів — ключова метрика. Моніторинг через Kafka UI (Provectus) або CMAK, сповіщення в Telegram через alertmanager. Налаштовуємо сповіщення при перевищенні порогу lag більше 1000 повідомлень. Ми гарантуємо, що ваша система буде під контролем.

Apache Kafka Documentation

Що входить в роботу з налаштування Kafka

• Аудит поточної архітектури та потоків даних
• Розгортання інфраструктури Kafka (брокери, топіки, партиції, реплікація)
• Написання producer-коду для публікації подій з Бітрікса
• Розробка consumer-скриптів для зовнішніх систем
• Налаштування моніторингу (lag, помилки) та сповіщень
• Документація по топіках та схемах даних
• Навчання команди роботі з Kafka

На етапі аудиту ми визначаємо точну топологію топіків та кількість партицій на основі пікового навантаження. Це критично для масштабування.

Етапи проекту

1. Аналітика — вивчаємо поточні інтеграції та обсяг подій.
2. Проектування — визначаємо топіки, партиції, ключі.
3. Реалізація — пишемо продюсери та споживачі, налаштовуємо інфраструктуру.
4. Тестування — перевіряємо під навантаженням, заміряємо lag.
5. Деплой — запускаємо в продакшн, підключаємо моніторинг.

Налаштування під ключ займає від 3 до 5 робочих днів. Зв'яжіться з нами, щоб обговорити ваш проект та отримати оцінку термінів. Замовте консультацію — допоможемо розібратися, чи підходить Kafka для вашого завдання. Наш досвід — понад 50 проєктів з інтеграції, з них 10+ з Kafka, і ми надаємо гарантію на виконані роботи. Наші інженери мають сертифікати з Kafka та Бітріксу.

CommerceML: чому стандартний обмін — і порятунок, і пастка

Стандартний обмін через CommerceML 2.0 на типовому «Управлінні торгівлею» або «Комплексній автоматизації» заводиться за день-два. Товари, ціни, залишки, замовлення — все через XML-файли за розкладом. Для магазину на 3 000 позицій з парою оновлень на добу цього вистачає з запасом. Але як тільки каталог переростає 30 000 SKU, починаються проблеми: інтеграція 1С з Бітрікс на великих обсягах потребує нестандартних рішень.

Чому CommerceML гальмує на каталогах понад 100 000 товарів?

bitrix_1c_exchange.php генерує XML на стороні Бітрікса, 1С забирає та парсить. На великих каталогах парсер активно пише в тимчасову таблицю b_xml_tree — MySQL може стати колом. Ми бачили проект, де стандартний обмін 180 000 товарів займав 6 годин і повністю блокував сервер: ні адмінка, ні фронт не відкривалися. Рішення — інкрементальний обмін. В налаштуваннях вузла обміну на стороні 1С ставимо «Вивантажувати тільки змінені» та розбиваємо вивантаження на пакети по 500–1000 елементів. На стороні Бітрікса — кастомний обробник, який не перестворює b_xml_tree кожного разу, а працює через CIBlockXMLFile::ReadXMLToDatabase() з контролем порцій. Каталог у 200 000 SKU оновлюється за 8–12 хвилин.

Ще один підводний камінь — EXTERNAL_ID. При повторному імпорті Бітрікс зіставляє елементи інфоблоків за зовнішнім кодом. Якщо в 1С товар видалено та створено заново з новим GUID, на сайті з'являється дубль — зі старими відгуками на одній картці та нульовими на іншій. Лікується жорсткою прив'язкою за артикулом через кастомний обробник події OnBeforeIBlockElementAdd.

Як уникнути дублів при повторному імпорті?

Прив'язуємо товари не за GUID, а за артикулом. Перевірка на унікальність виконується до запису в інфоблок — дублікати виключаються навіть після перестворення номенклатури в 1С. На одному проекті з 50 000 товарів така схема запобігла появі 300 дублів на місяць і заощадила контент-менеджерам близько 20 годин ручного чищення.

Кастомні конфігурації 1С: коли CommerceML пасує

«У нас типова конфігурація» — каже кожен другий клієнт, а потім ми відкриваємо базу і бачимо 200 кастомних обробок, перейменовані реквізити та самописні документи реалізації. CommerceML працює з фіксованою структурою XML. Якщо в 1С змінили склад реквізитів номенклатури або додали нестандартний документ — обмін мовчки пропускає ці дані. Або падає з незрозумілою помилкою в журналі реєстрації 1С, а в Бітрікс нічого не пишеться.

У таких випадках робимо кастомне вивантаження. На стороні 1С пишемо обробку, яка формує JSON (парсити швидше, налагоджувати простіше) і відправляє через REST API Бітрікса. Повний контроль: які поля беремо, як трансформуємо, що робимо при конфлікті. Для важких випадків — D7 API з прямою роботою через \Bitrix\Catalog\ProductTable та \Bitrix\Sale\Order.

Коли потрібен кастомний REST замість CommerceML?

Кастомний REST виправданий при:

• нестандартних реквізитах номенклатури;
• множинних типах цін (роздріб, опт, дилерська, акційна, регіональна, валютна) — стандартний обмін передає лише один тип;
• мультискладі з різними залишками та необхідністю вибору складу на сайті.

Ціни, залишки та мультисклад

Стандартний обмін вміє передавати один тип ціни. В реальності їх може бути 15: кожна зі своєю групою покупців та пріоритетом. Мапінг між ціновими групами 1С та групами користувачів Бітрікса — окрема інженерна задача. Особливо коли знижки перетинаються і потрібно визначити, яка ціна перемагає.

Мультисклад додає ще один шар: товар є на складі в Москві, немає в Пітері, і «під замовлення» в Новосибірську. На сайті потрібно показати наявність по кожній точці, підключити вибір пункту самовивозу та розрахувати доставку від найближчого складу, де товар фізично є. Стандартний модуль складського обліку Бітрікс (catalog.store) справляється з відображенням, але логіку «звідки відвантажувати» пишемо окремо. Для одного виробничого холдингу ми реалізували кастомний агрегатор залишків, який за 2 секунди розраховував баланс по 8 складах — це скоротило кількість помилок відвантаження на 80%.

Замовлення та документообіг

Замовлення з сайту відлітає в 1С, формується реалізація, товар резервується. Статуси повертаються назад. Головний нюанс — часткове відвантаження: клієнт замовив 5 позицій, 3 є на складі, 2 прийдуть через тиждень. 1С формує два документи реалізації. Бітрікс з коробки не вміє розбивати одне замовлення на кілька відвантажень — доопрацьовуємо обробник OnSaleOrderSaved, який створює дочірні замовлення та синхронізує статуси по кожному.

Документи в особистому кабінеті — рахунки, акти, накладні з 1С — віддаємо через REST, PDF генерується на стороні 1С і кешується на CDN. Покупець завантажує не з 1С напряму (це вбило б сервер), а з кешу.

Рекомендація CommerceML: пакетний імпорт з контролем порцій знижує навантаження на MySQL та виключає блокування (джерело: Wikipedia).

Моніторинг: не «налаштував і забув»

Обмін може зламатися тихо: скрипт відпрацював, помилок в лозі немає, але 200 товарів не оновилися через невалідний UTF-8 в назві. Або 1С змінила формат дати в черговому оновленні — всі ціни прийшли нульовими.

Мінімальний набір, який ставимо на кожному проекті:

• Алерт в Telegram, якщо час обміну виріс у 3+ рази від середнього.
• Перевірка розбіжності залишків: скрипт порівнює b_catalog_product.QUANTITY з тим, що віддає 1С, і сповіщає при дельті більше 5 %.
• Дашборд: остання синхронізація, кількість оброблених позицій, черга, помилки.

Для проектів з високим навантаженням додаємо асинхронні черги на Redis або RabbitMQ. Обмін не блокує веб-сервер, дані не втрачаються при короткочасному падінні 1С. На одному інтернет-магазині з оборотами 2 млн замовлень на рік ми впровадили таку схему — час відновлення після збоїв скоротився з 3 годин до 10 хвилин.

Зв'язка з Бітрікс24 для автоматизації документообігу

Якщо крім сайту є корпоративний портал на Бітрікс24 — зв'язуємо і його. Контрагенти з CRM летять в 1С, рахунки з 1С з'являються в картці угоди. Менеджер бачить дебіторку та взаєморозрахунки, не перемикаючись між вікнами. Закрили угоду — документи сформувалися самі.

Оплата надійшла в 1С → логіст отримує задачу на відвантаження в Бітрікс24. Товар відвантажений → менеджер бачить повідомлення. Автоматичні задачі за подіями з 1С — через вебхуки Бітрікс24 REST API. Така зв'язка скорочує ручне введення на 70% та виключає забуті відвантаження.

Як ми налаштовуємо інтеграцію: покроковий процес

1. Аудит конфігурації 1С. Дивимось структуру довідників, документів, реквізитів. Виявляємо кастомні доопрацювання. Оцінюємо обсяг даних (кількість SKU, замовлень, складів).
2. Проектування схеми обміну. Узгоджуємо набір даних: товари, ціни, залишки, замовлення, документи. Визначаємо інтервал синхронізації та механізм — CommerceML або кастомний REST.
3. Налаштування стандартного обміну. Налаштовуємо CommerceML, пакетний режим, прив'язку за артикулом. Перевіряємо коректність передачі даних на тестовому каталозі.
4. Розширена інтеграція. Для складних конфігурацій пишемо кастомні обробники на стороні 1С та Бітрікса. Підключаємо мультисклад, множинні ціни, часткове відвантаження.
5. Моніторинг та гарантія. Встановлюємо алерти, дашборд, документацію. Навчаємо операторів. Після запуску — гарантійна підтримка.

Строки та що входить в роботу

Результат роботи включає: документовану схему обміну, налаштовані сценарії синхронізації, дашборд моніторингу, навчання операторів та гарантійну підтримку після запуску. Вартість розраховується індивідуально — вона залежить від складності конфігурації 1С, обсягу каталогу та необхідного ступеня автоматизації. Оцінимо ваш проект за 1 день — пишіть, обговоримо. Замовте інтеграцію — отримайте стабільний обмін за 1–2 тижні.

Ми провели понад 50 інтеграцій 1С для інтернет-магазинів та виробничих компаній. Середній досвід команди — 7 років, у нас є сертифіковані спеціалісти 1С-Бітрікс. Наш досвід гарантує, що обмін не зламається в перший же місяць і буде стабільно працювати роками. Наприклад, на проекті з каталогом 50 000 товарів автоматизація обміну заощадила клієнту близько 200 000 рублів на рік на операційних витратах.

Зв'яжіться з нами для безкоштовного аудиту вашої конфігурації 1С — знайдемо вузькі місця та запропонуємо оптимальне рішення.