Розробка ETL-процесів для 1С-Бітрікс

Ми часто стикаємося з ситуацією, коли стандартний імпорт через адміністративну панель 1С-Бітрікс перестає справлятися з регулярною синхронізацією. ERP, 1С, складські системи, маркетплейси — кожне джерело тягне дані у своєму форматі. Без повноцінного ETL через місяць виявляєш, що 3% товарів мають невірні залишки, а ніхто про це не знає. Ми розробляємо ETL-процеси під ключ: з трансформацією, обробкою помилок і моніторингом, щоб ви спали спокійно.

Як ETL-процес вирішує проблему неузгодженості даних?

ETL (Extract, Transform, Load) на базі 1С-Бітрікс будується навколо трьох шарів. Extract — отримання даних із джерел: файли (CSV, XML, JSON, YML) по FTP/SFTP/HTTP, REST API зовнішніх систем (1С, SAP, Salesforce), прямі підключення до баз (MySQL, MSSQL, PostgreSQL) через PDO, черги повідомлень (RabbitMQ, Kafka). Transform — приведення даних до структури Бітрікса: маппінг полів, нормалізація форматів, валідація. Load — запис у Бітрікс через D7 API або прямі SQL-запити для високих об'ємів. Такий підхід гарантує, що дані завжди актуальні та відповідають бізнес-логіці.

Архітектура завантаження товарів

Для завантаження товарів через стандартний API Бітрікса використовуємо \Bitrix\Iblock\ElementTable та CCatalogProduct. При об'ємі від 10 000 товарів ключові налаштування:

// Відключаємо непотрібні обробники на час імпорту
define('STOP_STATISTICS', true);
define('NO_AGENT_STATISTIC', 'Y');
define('DisableEventsCheck', true);

// Відключаємо пошуковий індекс — перебудуємо в кінці
\CSearch::DisableIndex();

// Завантаження елементу інфоблоку
$el = new \CIBlockElement();
$result = $el->Add([
    'IBLOCK_ID' => CATALOG_IBLOCK_ID,
    'NAME' => $item['name'],
    'CODE' => $item['code'],
    'ACTIVE' => 'Y',
    'PROPERTY_VALUES' => [
        'VENDOR_CODE' => $item['vendor_code'],
        'WEIGHT' => $item['weight'],
    ],
]);

При об'ємі > 50 000 елементів прямий виклик CIBlockElement::Add деградує через каскад подій. Ми переходимо на прямі INSERT у таблиці b_iblock_element, b_iblock_element_property, b_catalog_product з подальшим повним перебудуванням індексів. Це дає приріст продуктивності в 3-5 разів.

Чому інкрементальна синхронізація критична?

Повний перезапис кожні N годин — дорого і навантажує сервер. Інкрементальний ETL працює лише зі зміненими записами:

// Фіксуємо момент початку синхронізації
$syncStartTime = new \Bitrix\Main\Type\DateTime();

// Запитуємо з джерела лише змінені з минулої синхронізації
$changedItems = $source->getChangedSince($this->getLastSyncTime());

// Після успішної синхронізації оновлюємо мітку
$this->setLastSyncTime($syncStartTime);

Таблиця для зберігання стану синхронізації:

Трансформація даних: типові складнощі

Трансформація — найскладніша частина. Маппінг категорій: у джерелі може бути плоский список з parent_id, у Бітріксі — дерево розділів. Будуємо дерево, зіставляємо за кодом або external_id. Нормалізація цін: джерело дає ціну з ПДВ, без ПДВ, у різних валютах. Перераховуємо з урахуванням курсів. Очищення HTML: описи з 1С часто містять нечитабельне форматування — проганяємо через DOMDocument, видаляємо небажані теги. Дедуплікація: якщо джерело не гарантує унікальність артикулів — реалізуємо логіку об'єднання дублів.

Обробка помилок на рівні рядків

ETL не повинен зупинятися через один невалідний запис:

foreach ($items as $item) {
    try {
        $transformed = $this->transform($item);
        $this->load($transformed);
        $this->stats->incrementSuccess();
    } catch (\Bitrix\Main\ArgumentException $e) {
        // Помилка валідації — логуємо та продовжуємо
        $this->logger->warning('Validation failed', [
            'external_id' => $item['id'],
            'error' => $e->getMessage(),
        ]);
        $this->stats->incrementError($item['id'], $e->getMessage());
    } catch (\Exception $e) {
        // Неочікувана помилка — логуємо, але продовжуємо
        $this->logger->error('Load failed', ['item' => $item['id'], 'error' => $e->getMessage()]);
        $this->stats->incrementError($item['id'], $e->getMessage());
    }
}

Після синхронізації — звіт: скільки створено, оновлено, пропущено з помилками. Якщо помилок > 5% — алерт.

Управління пам'яттю при великих об'ємах

PHP при обробці 100 000 записів легко вичерпує пам'ять. Правила:

• Читаємо даними порціями (chunk), не завантажуємо весь файл у масив
• Використовуємо генератори для ітерації по CSV/XML
• Явно викликаємо unset() після обробки порції
• Скидаємо ORM-кеш Бітрікса: \Bitrix\Main\ORM\Data\DataManager::cleanCache()
• Стежимо за memory_get_usage() — при наближенні до ліміту пишемо в лог

// Генератор для читання великого CSV
function readCsvChunks(string $file, int $chunkSize = 500): \Generator {
    $handle = fopen($file, 'r');
    $header = fgetcsv($handle);
    $chunk = [];
    while (($row = fgetcsv($handle)) !== false) {
        $chunk[] = array_combine($header, $row);
        if (count($chunk) >= $chunkSize) {
            yield $chunk;
            $chunk = [];
        }
    }
    if ($chunk) yield $chunk;
    fclose($handle);
}

Агенти vs Cron vs Черга

• Агенти Бітрікса (b_agent) — для невеликих завдань (до 1000 записів за запуск). Нестабільні при низькому трафіку.
• Cron — надійніший для регулярних синхронізацій: */30 * * * * php -f /var/www/bitrix/etl/sync_products.php >> /var/log/etl.log 2>&1
• Черга (RabbitMQ/Redis) — для event-driven ETL, коли джерело публікує події змін. Дозволяє обробляти високочастотні зміни без втрат.

Моніторинг ETL

Що входить у роботу

• Аналіз джерел: структура даних, формати, розклад
• Розробка конекторів Extract для кожного джерела
• Трансформація: маппінг, нормалізація, валідація
• Завантаження в Бітрікс: API або прямі SQL, оптимізація продуктивності
• Обробка помилок та моніторинг: логування, алерти, звіти
• Документація: опис ETL-процесу, інструкція для адміністратора
• Навчання: передача знань вашій команді
• Підтримка після запуску: гарантія стабільної роботи

Етапи розробки

Сумарно: 6–12 тижнів залежно від складності. Оцінимо проєкт під ключ — зв'яжіться, щоб обговорити ваше завдання.

Докладніше про реалізацію синхронізації через CommerceML.

Розробка та налаштування модулів 1С-Бітрікс

Головна пастка Бітрікса — init.php. Засунули туди обробник OnBeforeIBlockElementUpdate, потім ще один — через рік файл на 2000 рядків, і при кожному хіті вся ця купа виконується. Ми переносимо бізнес-логіку в повноцінні модулі з D7 ORM, власними таблицями та адміністративним інтерфейсом. Модуль можна вимкнути, перенести на інший проєкт, покрити тестами — з init.php нічого з цього не вийде. Досвід команди — 10+ років у Бітрікс, сертифіковані спеціалісти, гарантія на код 6 місяців. Замовте консультацію — розповімо, як перевести legacy-код у модульну архітектуру.

Як модульна архітектура підвищує продуктивність?

Чому init.php — найгірше місце для бізнес-логіки?

Init.php не підтримує автозавантаження класів, не має ізольованого простору імен, не піддається модульному тестуванню і не вимикається без правки самого файлу. Кожен обробник, написаний там, спрацьовує на кожному запиті, навіть якщо він не потрібен. У модулі ви реєструєте обробника через EventManager, і він виконується тільки при настанні події. Різниця в продуктивності — до 3 разів при 10+ обробниках.

Стандартні модулі: типові проблеми та рішення

Інформаційні блоки. Архітектура ІБ — перше, що ми рев'юїмо на будь-якому проєкті. Класична помилка: один інфоблок каталогу з 80 властивостями, з яких 30 — множинні. Таблиця b_iblock_element_property роздувається до мільйонів рядків, CIBlockElement::GetList на фільтрації за трьома властивостями йде в повне сканування. Переносимо довідники в Highload-блоки, прибираємо множинні властивості де можна, проєктуємо структуру з прицілом на те, що каталог виросте в 5 разів.

Інтернет-магазин (sale). Бізнес-правила кошика — окрема історія. Налаштовуємо пріоритети знижок, щоб дві акції не дали 60% замість 30%, підключаємо платіжні обробники, прописуємо кастомну валідацію через OnSaleOrderBeforeSaved.

Пошук. Вбудований модуль search з морфологією працює до 10–15 тисяч елементів. Далі — Elasticsearch. Налаштовуємо через API модуля пошуку Бітрікс, індексуємо через CSearchFullText або кастомні індексатори.

Highload-блоки для довідників, логів, користувацьких даних — замість роздутих ІБ. Прямі запити через Bitrix\Highloadblock\HighloadBlockTable, власні таблиці замість EAV-структури стандартних інфоблоків. Мільйон записів — без деградації.

Поштові події. Налаштування — не лише шаблони в b_event_message. Головне — SPF, DKIM, DMARC на DNS, інакше транзакційні листи летять у спам. Перевіряємо доставність, налаштовуємо bounce-обробку.

Проектування інфоблоків для продуктивності

Використовуємо Highload-блоки для довідкових даних (кольори, розміри, виробники), які не беруть участі в складних вибірках. Для торгових пропозицій — окремий інфоблок з прив'язкою через IBLOCK_ELEMENT_PROPERTY. Увімкнемо INDEX_PROPERTY для часто фільтрованих властивостей. Кешування теговане: при зміні елемента скидається лише пов'язаний кеш. Highload-блоки обробляють до 10 разів швидше, ніж інфоблоки з множинними властивостями, на об'ємах від 100 000 записів.

Розробка кастомних модулів

Кожен модуль — за структурою /local/modules/vendor.modulename/:

• install/index.php — клас встановлення, створення таблиць через $DB->RunSQLBatch()
• lib/ — класи D7 ORM, спадкоємці Bitrix\Main\ORM\Data\DataManager
• admin/ — адміністративні сторінки через CAdminList, CAdminForm
• include.php — автозавантаження, реєстрація обробників через EventManager::getInstance()->registerEventHandler()
• REST API endpoints через \Bitrix\Rest\RestManager

Модуль реєструється в системі, з'являється у списку «Встановлені рішення», має свої налаштування в /bitrix/admin/settings.php?mid=vendor.modulename. Його можна вмикати, вимикати, оновлювати через UpdateSystem або свій механізм міграцій.

Приклади реалізованих завдань:

• Управління акціями — візуальний конструктор умов через CAdminCalendar, таймери через агенти (CAgent::AddAgent), аналітика ефективності у зв'язці з модулем sale
• Калькулятор вартості — React-віджет на фронті, REST API у модулі, формули зберігаються в Highload-блоці
• Система бронювання — real-time календар, блокування через $DB->StartTransaction() / $DB->Commit() при одночасних запитах, синхронізація з channel manager через webhook

Компоненти та композитний кеш

Кастомізація компонентів — через result_modifier.php і component_epilog.php, не через правку template.php стандартного шаблону. Так ядро оновлюється безболісно.

Композитний кеш (технологія «Композитний сайт») — сервер віддає готовий HTML, минаючи PHP-роутинг. Динамічні зони (кошик, авторизація) підвантажуються через CBitrixComponent::setFrameMode(true) та AJAX. TTFB падає до 30–50 мс. Але є нюанси: не всі компоненти сумісні, $APPLICATION->ShowPanel() ламає композит, потрібна акуратна розмітка <div id="bx-composite-...">.

Маркетплейс: аудит перед встановленням

Перед встановленням модуля з маркетплейсу — обов'язковий аудит. Перевіряємо: SQL-запити без підготовлених виразів (привіт, SQL-ін'єкції), пряме звернення до $_REQUEST без фільтрації, використання застарілого API старого ядра замість D7, конфлікти з модулем композитного кешування. Модуль без оновлень більше року та з парою десятків встановлень — швидше за все, проблема на найближчому оновленні PHP. Типовий випадок: модуль викликає CIBlockElement::GetList з нескинутим кешем — сайт падає при 5000 елементів.

Міграція на D7

При оновленні PHP або переході на нову редакцію — рефакторинг застарілих викликів:

• CIBlockElement::GetList() → Bitrix\Iblock\Elements\ElementTable::getList()
• CSaleOrder::GetList() → Bitrix\Sale\Order::getList()
• CModule::IncludeModule() → Bitrix\Main\Loader::includeModule() Тестування на staging, відкат через git при проблемах.

Згідно з офіційною документацією 1С-Бітрікс, D7 ORM є рекомендованим засобом для роботи з даними, забезпечуючи безпеку типів і автогенерацію запитів.

Порівняння підходів: Init.php vs Модуль

Вартість та склад розробки модулів

Що входить у розробку модуля?

• Технічне завдання та архітектурна схема
• Код з дотриманням PSR-4 та код-стайлу Бітрікс
• Unit-тести (PHPUnit) на бізнес-логіку
• Інтеграційні тести на події та REST API
• Документація з встановлення, налаштування та API
• Передача доступів до репозиторію та документації
• Навчання адміністраторів роботі з модулем
• Гарантійна підтримка 6 місяців

Орієнтовні терміни та складність:

Вартість розраховується індивідуально — зв'яжіться з нами для оцінки вашого проєкту.

Тестування модулів

Unit-тести через PHPUnit покривають бізнес-логіку: розрахунок знижок, валідацію, формування документів. Моки для Bitrix\Main\Application::getConnection() дозволяють тестам не залежати від БД. Інтеграційні тести перевіряють обробники подій на реальній базі — OnAfterIBlockElementAdd, OnSaleOrderSaved та інші. REST API endpoints тестуємо через curl або PHPUnit HTTP-клієнт. Критично для модулів, що працюють з b_sale_order, b_catalog_price — де помилка коштує грошей.

Сумісність перевіряється на PHP 7.4, 8.0, 8.1, 8.2 та редакціях: Стандарт, Малий бізнес, Бізнес. Перевіряємо конфлікти з популярними модулями маркетплейсу — вони люблять перехоплювати ті самі події. Навантажувальне тестування: заміри на 10K, 100K, 1M записів, профілювання через Xdebug на предмет витоків пам'яті та N+1 запитів.

Приклади з практики

Модуль акцій для мережі електроніки. Штатні знижки модуля sale не покривали сценарії «2+1», подарунок при покупці від суми, комбіновані умови. Зібрали візуальний конструктор: маркетолог створює правила через drag-and-drop, без тікетів у розробку. Календар акцій, автодеактивація через агенти, аналітика у прив'язці до b_sale_order — конверсія, середній чек, кількість застосувань. Час запуску нової акції впав з двох днів до півгодини.

Калькулятор для будівельників. Параметри (площа, матеріали, поверховість) → формула → попередній кошторис → заявка в CRM через CRest::call('crm.lead.add'). Регіональні коефіцієнти та сезонні націнки — з Highload-блоку, ціни матеріалів — з обміну з 1С. Кількість цільових заявок зросла на третину: клієнти бачать розбивку за статтями до дзвінка менеджеру.

Бронювання для мережі готелів. Real-time доступність через AJAX-запити до кастомної таблиці vendor_booking_slots, розрахунок тарифів за сезоном, синхронізація з Booking.com через channel manager API. Блокування номера при одночасному бронюванні — через SELECT ... FOR UPDATE у транзакції. Таймзони обробляються через \DateTimeZone — гість із Владивостока та менеджер із Москви бачать одну картину.

Оцінимо проєкт за 1 день. Пишіть — розповімо, що входить у розробку під ключ. Зв'яжіться з нами для консультації за вашим проєктом. Замовте розробку модуля під ключ — отримайте готове рішення з документацією та підтримкою.