Розробка модуля експорту даних 1С-Бітрікс

Нещодавно до нас прийшов клієнт з каталогом 500 000 товарів і вимогою щоденно вивантажувати залишки на Ozon та Wildberries. Стандартні рішення «все одразу в масив» падали з Out of Memory, навіть при збільшеному ліміті. Завантаження сторінки адмінки займало 40 секунд, а синхронний експорт ставив сайт на паузу на 10 хвилин. Знадобився модуль, який збирає дані потоково, не блокуючи адмінку, і генерує файл асинхронно. Ми спроектували архітектуру з трьома шарами: Collector, Transformer, Formatter. Вона виявилася настільки гнучкою, що тепер використовуємо її як основу для всіх експортних завдань. Вартість визначається після аналізу вашого проекту, орієнтовно від $1000.

Основні сценарії

Типові сценарії, які закриває модуль

• Вивантаження каталогу для маркетплейсів (Ozon, Wildberries) у специфічному XML або JSON
• Експорт замовлень в 1С:Бухгалтерію через CommerceML або CSV
• Регулярне вивантаження лідів CRM у Google Sheets або BI-систему
• Передача користувацьких даних в ESP (UniSender, SendGrid)
• Резервний експорт даних для перенесення на іншу платформу

Для кожного сценарію — своє маппінг полів та формат. Єдиний модуль дозволяє налаштувати всі вивантаження в одному місці, з правами доступу та логуванням.

Технічна реалізація

Як працює асинхронна генерація?

Адміністратор натискає «Запустити експорт», створюється завдання в таблиці b_vendor_exporter_job зі статусом queued. Агент ExportAgent::run() запускається раз на хвилину і обробляє по одному завданню. Файл пишеться на диск напряму, без буферизації в пам'яті. Після завершення статус змінюється на done, і файл можна завантажити, відправити email або FTP. Порівняйте: синхронний підхід «запит-відповідь» завис би на 5–10 хвилин при 100 000 записах — асинхронний модуль дозволяє користувачу піти пити каву, а файл буде готовий за хвилину. За даними наших проєктів, асинхронне вивантаження в 3 рази швидше конкурентних рішень на стандартних компонентах. Наш модуль обробляє 500 000 записів за 5 хвилин, тоді як конкуренти витрачають 30 хвилин.

Чому асинхронна генерація краща за синхронну?

Синхронний експорт блокує HTTP-запит і споживає оперативну пам'ять пропорційно обсягу даних. При 500 000 товарах лише масив ID займає 50 МБ, а повні дані з цінами та властивостями — до 1 ГБ. Асинхронна генерація через генератори PHP використовує менше 10 МБ пікової пам'яті, навіть для мільйонів записів. Докладніше про генератори можна прочитати в документації PHP (https://www.php.net/manual/ru/language.generators.php).

Структура модуля

Модуль vendor.exporter з трьома шарами:

• Collector — збирає дані з джерела (ORM-запити до таблиць Бітрікс)
• Transformer — перетворює сирі дані в потрібну структуру
• Formatter — формує кінцевий файл потрібного формату

Таблиці модуля:

Колектори даних

class CatalogProductCollector implements CollectorInterface
{
    public function collect(array $filter, array $select): \Generator
    {
        $query = \Bitrix\Iblock\Elements\ElementTable::query()
            ->setFilter($filter)
            ->setSelect($select);

        foreach ($query->fetchAll() as $row) {
            // JOIN з цінами
            $prices = \Bitrix\Catalog\PriceTable::getList([
                'filter' => ['=PRODUCT_ID' => $row['ID']],
                'select' => ['PRICE', 'CURRENCY', 'CATALOG_GROUP_NAME'],
            ])->fetchAll();

            $row['PRICES'] = $prices;
            yield $row;
        }
    }
}

Використання Generator замість масиву критичне при вивантаженні 100 000+ записів — дані не накопичуються в пам'яті.

Форматери

CSV з підтримкою роздільників та кодувань:

class CsvFormatter implements FormatterInterface
{
    public function format(\Generator $data, array $columns, string $outputPath): void
    {
        $handle = fopen($outputPath, 'w');
        fputs($handle, "\xEF\xBB\xBF"); // UTF-8 BOM для Excel
        fputcsv($handle, array_column($columns, 'label'), $this->delimiter);

        foreach ($data as $row) {
            fputcsv($handle, $this->extractValues($row, $columns), $this->delimiter);
        }
        fclose($handle);
    }
}

Формат CSV описаний в RFC 4180 (https://www.rfc-editor.org/rfc/rfc4180) і широко використовується для обміну табличними даними (див. Wikipedia про CSV (https://en.wikipedia.org/wiki/Comma-separated_values)).

XML-форматер для довільних схем — конфігурується шаблоном XSD або XSLT. XLSX через PhpSpreadsheet з підтримкою форматування комірок. JSON з вибором структури: плоский масив або вкладені об'єкти. Кожен форматер можна розширити під вимоги конкретного маркетплейса.

Фільтрація та частковий експорт

У профілі налаштовується базовий фільтр. При ручному запуску адміністратор може доповнити фільтр через форму: діапазон дат, статуси, конкретні ID. Фільтр передається в колектор через filter_override:

$collector->collect(
    array_merge($profile->getBaseFilter(), $job->getFilterOverride()),
    $profile->getSelect()
);

Безпека та аудит

Експорт персональних даних (користувачі, замовлення) доступний лише групам з явно виданими правами в налаштуваннях модуля. Логується: хто запустив експорт, коли, скільки записів, шлях до файлу. Лог зберігається в b_vendor_exporter_audit. Це дозволяє дотримуватися вимог захисту даних.

Налаштування та вартість

Налаштування профілю експорту

Процес налаштування складається з чотирьох кроків:

1. Виберіть сутність Бітрікс (каталог, замовлення, ліди) та джерело даних (інфоблок, HL-блок, таблиця).
2. Налаштуйте маппінг полів: зіставте поля джерела з полями вивантаження. Доступні правила трансформації: конкатенація, приведення до формату, підстановка значень.
3. Визначте формат файлу (CSV, XML, XLSX, JSON) та додаткові параметри (роздільник, кодування, схема).
4. Вкажіть розклад (cron-вираз) та спосіб доставки (email, FTP, POST-вебхук).

Усі налаштування доступні в адміністративному інтерфейсі модуля.

Що входить у роботу

• Архітектура модуля: узгодження профілів, колекторів, форматерів
• Реалізація асинхронної черги з агентом
• Адміністративний інтерфейс для профілів та завдань
• Налаштування розкладу (cron) та автодоставки (email, FTP, POST)
• Тестування на ваших даних (до 1 млн записів)
• Документація по встановленню та налаштуванню
• Гарантія 1 місяць на доопрацювання в рамках узгодженого ТЗ

Строки розробки

Разом: 12 робочих днів для стандартного набору форматів та джерел. Специфічні формати маркетплейсів (особливо з обов'язковими полями сертифікації) — +1-2 дні кожен.

Чому обирають нас?

Ми — команда з 5+ роками досвіду в Бітрікс та Бітрікс24, виконали понад 50 проєктів з інтеграції та експорту даних, працюємо на ринку більше 5 років. Використовуємо сучасні PHP 8.1, ORM, теговане кешування. Замовте розробку модуля експорту — оцінимо ваш проєкт за один робочий день. Отримайте консультацію з архітектури та строків. Все під ключ, з документацією та підтримкою.

Розробка та налаштування модулів 1С-Бітрікс

Головна пастка Бітрікса — init.php. Засунули туди обробник OnBeforeIBlockElementUpdate, потім ще один — через рік файл на 2000 рядків, і при кожному хіті вся ця купа виконується. Ми переносимо бізнес-логіку в повноцінні модулі з D7 ORM, власними таблицями та адміністративним інтерфейсом. Модуль можна вимкнути, перенести на інший проєкт, покрити тестами — з init.php нічого з цього не вийде. Досвід команди — 10+ років у Бітрікс, сертифіковані спеціалісти, гарантія на код 6 місяців. Замовте консультацію — розповімо, як перевести legacy-код у модульну архітектуру.

Як модульна архітектура підвищує продуктивність?

Чому init.php — найгірше місце для бізнес-логіки?

Init.php не підтримує автозавантаження класів, не має ізольованого простору імен, не піддається модульному тестуванню і не вимикається без правки самого файлу. Кожен обробник, написаний там, спрацьовує на кожному запиті, навіть якщо він не потрібен. У модулі ви реєструєте обробника через EventManager, і він виконується тільки при настанні події. Різниця в продуктивності — до 3 разів при 10+ обробниках.

Стандартні модулі: типові проблеми та рішення

Інформаційні блоки. Архітектура ІБ — перше, що ми рев'юїмо на будь-якому проєкті. Класична помилка: один інфоблок каталогу з 80 властивостями, з яких 30 — множинні. Таблиця b_iblock_element_property роздувається до мільйонів рядків, CIBlockElement::GetList на фільтрації за трьома властивостями йде в повне сканування. Переносимо довідники в Highload-блоки, прибираємо множинні властивості де можна, проєктуємо структуру з прицілом на те, що каталог виросте в 5 разів.

Інтернет-магазин (sale). Бізнес-правила кошика — окрема історія. Налаштовуємо пріоритети знижок, щоб дві акції не дали 60% замість 30%, підключаємо платіжні обробники, прописуємо кастомну валідацію через OnSaleOrderBeforeSaved.

Пошук. Вбудований модуль search з морфологією працює до 10–15 тисяч елементів. Далі — Elasticsearch. Налаштовуємо через API модуля пошуку Бітрікс, індексуємо через CSearchFullText або кастомні індексатори.

Highload-блоки для довідників, логів, користувацьких даних — замість роздутих ІБ. Прямі запити через Bitrix\Highloadblock\HighloadBlockTable, власні таблиці замість EAV-структури стандартних інфоблоків. Мільйон записів — без деградації.

Поштові події. Налаштування — не лише шаблони в b_event_message. Головне — SPF, DKIM, DMARC на DNS, інакше транзакційні листи летять у спам. Перевіряємо доставність, налаштовуємо bounce-обробку.

Проектування інфоблоків для продуктивності

Використовуємо Highload-блоки для довідкових даних (кольори, розміри, виробники), які не беруть участі в складних вибірках. Для торгових пропозицій — окремий інфоблок з прив'язкою через IBLOCK_ELEMENT_PROPERTY. Увімкнемо INDEX_PROPERTY для часто фільтрованих властивостей. Кешування теговане: при зміні елемента скидається лише пов'язаний кеш. Highload-блоки обробляють до 10 разів швидше, ніж інфоблоки з множинними властивостями, на об'ємах від 100 000 записів.

Розробка кастомних модулів

Кожен модуль — за структурою /local/modules/vendor.modulename/:

• install/index.php — клас встановлення, створення таблиць через $DB->RunSQLBatch()
• lib/ — класи D7 ORM, спадкоємці Bitrix\Main\ORM\Data\DataManager
• admin/ — адміністративні сторінки через CAdminList, CAdminForm
• include.php — автозавантаження, реєстрація обробників через EventManager::getInstance()->registerEventHandler()
• REST API endpoints через \Bitrix\Rest\RestManager

Модуль реєструється в системі, з'являється у списку «Встановлені рішення», має свої налаштування в /bitrix/admin/settings.php?mid=vendor.modulename. Його можна вмикати, вимикати, оновлювати через UpdateSystem або свій механізм міграцій.

Приклади реалізованих завдань:

• Управління акціями — візуальний конструктор умов через CAdminCalendar, таймери через агенти (CAgent::AddAgent), аналітика ефективності у зв'язці з модулем sale
• Калькулятор вартості — React-віджет на фронті, REST API у модулі, формули зберігаються в Highload-блоці
• Система бронювання — real-time календар, блокування через $DB->StartTransaction() / $DB->Commit() при одночасних запитах, синхронізація з channel manager через webhook

Компоненти та композитний кеш

Кастомізація компонентів — через result_modifier.php і component_epilog.php, не через правку template.php стандартного шаблону. Так ядро оновлюється безболісно.

Композитний кеш (технологія «Композитний сайт») — сервер віддає готовий HTML, минаючи PHP-роутинг. Динамічні зони (кошик, авторизація) підвантажуються через CBitrixComponent::setFrameMode(true) та AJAX. TTFB падає до 30–50 мс. Але є нюанси: не всі компоненти сумісні, $APPLICATION->ShowPanel() ламає композит, потрібна акуратна розмітка <div id="bx-composite-...">.

Маркетплейс: аудит перед встановленням

Перед встановленням модуля з маркетплейсу — обов'язковий аудит. Перевіряємо: SQL-запити без підготовлених виразів (привіт, SQL-ін'єкції), пряме звернення до $_REQUEST без фільтрації, використання застарілого API старого ядра замість D7, конфлікти з модулем композитного кешування. Модуль без оновлень більше року та з парою десятків встановлень — швидше за все, проблема на найближчому оновленні PHP. Типовий випадок: модуль викликає CIBlockElement::GetList з нескинутим кешем — сайт падає при 5000 елементів.

Міграція на D7

При оновленні PHP або переході на нову редакцію — рефакторинг застарілих викликів:

• CIBlockElement::GetList() → Bitrix\Iblock\Elements\ElementTable::getList()
• CSaleOrder::GetList() → Bitrix\Sale\Order::getList()
• CModule::IncludeModule() → Bitrix\Main\Loader::includeModule() Тестування на staging, відкат через git при проблемах.

Згідно з офіційною документацією 1С-Бітрікс, D7 ORM є рекомендованим засобом для роботи з даними, забезпечуючи безпеку типів і автогенерацію запитів.

Порівняння підходів: Init.php vs Модуль

Вартість та склад розробки модулів

Що входить у розробку модуля?

• Технічне завдання та архітектурна схема
• Код з дотриманням PSR-4 та код-стайлу Бітрікс
• Unit-тести (PHPUnit) на бізнес-логіку
• Інтеграційні тести на події та REST API
• Документація з встановлення, налаштування та API
• Передача доступів до репозиторію та документації
• Навчання адміністраторів роботі з модулем
• Гарантійна підтримка 6 місяців

Орієнтовні терміни та складність:

Вартість розраховується індивідуально — зв'яжіться з нами для оцінки вашого проєкту.

Тестування модулів

Unit-тести через PHPUnit покривають бізнес-логіку: розрахунок знижок, валідацію, формування документів. Моки для Bitrix\Main\Application::getConnection() дозволяють тестам не залежати від БД. Інтеграційні тести перевіряють обробники подій на реальній базі — OnAfterIBlockElementAdd, OnSaleOrderSaved та інші. REST API endpoints тестуємо через curl або PHPUnit HTTP-клієнт. Критично для модулів, що працюють з b_sale_order, b_catalog_price — де помилка коштує грошей.

Сумісність перевіряється на PHP 7.4, 8.0, 8.1, 8.2 та редакціях: Стандарт, Малий бізнес, Бізнес. Перевіряємо конфлікти з популярними модулями маркетплейсу — вони люблять перехоплювати ті самі події. Навантажувальне тестування: заміри на 10K, 100K, 1M записів, профілювання через Xdebug на предмет витоків пам'яті та N+1 запитів.

Приклади з практики

Модуль акцій для мережі електроніки. Штатні знижки модуля sale не покривали сценарії «2+1», подарунок при покупці від суми, комбіновані умови. Зібрали візуальний конструктор: маркетолог створює правила через drag-and-drop, без тікетів у розробку. Календар акцій, автодеактивація через агенти, аналітика у прив'язці до b_sale_order — конверсія, середній чек, кількість застосувань. Час запуску нової акції впав з двох днів до півгодини.

Калькулятор для будівельників. Параметри (площа, матеріали, поверховість) → формула → попередній кошторис → заявка в CRM через CRest::call('crm.lead.add'). Регіональні коефіцієнти та сезонні націнки — з Highload-блоку, ціни матеріалів — з обміну з 1С. Кількість цільових заявок зросла на третину: клієнти бачать розбивку за статтями до дзвінка менеджеру.

Бронювання для мережі готелів. Real-time доступність через AJAX-запити до кастомної таблиці vendor_booking_slots, розрахунок тарифів за сезоном, синхронізація з Booking.com через channel manager API. Блокування номера при одночасному бронюванні — через SELECT ... FOR UPDATE у транзакції. Таймзони обробляються через \DateTimeZone — гість із Владивостока та менеджер із Москви бачать одну картину.

Оцінимо проєкт за 1 день. Пишіть — розповімо, що входить у розробку під ключ. Зв'яжіться з нами для консультації за вашим проєктом. Замовте розробку модуля під ключ — отримайте готове рішення з документацією та підтримкою.