Разработка модуля экспорта данных 1С-Битрикс под ключ

Разработка модуля экспорта данных 1С-Битрикс

Недавно к нам пришёл клиент с каталогом 500 000 товаров и требованием ежедневно выгружать остатки на Ozon и Wildberries. Стандартные решения «сразу всё в массив» падали с Out of Memory, даже при увеличенном лимите. Загрузка страницы админки занимала 40 секунд, а синхронный экспорт ставил сайт на паузу на 10 минут. Потребовался модуль, который собирает данные потоково, не блокируя админку, и генерирует файл асинхронно. Мы спроектировали архитектуру с тремя слоями: Collector, Transformer, Formatter. Она оказалась настолько гибкой, что теперь используем её как основу для всех экспортных задач. Стоимость типового решения начинается от 150 000 рублей, а экономия на ручной выгрузке может составить до 2 000 000 рублей в год.

Типичные сценарии, которые закрывает модуль

• Выгрузка каталога для маркетплейсов (Ozon, Wildberries) в специфическом XML или JSON
• Экспорт заказов в 1С:Бухгалтерию через CommerceML или CSV
• Регулярная выгрузка лидов CRM в Google Sheets или BI-систему
• Передача пользовательских данных в ESP (UniSender, SendGrid)
• Резервный экспорт данных для переноса на другую платформу

Для каждого сценария — свой маппинг полей и формат. Единый модуль позволяет настроить все выгрузки в одном месте, с правами доступа и логированием.

Как работает асинхронная генерация?

Администратор нажимает «Запустить экспорт», создаётся задание в таблице b_vendor_exporter_job со статусом queued. Агент ExportAgent::run() запускается раз в минуту и обрабатывает по одному заданию. Файл пишется на диск напрямую, без буферизации в памяти. После завершения статус меняется на done, и файл можно скачать, отправить по email или по FTP. Сравните: синхронный подход «запрос-ответ» завис бы на 5–10 минут при 100 000 записях — асинхронный модуль позволяет пользователю уйти пить кофе, а файл будет готов через минуту. По данным наших проектов, асинхронная выгрузка в 3 раза быстрее конкурентных решений на стандартных компонентах.

Почему асинхронная генерация лучше синхронной?

Синхронный экспорт блокирует HTTP-запрос и потребляет оперативную память пропорционально объёму данных. При 500 000 товарах только массив ID занимает 50 МБ, а полные данные с ценами и свойствами — до 1 ГБ. Асинхронная генерация через генераторы PHP использует менее 10 МБ пиковой памяти, даже для миллионов записей. Подробнее о генераторах можно прочитать в документации PHP.

Структура модуля

Модуль vendor.exporter с тремя слоями:

• Collector — собирает данные из источника (ORM-запросы к таблицам Битрикс)
• Transformer — преобразует сырые данные в нужную структуру
• Formatter — формирует конечный файл нужного формата

Таблицы модуля:

Коллекторы данных

class CatalogProductCollector implements CollectorInterface
{
    public function collect(array $filter, array $select): \Generator
    {
        $query = \Bitrix\Iblock\Elements\ElementTable::query()
            ->setFilter($filter)
            ->setSelect($select);

        foreach ($query->fetchAll() as $row) {
            // JOIN с ценами
            $prices = \Bitrix\Catalog\PriceTable::getList([
                'filter' => ['=PRODUCT_ID' => $row['ID']],
                'select' => ['PRICE', 'CURRENCY', 'CATALOG_GROUP_NAME'],
            ])->fetchAll();

            $row['PRICES'] = $prices;
            yield $row;
        }
    }
}

Использование Generator вместо массива критично при выгрузке 100 000+ записей — данные не накапливаются в памяти.

Форматтеры

CSV с поддержкой разделителей и кодировок:

class CsvFormatter implements FormatterInterface
{
    public function format(\Generator $data, array $columns, string $outputPath): void
    {
        $handle = fopen($outputPath, 'w');
        fputs($handle, "\xEF\xBB\xBF"); // UTF-8 BOM для Excel
        fputcsv($handle, array_column($columns, 'label'), $this->delimiter);

        foreach ($data as $row) {
            fputcsv($handle, $this->extractValues($row, $columns), $this->delimiter);
        }
        fclose($handle);
    }
}

Формат CSV описан в RFC 4180 и широко используется для обмена табличными данными (см. Wikipedia о CSV).

XML-форматтер для произвольных схем — конфигурируется шаблоном XSD или XSLT. XLSX через PhpSpreadsheet с поддержкой форматирования ячеек. JSON с выбором структуры: плоский массив или вложенные объекты. Каждый форматтер можно расширить под требования конкретного маркетплейса.

Фильтрация и частичный экспорт

В профиле настраивается базовый фильтр. При ручном запуске администратор может дополнить фильтр через форму: диапазон дат, статусы, конкретные ID. Фильтр передаётся в коллектор через filter_override:

$collector->collect(
    array_merge($profile->getBaseFilter(), $job->getFilterOverride()),
    $profile->getSelect()
);

Безопасность и аудит

Экспорт персональных данных (пользователи, заказы) доступен только группам с явно выданными правами в настройках модуля. Логируется: кто запустил экспорт, когда, сколько записей, путь к файлу. Лог хранится в b_vendor_exporter_audit. Это позволяет соблюдать требования защиты данных.

Как настроить профиль экспорта?

Процесс настройки состоит из четырёх шагов:

1. Выберите сущность Битрикс (каталог, заказы, лиды) и источник данных (инфоблок, HL-блок, таблица).
2. Настройте маппинг полей: сопоставьте поля источника с полями выгрузки. Доступны правила трансформации: конкатенация, приведение к формату, подстановка значений.
3. Определите формат файла (CSV, XML, XLSX, JSON) и дополнительные параметры (разделитель, кодировка, схема).
4. Укажите расписание (cron-выражение) и способ доставки (email, FTP, POST-вебхук).

Все настройки доступны в административном интерфейсе модуля.

Что входит в работу

• Архитектура модуля: согласование профилей, коллекторов, форматтеров
• Реализация асинхронной очереди с агентом
• Административный интерфейс для профилей и заданий
• Настройка расписания (cron) и автодоставки (email, FTP, POST)
• Тестирование на ваших данных (до 1 млн записей)
• Документация по установке и настройке
• Гарантия 1 месяц на доработки в рамках согласованного ТЗ

Сроки разработки

Итого: 12 рабочих дней для стандартного набора форматов и источников. Специфические форматы маркетплейсов (особенно с обязательными полями сертификации) — +1-2 дня каждый.

Почему выбирают нас?

Мы — команда с 5+ годами опыта в Битрикс и Битрикс24, выполнили более 50 проектов по интеграции и экспорту данных. Используем современные PHP 8.1, ORM, тегированное кэширование. Закажите разработку модуля экспорта — оценим ваш проект за один рабочий день. Получите консультацию по архитектуре и срокам. Всё под ключ, с документацией и поддержкой.

Разработка и настройка модулей 1С-Битрикс

Главная ловушка Битрикса — init.php. Сунул туда обработчик OnBeforeIBlockElementUpdate, потом ещё один — через год файл на 2000 строк, и при каждом хите весь этот ком выполняется. Мы переносим бизнес-логику в полноценные модули с D7 ORM, собственными таблицами и административным интерфейсом. Модуль можно отключить, перенести на другой проект, покрыть тестами — с init.php ничего из этого не получится. Опыт команды — 10+ лет в Битрикс, сертифицированные специалисты, гарантия на код 6 месяцев. Закажите консультацию — расскажем, как перевести legacy-код в модульную архитектуру.

Почему init.php — худшее место для бизнес-логики?

Init.php не поддерживает автозагрузку классов, не имеет изолированного пространства имён, не поддаётся модульному тестированию и не отключается без правки самого файла. Каждый обработчик, написанный там, срабатывает на каждом запросе, даже если он не нужен. В модуле вы регистрируете обработчика через EventManager, и он выполняется только при наступлении события. Разница в производительности — до 3 раз при 10+ обработчиках.

Стандартные модули: типовые проблемы и решения

Информационные блоки. Архитектура ИБ — первое, что мы ревьюим на любом проекте. Классическая ошибка: один инфоблок каталога с 80 свойствами, из которых 30 — множественные. Таблица b_iblock_element_property раздувается до миллионов строк, CIBlockElement::GetList на фильтрации по трём свойствам уходит в полное сканирование. Переносим справочники в Highload-блоки, убираем множественные свойства где можно, проектируем структуру с прицелом на то, что каталог вырастет в 5 раз.

Интернет-магазин (sale). Бизнес-правила корзины — отдельная история. Настраиваем приоритеты скидок, чтобы две акции не дали 60% вместо 30%, подключаем платёжные обработчики, прописываем кастомную валидацию через OnSaleOrderBeforeSaved.

Поиск. Встроенный модуль search с морфологией работает до 10–15 тысяч элементов. Дальше — Elasticsearch. Настраиваем через API модуля поиска Битрикс, индексируем через CSearchFullText или кастомные индексаторы.

Highload-блоки для справочников, логов, пользовательских данных — вместо раздутых ИБ. Прямые запросы через Bitrix\Highloadblock\HighloadBlockTable, собственные таблицы вместо EAV-структуры стандартных инфоблоков. Миллион записей — без деградации.

Почтовые события. Настройка — не только шаблоны в b_event_message. Главное — SPF, DKIM, DMARC на DNS, иначе транзакционные письма летят в спам. Проверяем доставляемость, настраиваем bounce-обработку.

Проектирование инфоблоков для производительности

Используем Highload-блоки для справочных данных (цвета, размеры, производители), которые не участвуют в сложных выборках. Для торговых предложений — отдельный инфоблок с привязкой через IBLOCK_ELEMENT_PROPERTY. Включаем INDEX_PROPERTY для часто фильтруемых свойств. Кэширование тегированное: при изменении элемента сбрасывается только связанный кеш. Highload-блоки обрабатывают до 10 раз быстрее, чем инфоблоки с множественными свойствами, на объёмах от 100 000 записей.

Разработка кастомных модулей

Каждый модуль — по структуре /local/modules/vendor.modulename/:

• install/index.php — класс установки, создание таблиц через $DB->RunSQLBatch()
• lib/ — классы D7 ORM, наследники Bitrix\Main\ORM\Data\DataManager
• admin/ — административные страницы через CAdminList, CAdminForm
• include.php — автозагрузка, регистрация обработчиков через EventManager::getInstance()->registerEventHandler()
• REST API endpoints через \Bitrix\Rest\RestManager

Модуль регистрируется в системе, появляется в списке «Установленные решения», имеет свои настройки в /bitrix/admin/settings.php?mid=vendor.modulename. Его можно включать, отключать, обновлять через UpdateSystem или свой механизм миграций.

Примеры реализованных задач:

• Управление акциями — визуальный конструктор условий через CAdminCalendar, таймеры через агенты (CAgent::AddAgent), аналитика эффективности в связке с модулем sale
• Калькулятор стоимости — React-виджет на фронте, REST API в модуле, формулы хранятся в Highload-блоке
• Система бронирования — real-time календарь, блокировка через $DB->StartTransaction() / $DB->Commit() при одновременных запросах, синхронизация с channel manager через webhook

Компоненты и композитный кэш

Кастомизация компонентов — через result_modifier.php и component_epilog.php, не через правку template.php стандартного шаблона. Так ядро обновляется безболезненно.

Композитный кэш (технология «Композитный сайт») — сервер отдаёт готовый HTML, минуя PHP-роутинг. Динамические зоны (корзина, авторизация) подгружаются через CBitrixComponent::setFrameMode(true) и AJAX. TTFB падает до 30–50 мс. Но есть нюансы: не все компоненты совместимы, $APPLICATION->ShowPanel() ломает композит, нужна аккуратная разметка <div id="bx-composite-...">.

Маркетплейс: аудит перед установкой

Перед установкой модуля с маркетплейса — обязательный аудит. Проверяем: SQL-запросы без подготовленных выражений (привет, SQL-инъекции), прямое обращение к $_REQUEST без фильтрации, использование устаревшего API старого ядра вместо D7, конфликты с модулем композитного кэширования. Модуль без обновлений больше года и с парой десятков установок — скорее всего, проблема на ближайшем обновлении PHP. Типичный случай: модуль вызывает CIBlockElement::GetList с несброшенным кешем — сайт падает при 5000 элементов.

Миграция на D7

При обновлении PHP или переходе на новую редакцию — рефакторинг устаревших вызовов:

• CIBlockElement::GetList() → Bitrix\Iblock\Elements\ElementTable::getList()
• CSaleOrder::GetList() → Bitrix\Sale\Order::getList()
• CModule::IncludeModule() → Bitrix\Main\Loader::includeModule() Тестирование на staging, откат через git при проблемах.

Согласно официальной документации 1С-Битрикс, D7 ORM является рекомендуемым средством для работы с данными, обеспечивая безопасность типов и автогенерацию запросов.

Сравнение подходов: Init.php vs Модуль

Стоимость и состав разработки модулей

Что входит в разработку модуля?

• Техническое задание и архитектурная схема
• Код с соблюдением PSR-4 и код-стайла Битрикс
• Unit-тесты (PHPUnit) на бизнес-логику
• Интеграционные тесты на события и REST API
• Документация по установке, настройке и API
• Передача доступов к репозиторию и документации
• Обучение администраторов работе с модулем
• Гарантийная поддержка 6 месяцев

Ориентировочные сроки и сложность:

Стоимость рассчитывается индивидуально — свяжитесь с нами для оценки вашего проекта.

Тестирование модулей

Unit-тесты через PHPUnit покрывают бизнес-логику: расчёт скидок, валидацию, формирование документов. Моки для Bitrix\Main\Application::getConnection() позволяют тестам не зависеть от БД. Интеграционные тесты проверяют обработчики событий на реальной базе — OnAfterIBlockElementAdd, OnSaleOrderSaved и другие. REST API endpoints тестируем через curl или PHPUnit HTTP-клиент. Критично для модулей, работающих с b_sale_order, b_catalog_price — где ошибка стоит денег.

Совместимость проверяется на PHP 7.4, 8.0, 8.1, 8.2 и редакциях: Стандарт, Малый бизнес, Бизнес. Проверяем конфликты с популярными модулями маркетплейса — они любят перехватывать те же события. Нагрузочное тестирование: замеры на 10K, 100K, 1M записей, профилирование через Xdebug на предмет утечек памяти и N+1 запросов.

Примеры из практики

Модуль акций для сети электроники. Штатные скидки модуля sale не покрывали сценарии «2+1», подарок при покупке от суммы, комбинированные условия. Собрали визуальный конструктор: маркетолог создаёт правила через drag-and-drop, без тикетов в разработку. Календарь акций, автодеактивация через агенты, аналитика в привязке к b_sale_order — конверсия, средний чек, количество применений. Время запуска новой акции упало с двух дней до получаса.

Калькулятор для строителей. Параметры (площадь, материалы, этажность) → формула → предварительная смета → заявка в CRM через CRest::call('crm.lead.add'). Региональные коэффициенты и сезонные наценки — из Highload-блока, цены материалов — из обмена с 1С. Количество целевых заявок выросло на треть: клиенты видят разбивку по статьям до звонка менеджеру.

Бронирование для сети отелей. Real-time доступность через AJAX-запросы к кастомной таблице vendor_booking_slots, расчёт тарифов по сезону, синхронизация с Booking.com через channel manager API. Блокировка номера при одновременном бронировании — через SELECT ... FOR UPDATE в транзакции. Таймзоны обрабатываются через \DateTimeZone — гость из Владивостока и менеджер из Москвы видят одну картину.

Оценим проект за 1 день. Пишите — расскажем, что входит в разработку под ключ. Свяжитесь с нами для консультации по вашему проекту. Закажите разработку модуля под ключ — получите готовое решение с документацией и поддержкой.