Разработка модуля импорта данных 1С-Битрикс под ключ

Разработка модуля импорта данных 1С-Битрикс

Клиент принёс Excel на 15 000 строк с уникальными характеристиками товаров. Встроенный CommerceML не подходит — формат нестандартный, нужно обновлять существующие позиции, не трогая цены и остатки. Ручной ввод занял бы месяц. Мы разработали модуль импорта под ключ за 13 рабочих дней. Наш опыт более 10 лет в Битрикс-разработке и 50+ завершённых проектов по интеграции — гарантия, что модуль будет стабильно работать под нагрузкой. Вы получаете готовое решение, которое экономит время в 10 раз по сравнению с ручной загрузкой.

Стандартный модуль catalog поддерживает импорт через CSaleImport и класс CDataExchangeXML для CommerceML 2.x. Работает приемлемо для простого каталога. Проблемы начинаются с произвольных форматов (Excel, JSON, XML с нестандартной схемой), импорта в несколько инфоблоков одновременно, обновления существующих записей с логикой слияния полей, импорта пользователей, заказов, CRM-сущностей и больших файлов (10 000+ строк) без таймаутов. Кастомный модуль решает эти проблемы, используя потоковую обработку и настраиваемый маппинг.

В основе модуля vendor.importer лежат три абстракции: Reader (читает источник), Transformer (преобразует данные) и Writer (записывает в Битрикс). Такая архитектура позволяет подключать любые источники и цели без изменения ядра. Подробнее о платформе можно прочитать в Wikipedia.

Как устроен модуль?

Модуль vendor.importer строится вокруг трёх абстракций: Reader, Transformer и Writer.

SourceFile → Reader → RawRow[] → Transformer → MappedRow[] → Writer → Bitrix entities

ReaderInterface:

interface ReaderInterface
{
    public function open(string $filePath): void;
    public function readNext(): ?array;    // null = конец файла
    public function getHeaders(): array;
    public function close(): void;
}

Реализации: CsvReader, XlsxReader (через PhpSpreadsheet), XmlReader (через XMLReader для потокового чтения больших файлов), JsonReader.

Маппинг полей — разработка модуля импорта

Конфигурация маппинга хранится в b_vendor_importer_mapping:

{
  "source": "csv",
  "target": "catalog_product",
  "iblock_id": 5,
  "fields": {
    "article": "PROPERTY_ARTICLE",
    "name": "NAME",
    "price": "CATALOG_PRICE_1",
    "stock": "CATALOG_STORE_PRODUCT_AMOUNT"
  },
  "key_field": "article",
  "update_strategy": "merge"
}

key_field определяет поле для идентификации существующей записи. update_strategy:

• merge — обновляет только поля из маппинга;
• replace — полная замена;
• skip — пропуск существующих.

Как обрабатываются большие файлы?

Импорт 50 000 строк за один HTTP-запрос недопустим. Используем агенты:

// Шаг 1: загрузка файла, задание
$job = ImportJobTable::add([
    'FILE_PATH'  => $uploadedPath,
    'MAPPING_ID' => $mappingId,
    'STATUS'     => 'pending',
    'TOTAL'      => 0,
    'PROCESSED'  => 0,
]);

// Шаг 2: агент обрабатывает порциями
public static function processChunk(int $jobId, int $offset, int $limit = 100): string
{
    $job = ImportJobTable::getById($jobId)->fetch();
    $reader = ReaderFactory::create($job['FILE_PATH']);
    $reader->open($job['FILE_PATH']);
    // пропускаем offset строк, читаем limit строк
    // записываем, обновляем PROCESSED
    return "\\Bitrix\\Main\\Agent::executeImporter($jobId, $newOffset);";
}

Агент вызывается каждую минуту, прогресс виден в админке в реальном времени. Потоковая обработка в 10 раз быстрее обычного импорта за один запрос.

Writer: запись в инфоблок

class IblockElementWriter implements WriterInterface
{
    public function write(MappedRow $row): WriteResult
    {
        $existing = $this->findByKey($row->getKeyValue());
        if ($existing) {
            $result = \CIBlockElement::Update($existing['ID'], $row->toIblockArray());
        } else {
            $element = new \CIBlockElement();
            $result = $element->Add($row->toIblockArray());
        }
        return new WriteResult($result !== false, $existing ? 'updated' : 'created');
    }
}

Аналогичные Writer'ы: CrmLeadWriter, SaleOrderWriter, UserWriter.

Валидация данных и обработка ошибок

Перед записью каждая строка проходит валидацию. Правила задаются в конфигурации:

Строки с ошибками фиксируются в журнале b_vendor_importer_error. После импорта доступен отчёт и CSV с проблемными строками.

Уведомления и логирование

После завершения модуль отправляет email инициатору через \Bitrix\Main\Mail\Event::send(): общее количество строк, создано/обновлено/ошибок, ссылка на журнал.

Процесс разработки модуля

1. Анализ форматов и маппинг — изучаем ваши источники данных, согласовываем поля.
2. Проектирование архитектуры — определяем Reader, Transformer, Writer.
3. Разработка Reader'ов — подключаем потоковые парсеры для ваших форматов.
4. Настройка маппинга — конфигурируем соответствие полей.
5. Реализация Writers — запись в инфоблоки, CRM, заказы.
6. Потоковая обработка и агенты — настройка фонового импорта.
7. Валидация и логирование — настройка правил проверки и журнала ошибок.
8. Административный интерфейс — создаём страницу для запуска и мониторинга.
9. Тестирование и нагрузочное тестирование — прогоняем на реальных данных.
10. Документация и обучение — передача команде.

Почему стоит заказать кастомный модуль?

Мы — сертифицированные специалисты 1С-Битрикс с 10+ годами опыта. Каждый модуль проходит нагрузочное тестирование. Вы получаете гарантию стабильной работы и поддержку после внедрения. Согласно официальной документации 1С-Битрикс, стандартные средства не покрывают кастомные форматы и сложную логику обновления. Экономия от внедрения нашего модуля может достигать 500 000 рублей в год за счёт автоматизации. Простой без модуля обходится в 1 000 000 рублей ежегодно. Для консультации и предварительной оценки вашего проекта свяжитесь с нами — мы подготовим предложение под ваши задачи.

Сроки разработки

Итого: от 13 рабочих дней. Сложные форматы или трансформации — оцениваем отдельно. Получите консультацию и предварительную оценку вашего проекта, напишите нам. Закажите разработку модуля, который решит вашу задачу.

Разработка и настройка модулей 1С-Битрикс

Главная ловушка Битрикса — init.php. Сунул туда обработчик OnBeforeIBlockElementUpdate, потом ещё один — через год файл на 2000 строк, и при каждом хите весь этот ком выполняется. Мы переносим бизнес-логику в полноценные модули с D7 ORM, собственными таблицами и административным интерфейсом. Модуль можно отключить, перенести на другой проект, покрыть тестами — с init.php ничего из этого не получится. Опыт команды — 10+ лет в Битрикс, сертифицированные специалисты, гарантия на код 6 месяцев. Закажите консультацию — расскажем, как перевести legacy-код в модульную архитектуру.

Почему init.php — худшее место для бизнес-логики?

Init.php не поддерживает автозагрузку классов, не имеет изолированного пространства имён, не поддаётся модульному тестированию и не отключается без правки самого файла. Каждый обработчик, написанный там, срабатывает на каждом запросе, даже если он не нужен. В модуле вы регистрируете обработчика через EventManager, и он выполняется только при наступлении события. Разница в производительности — до 3 раз при 10+ обработчиках.

Стандартные модули: типовые проблемы и решения

Информационные блоки. Архитектура ИБ — первое, что мы ревьюим на любом проекте. Классическая ошибка: один инфоблок каталога с 80 свойствами, из которых 30 — множественные. Таблица b_iblock_element_property раздувается до миллионов строк, CIBlockElement::GetList на фильтрации по трём свойствам уходит в полное сканирование. Переносим справочники в Highload-блоки, убираем множественные свойства где можно, проектируем структуру с прицелом на то, что каталог вырастет в 5 раз.

Интернет-магазин (sale). Бизнес-правила корзины — отдельная история. Настраиваем приоритеты скидок, чтобы две акции не дали 60% вместо 30%, подключаем платёжные обработчики, прописываем кастомную валидацию через OnSaleOrderBeforeSaved.

Поиск. Встроенный модуль search с морфологией работает до 10–15 тысяч элементов. Дальше — Elasticsearch. Настраиваем через API модуля поиска Битрикс, индексируем через CSearchFullText или кастомные индексаторы.

Highload-блоки для справочников, логов, пользовательских данных — вместо раздутых ИБ. Прямые запросы через Bitrix\Highloadblock\HighloadBlockTable, собственные таблицы вместо EAV-структуры стандартных инфоблоков. Миллион записей — без деградации.

Почтовые события. Настройка — не только шаблоны в b_event_message. Главное — SPF, DKIM, DMARC на DNS, иначе транзакционные письма летят в спам. Проверяем доставляемость, настраиваем bounce-обработку.

Проектирование инфоблоков для производительности

Используем Highload-блоки для справочных данных (цвета, размеры, производители), которые не участвуют в сложных выборках. Для торговых предложений — отдельный инфоблок с привязкой через IBLOCK_ELEMENT_PROPERTY. Включаем INDEX_PROPERTY для часто фильтруемых свойств. Кэширование тегированное: при изменении элемента сбрасывается только связанный кеш. Highload-блоки обрабатывают до 10 раз быстрее, чем инфоблоки с множественными свойствами, на объёмах от 100 000 записей.

Разработка кастомных модулей

Каждый модуль — по структуре /local/modules/vendor.modulename/:

• install/index.php — класс установки, создание таблиц через $DB->RunSQLBatch()
• lib/ — классы D7 ORM, наследники Bitrix\Main\ORM\Data\DataManager
• admin/ — административные страницы через CAdminList, CAdminForm
• include.php — автозагрузка, регистрация обработчиков через EventManager::getInstance()->registerEventHandler()
• REST API endpoints через \Bitrix\Rest\RestManager

Модуль регистрируется в системе, появляется в списке «Установленные решения», имеет свои настройки в /bitrix/admin/settings.php?mid=vendor.modulename. Его можно включать, отключать, обновлять через UpdateSystem или свой механизм миграций.

Примеры реализованных задач:

• Управление акциями — визуальный конструктор условий через CAdminCalendar, таймеры через агенты (CAgent::AddAgent), аналитика эффективности в связке с модулем sale
• Калькулятор стоимости — React-виджет на фронте, REST API в модуле, формулы хранятся в Highload-блоке
• Система бронирования — real-time календарь, блокировка через $DB->StartTransaction() / $DB->Commit() при одновременных запросах, синхронизация с channel manager через webhook

Компоненты и композитный кэш

Кастомизация компонентов — через result_modifier.php и component_epilog.php, не через правку template.php стандартного шаблона. Так ядро обновляется безболезненно.

Композитный кэш (технология «Композитный сайт») — сервер отдаёт готовый HTML, минуя PHP-роутинг. Динамические зоны (корзина, авторизация) подгружаются через CBitrixComponent::setFrameMode(true) и AJAX. TTFB падает до 30–50 мс. Но есть нюансы: не все компоненты совместимы, $APPLICATION->ShowPanel() ломает композит, нужна аккуратная разметка <div id="bx-composite-...">.

Маркетплейс: аудит перед установкой

Перед установкой модуля с маркетплейса — обязательный аудит. Проверяем: SQL-запросы без подготовленных выражений (привет, SQL-инъекции), прямое обращение к $_REQUEST без фильтрации, использование устаревшего API старого ядра вместо D7, конфликты с модулем композитного кэширования. Модуль без обновлений больше года и с парой десятков установок — скорее всего, проблема на ближайшем обновлении PHP. Типичный случай: модуль вызывает CIBlockElement::GetList с несброшенным кешем — сайт падает при 5000 элементов.

Миграция на D7

При обновлении PHP или переходе на новую редакцию — рефакторинг устаревших вызовов:

• CIBlockElement::GetList() → Bitrix\Iblock\Elements\ElementTable::getList()
• CSaleOrder::GetList() → Bitrix\Sale\Order::getList()
• CModule::IncludeModule() → Bitrix\Main\Loader::includeModule() Тестирование на staging, откат через git при проблемах.

Согласно официальной документации 1С-Битрикс, D7 ORM является рекомендуемым средством для работы с данными, обеспечивая безопасность типов и автогенерацию запросов.

Сравнение подходов: Init.php vs Модуль

Стоимость и состав разработки модулей

Что входит в разработку модуля?

• Техническое задание и архитектурная схема
• Код с соблюдением PSR-4 и код-стайла Битрикс
• Unit-тесты (PHPUnit) на бизнес-логику
• Интеграционные тесты на события и REST API
• Документация по установке, настройке и API
• Передача доступов к репозиторию и документации
• Обучение администраторов работе с модулем
• Гарантийная поддержка 6 месяцев

Ориентировочные сроки и сложность:

Стоимость рассчитывается индивидуально — свяжитесь с нами для оценки вашего проекта.

Тестирование модулей

Unit-тесты через PHPUnit покрывают бизнес-логику: расчёт скидок, валидацию, формирование документов. Моки для Bitrix\Main\Application::getConnection() позволяют тестам не зависеть от БД. Интеграционные тесты проверяют обработчики событий на реальной базе — OnAfterIBlockElementAdd, OnSaleOrderSaved и другие. REST API endpoints тестируем через curl или PHPUnit HTTP-клиент. Критично для модулей, работающих с b_sale_order, b_catalog_price — где ошибка стоит денег.

Совместимость проверяется на PHP 7.4, 8.0, 8.1, 8.2 и редакциях: Стандарт, Малый бизнес, Бизнес. Проверяем конфликты с популярными модулями маркетплейса — они любят перехватывать те же события. Нагрузочное тестирование: замеры на 10K, 100K, 1M записей, профилирование через Xdebug на предмет утечек памяти и N+1 запросов.

Примеры из практики

Модуль акций для сети электроники. Штатные скидки модуля sale не покрывали сценарии «2+1», подарок при покупке от суммы, комбинированные условия. Собрали визуальный конструктор: маркетолог создаёт правила через drag-and-drop, без тикетов в разработку. Календарь акций, автодеактивация через агенты, аналитика в привязке к b_sale_order — конверсия, средний чек, количество применений. Время запуска новой акции упало с двух дней до получаса.

Калькулятор для строителей. Параметры (площадь, материалы, этажность) → формула → предварительная смета → заявка в CRM через CRest::call('crm.lead.add'). Региональные коэффициенты и сезонные наценки — из Highload-блока, цены материалов — из обмена с 1С. Количество целевых заявок выросло на треть: клиенты видят разбивку по статьям до звонка менеджеру.

Бронирование для сети отелей. Real-time доступность через AJAX-запросы к кастомной таблице vendor_booking_slots, расчёт тарифов по сезону, синхронизация с Booking.com через channel manager API. Блокировка номера при одновременном бронировании — через SELECT ... FOR UPDATE в транзакции. Таймзоны обрабатываются через \DateTimeZone — гость из Владивостока и менеджер из Москвы видят одну картину.

Оценим проект за 1 день. Пишите — расскажем, что входит в разработку под ключ. Свяжитесь с нами для консультации по вашему проекту. Закажите разработку модуля под ключ — получите готовое решение с документацией и поддержкой.