Оптимизация Elasticsearch-индексов для 1С-Битрикс

Представьте: каталог 100 000 товаров, ночная синхронизация с 1С, и после неё heap utilisation Elasticsearch взлетает до 85%. Поисковые запросы ждут по 3–5 секунд, а merge throttling при индексации съедает CPU. Знакомая ситуация? Стандартные настройки ES рассчитаны на небольшие объёмы, но для Битрикс-магазинов с десятками тысяч позиций они категорически не подходят. Наша команда имеет 10+ лет опыта работы с Битрикс и Elasticsearch, мы оптимизировали более 50 каталогов, и делимся проверенными методами.

Оптимизация Elasticsearch-индексов для 1С-Битрикс даёт измеримые результаты. После настройки latency поиска падает до 50–150 мс (в 20 раз быстрее), heap utilisation снижается на 30–50%, а ночная переиндексация ускоряется в 3–5 раз. Ниже — типичные метрики до и после.

Сравнение наглядно: разница в 20 раз по задержке и в 3 раза по индексации. Это даёт стабильно быстрый поиск для пользователей и снижает нагрузку на сервер.

Как ускорить поиск в Битрикс с помощью Elasticsearch?

Почему стандартная настройка ES неэффективна?

Битрикс генерирует специфическую нагрузку: частые массовые переиндексации (синхронизация с 1С), огромное количество текстовых полей для поиска, фасетные фильтры на десятках атрибутов. Из коробки ES выделяет под каждый каталог 3–5 шардов — этого мало для 200 ГБ данных, а fielddata по текстовым полям съедает heap. В результате — деградация, которая только усугубляется со временем.

# Состояние кластера
GET /_cluster/health?pretty

# Статистика индексов
GET /bitrix_catalog/_stats?pretty

# Горячие потоки (что грузит CPU)
GET /_nodes/hot_threads

# Использование памяти
GET /_nodes/stats/jvm?pretty

Шаг за шагом: настройка индексов

Настройка шардирования

Самая распространённая ошибка — слишком много шардов. Каждый шард — это Lucene-индекс с overhead по памяти около 50 МБ на heap. 100 шардов = 5 ГБ heap только на метаданные.

Для каталога Битрикс правило: 1 шард на каждые 20–40 ГБ данных, не более 3–5 шардов для типичного магазина:

PUT /bitrix_catalog
{
    "settings": {
        "number_of_shards": 3,
        "number_of_replicas": 1
    }
}

Изменить число primary shards после создания индекса нельзя — нужно создать новый индекс и реиндексировать через Reindex API. Планируем правильно с первого раза.

Оптимизация refresh interval и merge policy

По умолчанию ES обновляет индекс каждую секунду — новые документы становятся доступны для поиска через 1 с. Это дорого при массовой индексации. Во время синхронизации с 1С (bulk indexing) отключаем refresh, а после завершения — восстанавливаем и вызываем принудительное обновление.

Merge policy настраиваем под тип дисков: для HDD ограничиваем потоки одним, для NVMe можно два-четыре. Типичные параметры:

PUT /bitrix_catalog/_settings
{
    "index.merge.policy.max_merged_segment": "5gb",
    "index.merge.policy.segments_per_tier": 10,
    "index.merge.scheduler.max_thread_count": 1
}

Оптимизация fielddata и doc values

Fielddata грузится в heap при агрегациях и сортировке по text-полям. Для фасетных фильтров каталога используем исключительно keyword с doc values (хранятся на диске, не в heap):

PUT /bitrix_catalog/_mapping
{
    "properties": {
        "brand": {
            "type": "keyword",
            "doc_values": true,
            "eager_global_ordinals": true
        }
    }
}

eager_global_ordinals: true для высококардинальных полей фильтра (бренд, категория) — строит ordinals при refresh, а не при первом запросе агрегации. Устраняет «холодный старт» после ночной переиндексации.

Force merge для статичных индексов

Если каталог меняется по ночам (синхронизация с 1С раз в сутки), дневной индекс можно смержить в один сегмент. Операция тяжёлая, запускаем только в техническое окно. Один сегмент = максимальная скорость поиска, минимальный overhead.

Настройка индексирования из Битрикс

На стороне PHP при пакетной индексации используем Bulk API с оптимальным размером пачки:

$batchSize = 500; // оптимум для товаров с описанием
$body = [];
foreach ($products as $product) {
    $body[] = ['index' => ['_index' => 'bitrix_catalog', '_id' => $product['ID']]];
    $body[] = $this->prepareDocument($product);
}
$client->bulk(['body' => $body]);

Размер пачки подбираем экспериментально: слишком маленький — много round-trips, слишком большой — GC pressure. Обычно 200–500 документов для товаров с описаниями.

Мониторинг после оптимизации

Подключаем метрики ES в Prometheus через elasticsearch_exporter и алертируем на:

• heap_used_percent > 80% в течение 5+ минут
• GC time > 1 секунда за 1 минуту
• search latency p99 > 500 мс
• unassigned shards > 0

Результаты в цифрах: до и после

Экономия серверных ресурсов достигает 30-50%, что напрямую снижает затраты на инфраструктуру.

Что входит в работу

• Аудит текущей конфигурации ES и инфоблоков Битрикс
• Расчёт оптимального числа шардов и реплик
• Настройка mapping под специфику каталога (keyword, doc values, eager_global_ordinals)
• Оптимизация merge policy и refresh_interval под режим индексации
• Настройка bulk-индексации со стороны Битрикс (размер пачки, тюнинг)
• Интеграция мониторинга (Prometheus + Grafana) и алертов
• Документация по эксплуатации

Свяжитесь с нами для бесплатного аудита вашего кластера. Мы оценим метрики и предложим план оптимизации под ключ. Получите консультацию — это займёт не больше часа. Закажите аудит прямо сейчас, чтобы увидеть разницу в скорости поиска.

Подробнее об Elasticsearch читайте на Wikipedia и Lucene.

80% сайтов на Битрикс тормозят из-за одной таблицы

b_iblock_element_property — EAV-структура, где каждая строка хранит одно значение одного свойства одного элемента. Каталог в 50 000 товаров с 30 свойствами даёт 1,5 млн строк. Умный фильтр делает JOIN этой таблицы с b_iblock_element по пяти свойствам — и MySQL уходит в full table scan на 3–5 секунд.

Наш опыт показывает: без вмешательства в эту таблицу ускорение сайта невозможно. Мы берёмся за проекты, где скорость загрузки упала до 8–10 секунд, и возвращаем TTFB < 200 мс за 1–2 недели. Оптимизация скорости сайта начинается с аудита slow-запросов и заканчивается комплексной перестройкой инфраструктуры под ключ.

[Свяжитесь с нами для аудита] — мы определим узкие места за 2 часа и предложим конкретный план.

Серверная оптимизация

Nginx. Не просто «включили gzip». Конкретно:

• gzip_comp_level 4-5 — выше бессмысленно, CPU сжирает больше, чем экономит трафик;
• brotli on с brotli_static on — для предварительно сжатых файлов;
• HTTP/2 с http2_max_concurrent_streams 128;
• fastcgi_cache для PHP-ответов — кэширование на уровне Nginx, минуя PHP-FPM;
• worker_processes auto, worker_connections под количество одновременных соединений.

PHP-FPM. Выбор между pm = dynamic и pm = static — не академический:

• Static: фиксированное количество воркеров, без overhead на форк — для выделенных серверов с предсказуемой нагрузкой.
• Dynamic: экономит RAM при низком трафике. pm.max_children считаем как (доступная RAM - RAM для MySQL/Redis) / средний расход на процесс.
• OPcache: opcache.memory_consumption=256, opcache.max_accelerated_files=20000, opcache.validate_timestamps=0 на продакшене (перезагрузка PHP-FPM при деплое).

MySQL/MariaDB. Главное узкое место почти всегда:

• slow_query_log с порогом 0.5 сек — каждый запрос разбираем через EXPLAIN.
• innodb_buffer_pool_size = 70–80% доступной RAM на выделенном сервере.
• Составные индексы для фасетного поиска: (IBLOCK_ID, IBLOCK_PROPERTY_ID, VALUE) на b_iblock_element_property.
• OPTIMIZE TABLE b_iblock_element_property после массовых операций.

Как настроить кэширование на три уровня?

Управляемый кэш компонентов. TTL настраиваем для каждого компонента отдельно. Каталог — 3600 сек, новостная лента — 300 сек, баннеры — 86400. Одинаковый TTL везде — гарантия либо устаревших данных, либо бесполезного кэша.

Композитный кэш. Технология bitrix:composite — Nginx отдаёт готовый HTML из файла, PHP не запускается. Динамические зоны (корзина, авторизация) подгружаются AJAX-запросом через CBitrixComponent::setFrameMode(true). TTFB < 50 мс. Но: не все компоненты совместимы, $APPLICATION->ShowPanel() и прямой вывод через echo ломают композит. Проверяем каждую страницу через панель «Производительность → Композитный сайт».

Сравнение: композитный кэш быстрее управляемого в 10–20 раз по времени первого байта. Официальная документация Битрикс по композитному кэшу: Bitrix Composite.

Memcached / Redis. Переносим кэш из файловой системы:

• Сессии → Redis (session.save_handler = redis) — быстрее файлов в 10–50×, плюс работа в кластере.
• Кэш компонентов → Memcached через .settings.php: 'cache' => ['type' => 'memcache'].
• Кэш ORM-запросов — чтобы одинаковые GetList() не нагружали MySQL на каждом хите.

Почему стандартных настроек MySQL недостаточно?

Индексы. Составные для фасетного поиска. Покрывающие для частых выборок — MySQL отвечает из индекса, не обращаясь к данным. Частичные индексы (MariaDB) для фильтрации по ACTIVE = 'Y'. Аудит неиспользуемых индексов — каждый замедляет INSERT/UPDATE.

Партиционирование. Для таблиц с миллионами строк: b_stat_session, b_search_content_stem, Highload-блоки с историей. Партиция по дате — запрос «заказы за месяц» не сканирует данные за три года.

Реальный кейс: каталог 200 000 товаров, 50 свойств. Фильтр по 10 свойствам занимал 12 секунд. После создания составных индексов по (IBLOCK_ID, IBLOCK_PROPERTY_ID, VALUE) и партиционирования b_iblock_element_property по IBLOCK_ID время выполнения упало до 0,3 секунды. Нагрузка на MySQL снизилась в 40 раз.

Очистка. В любой базе за год-два накапливается: устаревший поисковый индекс, просроченные записи в b_cache_tag, история b_iblock_element_prop_s*, логи в b_event_log на гигабайты. Настраиваем регулярную очистку через агенты.

Партиционирование также решает проблему с параллельными запросами при обмене с 1С через CommerceML. Подробнее: MySQL Partitioning Documentation.

Фронтенд

Изображения — 60–80% веса страницы:

• WebP через CFile::ResizeImageGet() с BX_RESIZE_IMAGE_PROPORTIONAL + конвертация;
• srcset + sizes — не грузим 3000px картинку в блок 400px;
• loading="lazy" для всего ниже первого экрана;
• AVIF — ещё 20–30% экономии vs WebP (подробнее: WebP).

CSS/JS:

• Встроенный модуль Битрикс: объединение и минификация через «Настройки → Оптимизация CSS/JS»;
• PurgeCSS / UnCSS — на типичном Битрикс-проекте 60–70% CSS не используются;
• defer / async для некритичного JS;
• Critical CSS инлайном в <head> для мгновенного FCP.

Шрифты:

• <link rel="preload" as="font" crossorigin> для основного шрифта;
• font-display: swap — текст виден сразу;
• Subsetting через pyftsubset — вырезаем кириллицу + латиницу, файл уменьшается в 3–5 раз.

CDN

Cloudflare, BunnyCDN, AWS CloudFront или российские (Selectel CDN, VK Cloud CDN).

• Статика (CSS, JS, изображения, шрифты) — через CDN.
• Правила кэширования: Cache-Control: public, max-age=31536000, immutable для файлов с хешем.
• Оптимизация изображений на лету (imgproxy, Cloudflare Polish) без нагрузки на origin.

Зачем нужно нагрузочное тестирование?

Не синтетические бенчмарки, а реальные сценарии:

• k6 / wrk — имитация маршрутов: каталог → фильтрация → карточка → корзина → оформление.
• Метрики: RPS, время ответа (p50, p95, p99), процент ошибок.
• Xdebug (callgrind) или Blackfire — профилирование PHP, поиск узких мест.

Результат тестирования — объективная картина, где реально тормозит, а не где «кажется». После оптимизации прогоняем повторно — фиксируем улучшения.

Результаты

Что входит в работу?

1. Аудит текущей производительности — анализ slow-запросов, профилирование PHP, проверка кэширования, CDN, серверных настроек.
2. Настройка серверной части — Nginx, PHP-FPM, MySQL, Redis/Memcached, OPcache.
3. Оптимизация кэширования — управляемый кэш, композитный сайт, настройка TTL, тегированное кэширование.
4. Работа с БД — создание индексов, партиционирование, очистка, реорганизация EAV-таблиц.
5. Фронтенд — изображения (WebP/AVIF), CSS/JS (минификация, deferred), шрифты (preload, subsetting).
6. CDN — подключение, настройка правил кэширования.
7. Нагрузочное тестирование — сценарии реальных пользователей, отчёт по метрикам.
8. Документация — описание всех изменений, рекомендации по дальнейшему обслуживанию.
9. Гарантия — поддержка в течение 1 месяца после сдачи.

Мониторинг

Без мониторинга через полгода всё деградирует. Новый модуль, нерасчищенные логи, изменение в шаблоне — и скорость вернулась к исходной.

• web-vitals API — Real User Monitoring от реальных посетителей.
• Synthetic monitoring — Pingdom, UptimeRobot, регулярные проверки из разных локаций.
• Алерты — TTFB > 500 мс или LCP > 3 сек → уведомление.

Сроки и стоимость

Стоимость рассчитывается индивидуально после аудита. [Получите консультацию по вашему проекту] — оценим текущее состояние и предложим план ускорения с конкретными сроками и бюджетом. Мы — команда с 10+ годами опыта в Битрикс, выполнили более 200 проектов по оптимизации скорости сайта.