Оптимізація Elasticsearch-індексів для 1С-Бітрікс

Уявіть: каталог 100 000 товарів, нічна синхронізація з 1С, і після неї heap utilisation Elasticsearch злітає до 85%. Пошукові запити чекають по 3–5 секунд, а merge throttling при індексації з'їдає CPU. Знайома ситуація? Стандартні налаштування ES розраховані на невеликі обсяги, але для Бітрікс-магазинів з десятками тисяч позицій вони категорично не підходять. Наша команда має 10+ років досвіду роботи з Бітрікс та Elasticsearch, ми оптимізували більше 50 каталогів і ділимося перевіреними методами. Ми гарантуємо якість та надаємо сертифікованих фахівців.

Оптимізація Elasticsearch-індексів для 1С-Бітрікс дає вимірні результати. Після налаштування latency пошуку падає до 50–150 мс (у 20 разів швидше), heap utilisation знижується на 30–50%, а нічна переіндексація прискорюється в 3–5 разів. Нижче — типові метрики до та після.

Порівняння наочно: різниця в 20 разів за затримкою та в 3 рази за індексацією. Це дає стабільно швидкий пошук для користувачів та знижує навантаження на сервер. Економія на серверних ресурсах може досягати $500 в місяць за рахунок зниження heap та CPU.

Як прискорити пошук у Бітрікс за допомогою Elasticsearch?

Чому стандартне налаштування ES неефективне?

Бітрікс генерує специфічне навантаження: часті масові переіндексації (синхронізація з 1С), величезна кількість текстових полів для пошуку, фасетні фільтри на десятках атрибутів. З коробки ES виділяє під кожен каталог 3–5 шардів — цього мало для 200 ГБ даних, а fielddata по текстових полях з'їдає heap. В результаті — деградація, яка тільки посилюється з часом.

# Стан кластера
GET /_cluster/health?pretty

# Статистика індексів
GET /bitrix_catalog/_stats?pretty

# Гарячі потоки (що завантажує CPU)
GET /_nodes/hot_threads

# Використання пам'яті
GET /_nodes/stats/jvm?pretty

Крок за кроком: налаштування індексів

Крок 1: Налаштування шардування

Найпоширеніша помилка — надто багато шардів. Кожен шард — це Lucene-індекс з overhead по пам'яті близько 50 МБ на heap. 100 шардів = 5 ГБ heap тільки на метадані.

Для каталогу Бітрікс правило: 1 шард на кожні 20–40 ГБ даних, не більше 3–5 шардів для типового магазину:

PUT /bitrix_catalog
{
    "settings": {
        "number_of_shards": 3,
        "number_of_replicas": 1
    }
}

Змінити число primary shards після створення індексу не можна — потрібно створити новий індекс та реіндексувати через Reindex API. Плануємо правильно з першого разу.

Крок 2: Оптимізація refresh interval та merge policy

За замовчуванням ES оновлює індекс кожну секунду — нові документи стають доступними для пошуку через 1 с. Це дорого при масовій індексації. Під час синхронізації з 1С (bulk indexing) вимикаємо refresh, а після завершення — відновлюємо та викликаємо примусове оновлення.

Merge policy налаштовуємо під тип дисків: для HDD обмежуємо потоки одним, для NVMe можна два-чотири. Типові параметри:

PUT /bitrix_catalog/_settings
{
    "index.merge.policy.max_merged_segment": "5gb",
    "index.merge.policy.segments_per_tier": 10,
    "index.merge.scheduler.max_thread_count": 1
}

Крок 3: Оптимізація fielddata та doc values

Fielddata завантажується в heap при агрегаціях та сортуванні по text-полях. Для фасетних фільтрів каталогу використовуємо виключно keyword з doc values (зберігаються на диску, не в heap):

PUT /bitrix_catalog/_mapping
{
    "properties": {
        "brand": {
            "type": "keyword",
            "doc_values": true,
            "eager_global_ordinals": true
        }
    }
}

eager_global_ordinals: true для висококардинальних полів фільтра (бренд, категорія) — будує ordinals при refresh, а не при першому запиті агрегації. Усуває «холодний старт» після нічної переіндексації. Використання keyword замість text зменшує heap в 5 разів.

Крок 4: Force merge для статичних індексів

Якщо каталог змінюється вночі (синхронізація з 1С раз на добу), денний індекс можна змержити в один сегмент. Операція важка, запускаємо тільки в технічне вікно. Один сегмент = максимальна швидкість пошуку, мінімальний overhead.

Крок 5: Налаштування індексації з Бітрікс

На стороні PHP при пакетній індексації використовуємо Bulk API з оптимальним розміром пачки:

$batchSize = 500; // оптимум для товарів з описом
$body = [];
foreach ($products as $product) {
    $body[] = ['index' => ['_index' => 'bitrix_catalog', '_id' => $product['ID']]];
    $body[] = $this->prepareDocument($product);
}
$client->bulk(['body' => $body]);

Розмір пачки підбираємо експериментально: занадто маленький — багато round-trips, занадто великий — GC pressure. Зазвичай 200–500 документів для товарів з описами.

Моніторинг після оптимізації

Підключаємо метрики ES у Prometheus через elasticsearch_exporter та алертуємо на:

• heap_used_percent > 80% протягом 5+ хвилин
• GC time > 1 секунда за 1 хвилину
• search latency p99 > 500 мс
• unassigned shards > 0

Результати в цифрах: до та після

Економія серверних ресурсів сягає 30-50%, що напряму знижує витрати на інфраструктуру. Наприклад, для магазину з 200 000 товарів економія становить близько $300-500 на місяць.

Що входить у роботу

• Аудит поточної конфігурації ES та інфоблоків Бітрікс (безкоштовний)
• Розрахунок оптимальної кількості шардів та реплік
• Налаштування mapping під специфіку каталогу (keyword, doc values, eager_global_ordinals)
• Оптимізація merge policy та refresh_interval під режим індексації
• Налаштування bulk-індексації з боку Бітрікс (розмір пачки, тюнінг)
• Інтеграція моніторингу (Prometheus + Grafana) та алертів
• Документація з експлуатації

Ми маємо сертифікати Elasticsearch та багаторічний досвід. Зв'яжіться з нами для безкоштовного аудиту вашого кластера. Ми оцінимо метрики та запропонуємо план оптимізації під ключ. Отримайте консультацію — це займе не більше години. Замовте аудит прямо зараз, щоб побачити різницю в швидкості пошуку. Ми гарантуємо результат, підтверджений десятками успішних кейсів.

Детальніше про Elasticsearch читайте на Wikipedia та Lucene.

80% сайтів на Бітрікс гальмують через одну таблицю

b_iblock_element_property — EAV-структура. Кожен рядок зберігає одне значення однієї властивості одного елемента. Каталог у 50 000 товарів з 30 властивостями дає 1,5 млн рядків. Коли розумний фільтр робить JOIN цієї таблиці з b_iblock_element за п'ятьма властивостями, MySQL іде в full table scan на 3–5 секунд.

Наш досвід показує: без втручання в цю таблицю прискорення неможливе. Ми беремося за проекти, де швидкість завантаження впала до 8–10 секунд, і повертаємо TTFB < 200 мс за 1–2 тижні. Оптимізація швидкості сайту починається з аудиту slow-запитів і закінчується комплексною перебудовою інфраструктури під ключ. У нашому портфоліо — понад 200 успішних проєктів. Ми — команда сертифікованих фахівців з 10‑річним досвідом роботи в Бітрікс.

Серверна оптимізація

Nginx. Не просто «увімкнули gzip». Конкретно:

• gzip_comp_level 4-5 — вище безглуздо, CPU з'їдає більше, ніж економить трафік;
• brotli on з brotli_static on — для попередньо стиснутих файлів (Brotli стискає на 20–30% краще за gzip);
• HTTP/2 з http2_max_concurrent_streams 128;
• fastcgi_cache для PHP-відповідей — кешування на рівні Nginx, минаючи PHP-FPM;
• worker_processes auto, worker_connections під кількість одночасних з'єднань.

PHP-FPM. Вибір між pm = dynamic і pm = static — не академічний:

• Static: фіксована кількість воркерів, без overhead на форк — для виділених серверів з передбачуваним навантаженням.
• Dynamic: економить RAM при низькому трафіку. pm.max_children рахуємо як (доступна RAM − RAM для MySQL/Redis) / середня витрата на процес.
• OPcache: opcache.memory_consumption=256, opcache.max_accelerated_files=20000, opcache.validate_timestamps=0 на продакшені (перезавантаження PHP-FPM при деплої).

MySQL/MariaDB. Головне вузьке місце майже завжди:

• slow_query_log з порогом 0.5 сек — кожен запит розбираємо через EXPLAIN.
• innodb_buffer_pool_size = 70–80% доступної RAM на виділеному сервері.
• Складені індекси для фасетного пошуку: (IBLOCK_ID, IBLOCK_PROPERTY_ID, VALUE) на b_iblock_element_property.
• OPTIMIZE TABLE b_iblock_element_property після масових операцій.

Як налаштувати кешування на три рівні?

Керований кеш компонентів. TTL налаштовуємо для кожного компонента окремо. Каталог — 3600 сек, новинна стрічка — 300 сек, банери — 86400. Однаковий TTL всюди — гарантія або застарілих даних, або марного кешу.

Композитний кеш. Технологія bitrix:composite — Nginx віддає готовий HTML із файлу, PHP не запускається. Динамічні зони (кошик, авторизація) підвантажуються AJAX-запитом через CBitrixComponent::setFrameMode(true). TTFB < 50 мс. Але не всі компоненти сумісні: $APPLICATION->ShowPanel() і прямий вивід через echo ламають композит. Перевіряємо кожну сторінку через панель «Продуктивність → Композитний сайт».

Порівняння: композитний кеш швидший за керований у 10–20 разів за часом першого байта. Офіційна документація Бітрікс з композитного кешу — Bitrix Composite.

Memcached / Redis. Переносимо кеш із файлової системи:

• Сесії → Redis (session.save_handler = redis) — швидше за файли в 10–50×, плюс робота в кластері.
• Кеш компонентів → Memcached через .settings.php: 'cache' => ['type' => 'memcache'].
• Кеш ORM-запитів — однакові GetList() не навантажують MySQL на кожному хіті.

Чому стандартних налаштувань MySQL недостатньо?

Індекси. Складені для фасетного пошуку. Покриваючі — для частих вибірок MySQL відповідає з індексу, не звертаючись до даних. Часткові індекси (MariaDB) для фільтрації за ACTIVE = 'Y'. Аудит невикористовуваних індексів — кожен сповільнює INSERT/UPDATE.

Партиціонування. Для таблиць з мільйонами рядків: b_stat_session, b_search_content_stem, Highload-блоки з історією. Партиція за датою — запит «замовлення за місяць» не сканує дані за три роки.

Реальний кейс: каталог 200 000 товарів, 50 властивостей. Фільтр за 10 властивостями займав 12 секунд. Після створення складених індексів за (IBLOCK_ID, IBLOCK_PROPERTY_ID, VALUE) та партиціонування b_iblock_element_property за IBLOCK_ID час виконання впав до 0,3 секунди. Навантаження на MySQL знизилося в 40 разів. Це дозволило скоротити витрати на сервер до 40% без втрати продуктивності.

Очищення. У будь-якій базі за рік-два накопичується: застарілий пошуковий індекс, прострочені записи в b_cache_tag, історія b_iblock_element_prop_s*, логи в b_event_log на гігабайти. Налаштовуємо регулярне очищення через агенти.

Партиціонування також вирішує проблему з паралельними запитами при обміні з 1С через CommerceML. Докладніше: MySQL Partitioning Documentation.

Після аудиту вашого проекту ми визначимо вузькі місця за 2 години та запропонуємо конкретний план прискорення. Замовте безкоштовний аудит швидкості — заповніть форму на сайті.

Фронтенд

Зображення — 60–80% ваги сторінки:

• WebP через CFile::ResizeImageGet() з BX_RESIZE_IMAGE_PROPORTIONAL + конвертація;
• srcset + sizes — не завантажуємо 3000px картинку в блок 400px;
• loading="lazy" для всього нижче першого екрану;
• AVIF — ще 20–30% економії порівняно з WebP.

CSS/JS:

• Вбудований модуль Бітрікс: об'єднання та мініфікація через «Налаштування → Оптимізація CSS/JS»;
• PurgeCSS / UnCSS — на типовому Бітрікс-проекті 60–70% CSS не використовуються;
• defer / async для некритичного JS;
• Critical CSS інлайном у <head> для миттєвого FCP.

Шрифти:

• <link rel="preload" as="font" crossorigin> для основного шрифту;
• font-display: swap — текст видно одразу;
• Subsetting через pyftsubset — вирізаємо кирилицю + латиницю, файл зменшується в 3–5 разів.

CDN

Cloudflare, BunnyCDN, AWS CloudFront або локальні (Selectel CDN, VK Cloud CDN).

• Статика (CSS, JS, зображення, шрифти) — через CDN.
• Правила кешування: Cache-Control: public, max-age=31536000, immutable для файлів з хешем.
• Оптимізація зображень на льоту (imgproxy, Cloudflare Polish) без навантаження на origin.

Навіщо потрібне навантажувальне тестування?

Не синтетичні бенчмарки, а реальні сценарії:

• k6 / wrk — імітація маршрутів: каталог → фільтрація → картка → кошик → оформлення.
• Метрики: RPS, час відповіді (p50, p95, p99), відсоток помилок.
• Xdebug (callgrind) або Blackfire — профілювання PHP, пошук вузьких місць.

Результат тестування — об'єктивна картина, де реально гальмує. Після оптимізації проганяємо повторно — фіксуємо покращення.

Результати

Що входить у роботу?

1. Аудит поточної продуктивності — аналіз slow-запитів, профілювання PHP, перевірка кешування, CDN, серверних налаштувань.
2. Налаштування серверної частини — Nginx, PHP-FPM, MySQL, Redis/Memcached, OPcache.
3. Оптимізація кешування — керований кеш, композитний сайт, налаштування TTL, теговане кешування.
4. Робота з БД — створення індексів, партиціонування, очищення, реорганізація EAV-таблиць.
5. Фронтенд — зображення (WebP/AVIF), CSS/JS (мініфікація, deferred), шрифти (preload, subsetting).
6. CDN — підключення, налаштування правил кешування.
7. Навантажувальне тестування — сценарії реальних користувачів, звіт за метриками.
8. Документація — опис усіх змін, рекомендації щодо подальшого обслуговування.
9. Гарантія — підтримка протягом 1 місяця після здачі.

Моніторинг

Без моніторингу через півроку все деградує. Новий модуль, неочищені логи, зміна в шаблоні — і швидкість повернулася до початкової.

• web-vitals API — Real User Monitoring від реальних відвідувачів.
• Synthetic monitoring — Pingdom, UptimeRobot, регулярні перевірки з різних локацій.
• Алерти — TTFB > 500 мс або LCP > 3 сек → сповіщення.

Терміни та вартість

Вартість розраховується індивідуально після аудиту. Отримайте консультацію щодо вашого проекту — оцінимо поточний стан і запропонуємо план прискорення з конкретними термінами та бюджетом. Ми — команда з 10+ роками досвіду в Бітрікс, виконали понад 200 проектів з оптимізації швидкості сайту. Замовте безкоштовний аудит швидкості — зв'яжіться з нами просто зараз.