Оптимізація переіндексації Elasticsearch для 1С-Бітрікс

Оптимізація переіндексації Elasticsearch для 1С-Бітрікс

На одному з проєктів з каталогом 800 000 SKU повна переіндексація Elasticsearch з 1С-Бітрікс займала 14 годин. За цей час накопичувалася черга змін, пошук віддавав застарілі дані, а імпорт з 1С конкурував з індексацією за ресурси сервера. Більше того, в процесі індексації при кожному refresh пошук блокувався на частки секунди, що для інтернет-магазину з піковим навантаженням до 10 000 запитів на хвилину призводило до затримок до 3 секунд. Наше завдання — скоротити повну переіндексацію до 1–2 годин без жодної секунди простою пошуку. Досвід роботи з каталогами до 2 млн товарів дозволяє гарантувати такий результат. Подібна ситуація знайома багатьом: чим більший каталог, тим повільніші стандартні механізми. Але рішення лежить на поверхні — правильне налаштування Elasticsearch та оптимізація коду індексатора.

Чому переіндексація гальмує?

Типові причини повільної індексації — послідовна відправка кожного документа окремим PUT-запитом, примусовий refresh після кожного пакета та дефолтний refresh_interval в 1 секунду. Кожен refresh створює новий сегмент Lucene, який потім доводиться об'єднувати. На каталозі в 800k SKU це генерує сотні тисяч дрібних сегментів, і Elasticsearch витрачає ресурси на їх злиття.

Стратегія zero-downtime переіндексації

Ключовий прийом — індексувати в новий індекс, а не поверх робочого. Поточний індекс bitrix_catalog_v1 обслуговує пошук через аліас bitrix_catalog. Паралельно ми будуємо bitrix_catalog_v2. Після завершення переіндексації атомарно перемикаємо аліас — пошук переходить на новий індекс без переривання.

Які налаштування Elasticsearch прискорюють індексацію?

Перед масовою індексацією тимчасово змінюємо параметри:

PUT /bitrix_catalog_v2/_settings
{
  "index": {
    "refresh_interval": "-1",
    "number_of_replicas": 0,
    "translog.durability": "async",
    "translog.sync_interval": "30s"
  }
}

Відключення refresh (-1) прискорює індексацію в 3–5 разів, оскільки документи не потрапляють до пошуку до явного виклику. Відключення реплік (number_of_replicas: 0) знижує навантаження на кластер. Асинхронний транслог скидається на диск кожні 30 секунд, а не при кожній операції. Після індексації відновлюємо стандартні налаштування та виконуємо forcemerge для об'єднання сегментів в один.

Як оптимізувати PHP-індексатор?

Використовуємо Bulk API з пакетами по 500 документів (5–15 МБ). Це в 10–20 разів швидше, ніж поодинокі запити. Elasticsearch Bulk API — стандартна практика для масового завантаження.

$batchSize = 500;
$bulk = [];
foreach ($products as $product) {
    $bulk[] = ['index' => ['_index' => 'bitrix_catalog_v2', '_id' => $product['ID']]];
    $bulk[] = buildDocument($product);
    if (count($bulk) >= $batchSize * 2) {
        $client->bulk(['body' => $bulk]);
        $bulk = [];
    }
}
if (!empty($bulk)) {
    $client->bulk(['body' => $bulk]);
}

Паралельна індексація через кілька процесів — ділимо каталог за діапазонами ID. Три процеси на тринодовому кластері дають лінійне прискорення. Обмеження — швидкість читання з MySQL.

Що дає паралельна індексація?

Використання bulk API та паралельної індексації прискорює індексацію в 10–20 разів порівняно з послідовними поодинокими запитами. На нашому проєкті повна переіндексація скоротилася з 14 годин до 1 години 20 хвилин.

Перемикання аліасу

Після індексації атомарно перемикаємо аліас:

POST /_aliases
{
  "actions": [
    { "remove": { "index": "bitrix_catalog_v1", "alias": "bitrix_catalog" } },
    { "add":    { "index": "bitrix_catalog_v2", "alias": "bitrix_catalog" } }
  ]
}

Операція займає мілісекунди, пошук не переривається.

Порівняння до та після оптимізації

Що входить в послугу

• Аудит поточної конфігурації Elasticsearch та PHP-індексатора
• Налаштування індексів та mapping під типові запити
• Оптимізація bulk API та паралельної обробки
• Реалізація zero-downtime з аліасами
• Документація з експлуатації
• Консультація та навчання вашої команди

Вартість послуги розраховується індивідуально після аудиту. Ми дамо точну оцінку протягом 2 робочих днів.

Як ми гарантуємо результат?

Наш досвід — понад 10 років розробки на Бітрікс, понад 50 впроваджень пошуку для каталогів з товарами від 10k до 2M SKU. Для кожного проєкту проводимо навантажувальне тестування та даємо гарантію на швидкість індексації. Elasticsearch — де-факто стандарт для високонавантажених каталогів. Зв'яжіться з нами для оцінки вашого проєкту — ми підготуємо план оптимізації. Замовте послугу оптимізації та отримайте прискорення індексації в 7+ разів.

Скільки часу займає оптимізація?

Зазвичай від 3 до 10 робочих днів залежно від складності каталогу та поточних налаштувань. Точні терміни визначаємо після аудиту. Економія ресурсів сервера та зниження витрат на інфраструктуру окупають вкладення протягом кількох місяців.

80% сайтів на Бітрікс гальмують через одну таблицю

b_iblock_element_property — EAV-структура. Кожен рядок зберігає одне значення однієї властивості одного елемента. Каталог у 50 000 товарів з 30 властивостями дає 1,5 млн рядків. Коли розумний фільтр робить JOIN цієї таблиці з b_iblock_element за п'ятьма властивостями, MySQL іде в full table scan на 3–5 секунд.

Наш досвід показує: без втручання в цю таблицю прискорення неможливе. Ми беремося за проекти, де швидкість завантаження впала до 8–10 секунд, і повертаємо TTFB < 200 мс за 1–2 тижні. Оптимізація швидкості сайту починається з аудиту slow-запитів і закінчується комплексною перебудовою інфраструктури під ключ. У нашому портфоліо — понад 200 успішних проєктів. Ми — команда сертифікованих фахівців з 10‑річним досвідом роботи в Бітрікс.

Серверна оптимізація

Nginx. Не просто «увімкнули gzip». Конкретно:

• gzip_comp_level 4-5 — вище безглуздо, CPU з'їдає більше, ніж економить трафік;
• brotli on з brotli_static on — для попередньо стиснутих файлів (Brotli стискає на 20–30% краще за gzip);
• HTTP/2 з http2_max_concurrent_streams 128;
• fastcgi_cache для PHP-відповідей — кешування на рівні Nginx, минаючи PHP-FPM;
• worker_processes auto, worker_connections під кількість одночасних з'єднань.

PHP-FPM. Вибір між pm = dynamic і pm = static — не академічний:

• Static: фіксована кількість воркерів, без overhead на форк — для виділених серверів з передбачуваним навантаженням.
• Dynamic: економить RAM при низькому трафіку. pm.max_children рахуємо як (доступна RAM − RAM для MySQL/Redis) / середня витрата на процес.
• OPcache: opcache.memory_consumption=256, opcache.max_accelerated_files=20000, opcache.validate_timestamps=0 на продакшені (перезавантаження PHP-FPM при деплої).

MySQL/MariaDB. Головне вузьке місце майже завжди:

• slow_query_log з порогом 0.5 сек — кожен запит розбираємо через EXPLAIN.
• innodb_buffer_pool_size = 70–80% доступної RAM на виділеному сервері.
• Складені індекси для фасетного пошуку: (IBLOCK_ID, IBLOCK_PROPERTY_ID, VALUE) на b_iblock_element_property.
• OPTIMIZE TABLE b_iblock_element_property після масових операцій.

Як налаштувати кешування на три рівні?

Керований кеш компонентів. TTL налаштовуємо для кожного компонента окремо. Каталог — 3600 сек, новинна стрічка — 300 сек, банери — 86400. Однаковий TTL всюди — гарантія або застарілих даних, або марного кешу.

Композитний кеш. Технологія bitrix:composite — Nginx віддає готовий HTML із файлу, PHP не запускається. Динамічні зони (кошик, авторизація) підвантажуються AJAX-запитом через CBitrixComponent::setFrameMode(true). TTFB < 50 мс. Але не всі компоненти сумісні: $APPLICATION->ShowPanel() і прямий вивід через echo ламають композит. Перевіряємо кожну сторінку через панель «Продуктивність → Композитний сайт».

Порівняння: композитний кеш швидший за керований у 10–20 разів за часом першого байта. Офіційна документація Бітрікс з композитного кешу — Bitrix Composite.

Memcached / Redis. Переносимо кеш із файлової системи:

• Сесії → Redis (session.save_handler = redis) — швидше за файли в 10–50×, плюс робота в кластері.
• Кеш компонентів → Memcached через .settings.php: 'cache' => ['type' => 'memcache'].
• Кеш ORM-запитів — однакові GetList() не навантажують MySQL на кожному хіті.

Чому стандартних налаштувань MySQL недостатньо?

Індекси. Складені для фасетного пошуку. Покриваючі — для частих вибірок MySQL відповідає з індексу, не звертаючись до даних. Часткові індекси (MariaDB) для фільтрації за ACTIVE = 'Y'. Аудит невикористовуваних індексів — кожен сповільнює INSERT/UPDATE.

Партиціонування. Для таблиць з мільйонами рядків: b_stat_session, b_search_content_stem, Highload-блоки з історією. Партиція за датою — запит «замовлення за місяць» не сканує дані за три роки.

Реальний кейс: каталог 200 000 товарів, 50 властивостей. Фільтр за 10 властивостями займав 12 секунд. Після створення складених індексів за (IBLOCK_ID, IBLOCK_PROPERTY_ID, VALUE) та партиціонування b_iblock_element_property за IBLOCK_ID час виконання впав до 0,3 секунди. Навантаження на MySQL знизилося в 40 разів. Це дозволило скоротити витрати на сервер до 40% без втрати продуктивності.

Очищення. У будь-якій базі за рік-два накопичується: застарілий пошуковий індекс, прострочені записи в b_cache_tag, історія b_iblock_element_prop_s*, логи в b_event_log на гігабайти. Налаштовуємо регулярне очищення через агенти.

Партиціонування також вирішує проблему з паралельними запитами при обміні з 1С через CommerceML. Докладніше: MySQL Partitioning Documentation.

Після аудиту вашого проекту ми визначимо вузькі місця за 2 години та запропонуємо конкретний план прискорення. Замовте безкоштовний аудит швидкості — заповніть форму на сайті.

Фронтенд

Зображення — 60–80% ваги сторінки:

• WebP через CFile::ResizeImageGet() з BX_RESIZE_IMAGE_PROPORTIONAL + конвертація;
• srcset + sizes — не завантажуємо 3000px картинку в блок 400px;
• loading="lazy" для всього нижче першого екрану;
• AVIF — ще 20–30% економії порівняно з WebP.

CSS/JS:

• Вбудований модуль Бітрікс: об'єднання та мініфікація через «Налаштування → Оптимізація CSS/JS»;
• PurgeCSS / UnCSS — на типовому Бітрікс-проекті 60–70% CSS не використовуються;
• defer / async для некритичного JS;
• Critical CSS інлайном у <head> для миттєвого FCP.

Шрифти:

• <link rel="preload" as="font" crossorigin> для основного шрифту;
• font-display: swap — текст видно одразу;
• Subsetting через pyftsubset — вирізаємо кирилицю + латиницю, файл зменшується в 3–5 разів.

CDN

Cloudflare, BunnyCDN, AWS CloudFront або локальні (Selectel CDN, VK Cloud CDN).

• Статика (CSS, JS, зображення, шрифти) — через CDN.
• Правила кешування: Cache-Control: public, max-age=31536000, immutable для файлів з хешем.
• Оптимізація зображень на льоту (imgproxy, Cloudflare Polish) без навантаження на origin.

Навіщо потрібне навантажувальне тестування?

Не синтетичні бенчмарки, а реальні сценарії:

• k6 / wrk — імітація маршрутів: каталог → фільтрація → картка → кошик → оформлення.
• Метрики: RPS, час відповіді (p50, p95, p99), відсоток помилок.
• Xdebug (callgrind) або Blackfire — профілювання PHP, пошук вузьких місць.

Результат тестування — об'єктивна картина, де реально гальмує. Після оптимізації проганяємо повторно — фіксуємо покращення.

Результати

Що входить у роботу?

1. Аудит поточної продуктивності — аналіз slow-запитів, профілювання PHP, перевірка кешування, CDN, серверних налаштувань.
2. Налаштування серверної частини — Nginx, PHP-FPM, MySQL, Redis/Memcached, OPcache.
3. Оптимізація кешування — керований кеш, композитний сайт, налаштування TTL, теговане кешування.
4. Робота з БД — створення індексів, партиціонування, очищення, реорганізація EAV-таблиць.
5. Фронтенд — зображення (WebP/AVIF), CSS/JS (мініфікація, deferred), шрифти (preload, subsetting).
6. CDN — підключення, налаштування правил кешування.
7. Навантажувальне тестування — сценарії реальних користувачів, звіт за метриками.
8. Документація — опис усіх змін, рекомендації щодо подальшого обслуговування.
9. Гарантія — підтримка протягом 1 місяця після здачі.

Моніторинг

Без моніторингу через півроку все деградує. Новий модуль, неочищені логи, зміна в шаблоні — і швидкість повернулася до початкової.

• web-vitals API — Real User Monitoring від реальних відвідувачів.
• Synthetic monitoring — Pingdom, UptimeRobot, регулярні перевірки з різних локацій.
• Алерти — TTFB > 500 мс або LCP > 3 сек → сповіщення.

Терміни та вартість

Вартість розраховується індивідуально після аудиту. Отримайте консультацію щодо вашого проекту — оцінимо поточний стан і запропонуємо план прискорення з конкретними термінами та бюджетом. Ми — команда з 10+ роками досвіду в Бітрікс, виконали понад 200 проектів з оптимізації швидкості сайту. Замовте безкоштовний аудит швидкості — зв'яжіться з нами просто зараз.