Пошук по сайту не знаходить «ноутбук» за запитом «лептоп»? Або слово «смартфон» не повертає результати з «телефон»? Це типова проблема стандартного аналізатора Elasticsearch: він не розуміє синонімів та мовної морфології. Щоб пошук працював як треба, ми розробляємо кастомні аналізатори під ключ. За понад 5 років ми налаштували пошук для 50+ проектів, включаючи інтернет-магазини та новинні портали. Кастомний аналізатор складається з tokenizer та token filters. Вони перетворюють текст у набір токенів для індексу. У цій статті розберемо, як зібрати такий аналізатор для української мови, налаштувати синоніми та автодоповнення, а також розглянемо типові помилки та способи їх уникнути.
До 70% користувачів не знаходять потрібний товар через неправильну конфігурацію аналізатора. Це знижує конверсію на 20–30%. Налаштування кастомного аналізатора вирішує проблему за рахунок підбору фільтрів під вашу предметну область.
| Фільтр | Призначення | Приклад токена |
|---|---|---|
lowercase |
Приведення до нижнього регістру | Ноутбук → ноутбук |
stop |
Видалення стоп-слів | на, в, с |
stemmer |
Стемінг | ноутбуки → ноутбук |
synonym |
Синоніми | ноутбук ↔ лептоп |
edge_ngram |
N-грами для автодоповнення | ноут → н, но, ноу, ноут |
Чому кастомний аналізатор кращий за вбудований?
Вбудований ukrainian аналізатор (якщо він є) використовує алгоритм Snowball для стемінгу. Для більшості завдань цього достатньо, але якщо потрібна точна морфологія або нестандартний набір стоп-слів, створюємо кастомний аналізатор. Він дає повний контроль над ланцюжком фільтрів: ви самі вирішуєте, які стоп-слова видаляти, як обробляти синоніми та чи потрібен стемінг. Крім того, кастомна конфігурація дозволяє додати транслітерацію для пошуку по трансліту (наприклад, «noutbuk» → «ноутбук»).
Як налаштувати мовний аналізатор для української мови?
Базова настройка
Приклад налаштування з налаштовуваними стоп-словами та полем для точного збігу:
{ "settings": { "analysis": { "filter": { "ukrainian_stop": { "type": "stop", "stopwords": "_ukrainian_" }, "ukrainian_stemmer": { "type": "stemmer", "language": "ukrainian" }, "custom_stopwords": { "type": "stop", "stopwords": ["це", "також", "при", "для", "що", "як"] } }, "analyzer": { "ukrainian_custom": { "type": "custom", "tokenizer": "standard", "filter": ["lowercase", "ukrainian_stop", "custom_stopwords", "ukrainian_stemmer"] }, "ukrainian_exact": { "type": "custom", "tokenizer": "standard", "filter": ["lowercase"] } } } } } Додавання транслітерації
Користувачі часто вводять трансліт: «noutbuk» замість «ноутбук». Транслітерація реалізується через char_filter типу mapping, де кожній кириличній букві зіставляється латинський аналог. Повний список зіставлень наведено в документації — ми підключаємо його в аналізатор. Для просунутої транслітерації використовуємо плагін analysis-icu з ICU transformers, який коректно обробляє Unicode normalization.
Як налаштувати синоніми без переіндексації?
Синоніми дозволяють знаходити документи за різними формулюваннями. Є два підходи:
| Параметр | Синоніми при індексації | Синоніми при пошуку |
|---|---|---|
| Оновлення | Потребує переіндексації | Без переіндексації, через _reload_search_analyzers |
| Швидкодія пошуку | Швидше (менше токенів у запиті) | Повільніше (додаткова обробка) |
| Гнучкість | Низька | Висока |
Рекомендований варіант — синоніми при пошуку. Вони дозволяють міняти правила без переіндексації, що критично для інтернет-магазинів з швидкозмінним асортиментом. Наприклад, файл синонімів config/synonyms/synonyms.txt:
ноутбук, лептоп, laptop, notebook смартфон, телефон, мобільний телевізор, тв, tv Конфігурація аналізатора з синонімами (тільки для пошуку):
{ "settings": { "analysis": { "filter": { "synonym_filter": { "type": "synonym", "synonyms_path": "synonyms/synonyms.txt", "updateable": true } }, "analyzer": { "search_analyzer": { "type": "custom", "tokenizer": "standard", "filter": ["lowercase", "ukrainian_stop", "synonym_filter"] }, "index_analyzer": { "type": "custom", "tokenizer": "standard", "filter": ["lowercase", "ukrainian_stop", "ukrainian_stemmer"] } } } } } Прапорець "updateable": true — обов'язкова умова для синонімів, що застосовуються тільки при пошуку. Він дозволяє перезавантажувати синоніми через _reload_search_analyzers без переіндексації. Економія бюджету: вам не потрібно перебудовувати індекс щоразу при зміні словника.
Налаштування автодоповнення з Edge N-gram
Для автодоповнення при введенні необхідний аналізатор з edge_ngram:
"filter": { "edge_ngram_filter": { "type": "edge_ngram", "min_gram": 2, "max_gram": 15 } } При пошуку використовуємо аналізатор без N-gram (наприклад, тільки lowercase), інакше пошук фрагмента «ноут» збіжиться з усіма N-gram-токенами, викликаючи хибні спрацьовування.
Багатомовні індекси
Два підходи: один індекс з полями для кожної мови або окремий індекс на мову. Для мультисайтів зручніше один індекс:
"properties": { "title_uk": { "type": "text", "analyzer": "ukrainian_custom" }, "title_en": { "type": "text", "analyzer": "english" }, "title_de": { "type": "text", "analyzer": "german" } } Запит по кількох мовах:
{ "query": { "multi_match": { "query": "search term", "fields": ["title_uk^2", "title_en", "title_de"] } } } Буст ^2 для українського поля — якщо основна аудиторія україномовна.
Що входить у розробку та терміни
Ми надаємо повністю готове рішення під ключ. Розробка включає:
- Аналіз ваших даних та вимог до пошуку
- Проектування ланцюжка фільтрів під ваші завдання
- Налаштування синонімів з можливістю онлайн-оновлення
- Інтеграція з існуючим індексом
- Тестування на реальних запитах (не менше 100 тестових сценаріїв)
- Документація по налаштуваннях та підтримці
- Навчання вашої команди (до 2 годин онлайн)
Розробка та тестування кастомного аналізатора під одну мову — від 1 робочого дня. Налаштування синонімів з файлом та механізмом оновлення — ще півдня. Багатомовна конфігурація з 3–5 мовами — 2–3 дні, включаючи тести пошукової релевантності. Вартість розраховується індивідуально.
Замовте налаштування аналізатора для вашого проекту — ми підберемо оптимальну конфігурацію.
Як ми підходимо до налаштування
- Аудит поточного пошуку — збираємо логи запитів, виявляємо проблемні сценарії.
- Проектування аналізатора — визначаємо набір фільтрів, синонімів, стоп-слів.
- Прототипування — розгортаємо тестовий індекс та перевіряємо на реальних даних.
- Тестування — використовуємо API
_analyzeдля перевірки кожного фільтра. Наприклад:
POST /products/_analyze { "analyzer": "ukrainian_custom", "text": "Ноутбуки та лептопи для роботи" } Відповідь містить список токенів — їх кількість та вид мають відповідати очікуванням (стемінг обрізає закінчення, синоніми розширюють токени). 5. Оптимізація — коригуємо налаштування за результатами тестів. 6. Впровадження — оновлюємо бойовий індекс без даунтайму. 7. Моніторинг — після запуску відстежуємо метрики пошуку (CTR, порожні результати).
Чому варто довірити налаштування професіоналам?
Неправильна конфігурація аналізатора може знизити релевантність пошуку в 2–3 рази. Наші сертифіковані інженери гарантують, що після налаштування пошук стане точним та швидким. Отримайте консультацію з розробки аналізатора — ми оцінимо ваш проект та запропонуємо оптимальне рішення. Зв'яжіться з нами, щоб обговорити деталі.
Докладніше про аналізатори Elasticsearch.