Інтеграція Manticore Search для повнотекстового пошуку на сайті

Зауважимо: коли на сайті більше 100 000 сторінок, стандартний SQL LIKE перестає справлятися. Ми неодноразово стикалися з проєктами, де час пошуку сягав 5–10 секунд, що відлякує користувачів і знижує конверсію. Наприклад, в одному проєкті з каталогом на 3 млн товарів після впровадження Manticore середній час пошуку впав з 7 секунд до 35 мс, а навантаження на сервер БД знизилося в 10 разів. Повнотекстовий пошуковий двигун на кшталт Manticore Search вирішує проблему — час відповіді знижується до 20–50 мс. Ми використовуємо Manticore Search 6.x в Docker з PHP 8.x та PDO. Досвід понад 5 років та 30+ успішних інтеграцій. Ми підключаємо та налаштовуємо Manticore під ваш проєкт.

Які проблеми вирішуємо?

• Повільний пошук при великому обсязі даних. Manticore обробляє запити до індексів об'ємом у сотні гігабайт за мілісекунди. Типовий SQL-запит з LIKE викликає повне сканування таблиці та N+1 проблему — Manticore уникає цього завдяки інвертованим індексам.
• Складна морфологія української мови. Вбудований стемер stem_ru та лематизатор lemmatize_ru_all коректно обробляють відмінки та словоформи. Для української мови також доступні stem_uk та lemmatize_uk_all. Налаштування обов'язкове для україномовного контенту.
• Необхідність ранжування результатів. Налаштовуємо ваги полів, BM25, зважування за рейтингом та датою — пошук видає найбільш релевантне першим. Наприклад, заголовок статті має вагу 10, тіло — 1, автор — 2.
• Синхронізація з основною базою даних. Реалізуємо event-driven оновлення індексу через Observer або batch-індексацію. Без синхронізації пошук видає застарілі дані.

Чому Manticore краще Sphinx для нових проєктів?

Manticore активно розвивається: підтримує JSON-документи, HTTP API, колонкове сховище. Швидкість пошуку на 20–30% вища завдяки оптимізаціям в 6.x. Elasticsearch поступається Manticore за продуктивністю на простих повнотекстових запитах у 2–3 рази, а ліцензійні витрати нижчі. Згідно з офіційною документацією Manticore, швидкість пошуку на RT-індексах сягає 10 000 запитів на секунду. Якщо у вас legacy Sphinx — ми допоможемо мігрувати на Manticore без зупинки сервісу.

Що дає морфологія для української мови?

Зауважимо: як зазначено в документації Manticore з морфології, стемер stem_ru та лематизатор lemmatize_ru_all забезпечують коректне розпізнавання відмінків та словоформ. Без цього налаштування пошук не знайде «автомобіля» за запитом «автомобіль» або «автомобілів». Для української мови аналогічно працюють stem_uk та lemmatize_uk_all. Це критично для україномовного контенту.

Як ми налаштовуємо пошук: стек та приклад

Використовуємо Manticore Search 6.x, Docker, PHP 8.x з PDO. У типовому проєкті ми розгортаємо контейнер, налаштовуємо RT-індекс з морфологією для української мови, підключаємо через MySQL-протокол. Нижче — конфігурація та приклад коду.

Встановлення Manticore Search

# docker-compose.yml
services:
  manticore:
    image: manticoresearch/manticore:6.2.12
    environment:
      - EXTRA=1
    ports:
      - "9306:9306"   # MySQL-сумісний порт
      - "9308:9308"   # HTTP API
    volumes:
      - manticore_data:/var/lib/manticore
      - ./manticore.conf:/etc/manticoresearch/manticore.conf

Конфігурація індексу

# manticore.conf
index articles {
    type         = rt
    path         = /var/lib/manticore/articles

    rt_field     = title
    rt_field     = body
    rt_field     = author

    rt_attr_uint   = category_id
    rt_attr_bigint = created_at
    rt_attr_float  = rating
    rt_attr_string = slug

    morphology     = stem_ru, stem_en, stem_uk
    min_word_len   = 2
    expand_keywords = 1
    min_infix_len  = 3
    stopwords      = /etc/manticoresearch/stopwords_ru.txt
}

searchd {
    listen       = 0.0.0.0:9306:mysql41
    listen       = 0.0.0.0:9308:http
    log          = /var/log/manticore/searchd.log
    query_log    = /var/log/manticore/query.log
    max_matches  = 10000
}

Підключення через MySQL-протокол (PHP)

$pdo = new PDO('mysql:host=localhost;port=9306;charset=utf8', '', '');
$pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

// Вставка документа
$stmt = $pdo->prepare("
    INSERT INTO articles (id, title, body, author, category_id, created_at, rating)
    VALUES (:id, :title, :body, :author, :category_id, :created_at, :rating)
");
$stmt->execute([
    'id'          => $article->id,
    'title'       => $article->title,
    'body'        => strip_tags($article->content),
    'author'      => $article->user->name,
    'category_id' => $article->category_id,
    'created_at'  => $article->created_at->timestamp,
    'rating'      => $article->rating,
]);

// Повнотекстовий пошук з вагами полів
$stmt = $pdo->prepare("
    SELECT id, title, author, rating,
           WEIGHT() AS relevance
    FROM articles
    WHERE MATCH(:query)
    ORDER BY relevance DESC, rating DESC
    LIMIT :offset, :limit
    OPTION ranker=bm25, field_weights=(title=10, body=1, author=2)
");

Синхронізація з базою даних

class ArticleObserver
{
    public function saved(Article $article): void
    {
        ManticoreIndexJob::dispatch($article->id);
    }

    public function deleted(Article $article): void
    {
        ManticoreDeleteJob::dispatch($article->id);
    }
}

SELECT id, title,
       SNIPPET(body, :query,
               'limit=200, around=5, html_strip_mode=strip') AS excerpt
FROM articles
WHERE MATCH(:query)
LIMIT 20

Процес роботи

1. Аналіз вимог до пошуку: обсяг даних, типи контенту, чи потрібна морфологія.
2. Проектування схеми індексу: поля, атрибути, ваги.
3. Розгортання Manticore в Docker, налаштування конфігурації.
4. Написання коду для індексації: початкове завантаження, інкрементальне оновлення.
5. Реалізація API пошуку в додатку з ранжуванням та снипетами.
6. UI: вікно пошуку, результати, пагінація, підсвітка знайденого.
7. Тестування: навантажувальне тестування, перевірка релевантності.
8. Деплой та моніторинг.

Що входить в роботу

• Встановлення та конфігурація Manticore Search в Docker.
• Створення RT-індексу з налаштуванням морфології, стоп-слів, інфіксів.
• Написання модуля синхронізації даних (Observer або batch).
• REST API для пошуку (SQL або JSON).
• Адаптація фронтенду: рядок пошуку, снипети, пагінація.
• Навантажувальне тестування та оптимізація.
• Документація з експлуатації та доступів.

Строки

Типові помилки та їх вирішення

Забезпечення синхронізації індексу в реальному часі

Використовуємо паттерн Observer: при збереженні або видаленні запису в Eloquent (Laravel) диспатчимо Job на оновлення індексу. У випадку batch-завантаження великих обсягів даних застосовуємо фоновий процес, який індексує пачки по 1000 записів. Це дозволяє тримати індекс актуальним без затримок.

Замовлення інтеграції пошуку

Зв'яжіться з нами для консультації та оцінки вашого проєкту. Ми проаналізуємо структуру даних, навантаження та вимоги до пошуку, запропонуємо оптимальне рішення. Працюємо під ключ за 6–7 днів. Гарантуємо стабільність та релевантні результати. Отримайте консультацію з інтеграції Manticore у ваш проєкт вже сьогодні.

Послуги бекенд-розробки: production-grade надійність

На production-сервері о 3:14 ночі черга Laravel Jobs перестала оброблятися — 40 000 необроблених завдань у Redis. Причина: worker упав через memory leak у статичній змінній Eloquent observer, supervisor не перезапустив через misconfigured stopwaitsecs. Ми розбирали такий інцидент на проекті з 500 RPS: діагностика 4 години, фікс — 20 хвилин. Щоб ви не втрачали гроші, пропонуємо послуги бекенд-розробки з акцентом на production-grade надійність — 10+ років досвіду, 50+ проектів, 5 років на ринку. Оцінимо ваш проект за 2 дні.

Які проблеми вирішуємо

N+1 запити: головний вбивця швидкості

N+1 — найпоширеніша причина повільних сторінок у Laravel-додатках. Стандартна історія: сторінка працювала нормально на dev з 10 записами, на production з 10 000 — 8-секундне завантаження.

Laravel Debugbar у dev-оточенні показує кількість запитів. Більше 20 — сигнал для audit.

Model::preventLazyLoading(! app()->isProduction());

Telescope для профілювання: логує всі запити, jobs, mail, notifications з деталізацією. Після впровадження eager loading час завантаження сторінки падає з 8 с до 0.3 с — у 27 разів.

Memory leak у статичних змінних

У Laravel Octane або Swoole додаток тримається в пам’яті між запитами. Статичні змінні не скидаються — призводять до неконтрольованого росту пам’яті. Використовуємо defer-функції та контейнерні біндинги для коректного скидання стану.

Неправильний connection pool

Rails, Laravel, Django відкривають нове з'єднання PostgreSQL на кожен PHP/Python процес. 100 воркерів — 100 з'єднань. PostgreSQL деградує від 200+ активних з'єднань через overhead на управління.

PgBouncer у transaction pooling: 1000 воркерів → 20–50 реальних з'єднань. Це знижує latency на 40% та зменшує витрати на хостинг на 30% — при середній вартості хостингу $2,000/міс економить $600/міс. GIN-індекс для JSONB до 100 разів швидший за B-tree при пошуку.

Як Octane справляється з високим навантаженням?

Laravel Octane (RoadRunner або Swoole) прибирає overhead bootstrap на кожен HTTP-запит. Приріст: 3–8x на синтетичних бенчмарках, 2–4x на реальних додатках. Важливо: не зберігати стан у статичних змінних — застосовуємо це на проектах >1000 RPS.

Як PostgreSQL допомагає уникнути повільних запитів?

Використовуємо composite indexes для WHERE + ORDER BY, partial indexes для фільтрів з високою селективністю, GIN-індекси для JSONB та full-text search. to_tsvector + GIN замість LIKE '%query%' — запобігає seq scan навіть на мільйонах записів. Аналізуємо плани через EXPLAIN ANALYZE та pg_stat_statements.

Як обрати стек для вашого проекту?

Node.js виправданий для realtime: Laravel публікує події в Redis Pub/Sub, Node.js підписується та транслює клієнтам. Go — для goroutines (10k з'єднань на сервер — норма), але розробка повільніша, ніж Laravel.

Чому Redis критичний для продуктивності?

Redis виконує кілька ролей:

Redis Cluster для горизонтального масштабування, Sentinel для автоматичного failover. Замовте консультацію щодо оптимізації Redis для вашого проекту.

Що входить в роботу під ключ

• Архітектурне проектування (документація API, схема БД, діаграма сервісів)
• Реалізація за узгодженим ТЗ з code review
• Налаштування CI/CD (GitHub Actions, Docker), моніторингу (Sentry, Grafana), алертингу
• Навантажувальне тестування (k6, wrk) зі звітом
• Передача вихідних кодів, доступів, інструкція з деплою
• Навчання команди замовника (2–3 сесії)
• Гарантійна підтримка 1 місяць після здачі

Орієнтири по термінах

Вартість розраховується індивідуально після аналізу вимог до навантаження, інтеграцій та бізнес-логіки. Зв'яжіться з нами для безкоштовного аудиту вашого поточного backend — отримайте план оптимізації за 2 дні. Замовте консультацію та дізнайтеся, як знизити витрати на інфраструктуру на 30% без втрати продуктивності.