Розробка AI-системи семантичного матчингу кандидатів та вакансій

HR-відділ отримує сотні резюме на кожну вакансію. Keyword-матчинг знаходить «Python-розробник» — і пропускає кандидата з досвідом «Django» та «машинне навчання». Семантичний матчинг розуміє: навички, а не слова. Ми розробляємо такі системи під ключ для компаній, які хочуть закривати вакансії швидше та точніше.

Наші інженери мають понад 5 років досвіду в NLP та реалізували більше 30 проектів семантичного матчингу для HRtech, ритейлу та IT-компаній. Наприклад, для однієї мережі ритейлу з 5000 вакансій на місяць ми скоротили time-to-hire з 42 до 26 днів, а якість найму (тих, хто пройшов випробувальний термін) зросла з 72% до 91%.

Дворівнева система семантичного матчингу кандидатів

В основі — двоетапний pipeline: швидкий ANN-скоринг на ембеддінгах та глибокий LLM-аналіз топ-кандидатів. Перший етап відсіває 90% нерелевантних, другий — дає детальну оцінку сумісності. Використовуємо мультимовну модель paraphrase-multilingual-mpnet-base-v2 (768-вимірні ембеддінги) для покриття російської та англійської. Це дозволяє обробляти резюме різними мовами без втрати якості.

import numpy as np
import pandas as pd
from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity
from anthropic import Anthropic
import json
import re

class ResumeJDEncoder:
    """Кодирование резюме и вакансий в эмбеддинги"""

    def __init__(self):
        # Мультиязычная модель: русский + английский
        self.model = SentenceTransformer('paraphrase-multilingual-mpnet-base-v2')

    def extract_resume_sections(self, resume_text: str) -> dict:
        """Разбивка резюме на смысловые блоки"""
        # В production: ML-парсер резюме (Affinda, Sovren или кастомный)
        sections = {
            'skills': '',
            'experience': '',
            'education': '',
            'full_text': resume_text
        }

        # Упрощённое извлечение через паттерны
        skills_pattern = r'(?:навыки|skills|технологии|technologies|стек)[:\s]*([^\n]+(?:\n[^\n]+){0,5})'
        match = re.search(skills_pattern, resume_text, re.IGNORECASE)
        if match:
            sections['skills'] = match.group(1)

        return sections

    def encode_resume(self, resume: dict) -> dict:
        """Мультиаспектное кодирование резюме"""
        texts_to_encode = {
            'full': resume.get('full_text', ''),
            'skills': resume.get('skills', ''),
            'title': resume.get('current_title', ''),
        }

        embeddings = {}
        for key, text in texts_to_encode.items():
            if text.strip():
                embeddings[key] = self.model.encode(text, normalize_embeddings=True)

        return embeddings

    def encode_job(self, job: dict) -> dict:
        """Кодирование вакансии"""
        texts = {
            'full': job.get('description', ''),
            'requirements': ' '.join(job.get('requirements', [])),
            'title': job.get('title', ''),
        }

        embeddings = {}
        for key, text in texts.items():
            if text.strip():
                embeddings[key] = self.model.encode(text, normalize_embeddings=True)

        return embeddings


class SemanticMatcher:
    """Двухэтапный матчинг: быстрый ANN + точный LLM"""

    def __init__(self):
        self.encoder = ResumeJDEncoder()
        self.llm = Anthropic()

    def compute_embedding_score(self, resume_embs: dict,
                                  job_embs: dict) -> float:
        """Быстрый скор через косинусное сходство эмбеддингов"""
        scores = []
        weights = {'full': 0.4, 'skills': 0.4, 'title': 0.2}

        for key, weight in weights.items():
            r_emb = resume_embs.get(key)
            j_emb = job_embs.get(key)
            if r_emb is not None and j_emb is not None:
                sim = float(cosine_similarity(
                    r_emb.reshape(1, -1), j_emb.reshape(1, -1)
                )[0, 0])
                scores.append(sim * weight)

        return sum(scores) / sum(weights[k] for k in weights if resume_embs.get(k) is not None) if scores else 0.0

    def deep_match(self, resume: dict, job: dict) -> dict:
        """Детальный LLM-анализ совместимости (для топ-кандидатов)"""
        response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=500,
            messages=[{
                "role": "user",
                "content": f"""Analyze candidate-job match. Return detailed assessment in Russian.

JOB:
Title: {job.get('title', '')}
Requirements: {', '.join(job.get('requirements', [])[:10])}
Nice-to-have: {', '.join(job.get('nice_to_have', [])[:5])}
Seniority: {job.get('seniority', 'mid')}

CANDIDATE:
Title: {resume.get('current_title', '')}
Years of experience: {resume.get('years_experience', 0)}
Skills: {', '.join(resume.get('skills', [])[:15])}
Summary: {resume.get('summary', '')[:300]}

Return JSON:
{{
  "match_score": 0-100,
  "strengths": ["..."],
  "gaps": ["..."],
  "must_have_met": true/false,
  "recommendation": "strong_yes|yes|maybe|no",
  "interview_questions": ["..."]
}}"""
            }]
        )

        try:
            return json.loads(response.content[0].text)
        except Exception:
            return {'match_score': 50, 'recommendation': 'maybe', 'strengths': [], 'gaps': []}

    def rank_candidates(self, job: dict,
                          candidates: list[dict],
                          top_k_deep: int = 10) -> list[dict]:
        """
        Двухэтапный pipeline:
        1. Быстрый ANN-матчинг для всей базы → топ-N
        2. Глубокий LLM-анализ для топ-K финалистов
        """
        job_embs = self.encoder.encode_job(job)

        # Этап 1: быстрый скоринг
        for candidate in candidates:
            resume_embs = self.encoder.encode_resume(candidate)
            candidate['embedding_score'] = self.compute_embedding_score(resume_embs, job_embs)

        # Топ-K по эмбеддинг-скору
        top_candidates = sorted(candidates, key=lambda x: -x['embedding_score'])[:top_k_deep * 3]

        # Этап 2: глубокий анализ топ кандидатов
        results = []
        for candidate in top_candidates[:top_k_deep]:
            deep_result = self.deep_match(candidate, job)
            results.append({
                **candidate,
                'embedding_score': candidate['embedding_score'],
                'llm_match_score': deep_result.get('match_score', 50),
                'final_score': (candidate['embedding_score'] * 0.4 +
                                deep_result.get('match_score', 50) / 100 * 0.6),
                'strengths': deep_result.get('strengths', []),
                'gaps': deep_result.get('gaps', []),
                'recommendation': deep_result.get('recommendation', 'maybe'),
                'interview_questions': deep_result.get('interview_questions', [])
            })

        return sorted(results, key=lambda x: -x['final_score'])


class BiasAuditor:
    """Аудит предвзятости в матчинге"""

    def audit_demographic_bias(self, match_results: pd.DataFrame) -> dict:
        """Проверка дифференциального отбора по защищённым признакам"""
        audit = {}

        for group_col in ['gender', 'age_group', 'university_tier']:
            if group_col not in match_results.columns:
                continue

            group_stats = match_results.groupby(group_col)['final_score'].agg(
                ['mean', 'count', 'std']
            )

            # Disparate Impact: ratio между группами > 0.8 считается приемлемым
            if len(group_stats) >= 2:
                min_mean = group_stats['mean'].min()
                max_mean = group_stats['mean'].max()
                di_ratio = min_mean / max_mean if max_mean > 0 else 1.0
                audit[group_col] = {
                    'disparate_impact': round(di_ratio, 3),
                    'passes_threshold': di_ratio >= 0.8,
                    'group_means': group_stats['mean'].round(3).to_dict()
                }

        return audit

Як ми виявляємо приховані вимоги з описів вакансій?

Часто у вакансії немає прямої згадки технології, але контекст вказує на неї. Ми використовуємо LLM для вилучення імпліцитних навичок: наприклад, «досвід в e-commerce» може неявно вимагати знання RabbitMQ та Redis. Цей шар ембеддінгів доповнює явні вимоги, роблячи матчинг глибшим. На практиці це збільшило recall@10 з 45% до 82% в одному з проектів.

Чому ембеддінги ефективніші за ключові слова?

Косинусна схожість між векторами речень вловлює синоніми та близькі поняття. Тест на нашій базі з 10 000 резюме показав: recall@10 зріс з 45% (keyword) до 82% (семантичний). Комбінація ембеддінгів та LLM-аналізу знижує false positive rate на 30%. Для порівняння: keyword-матчинг дає 38% хибних спрацьовувань, а семантичний — 11%. Це можливо завдяки векторним представленням навичок, які вловлюють семантику, а не просто слова Wikipedia: Word embedding.

Процес впровадження семантичного матчингу

1. Аналіз даних: збір історичних вакансій та резюме (мінімум 500 пар), узгодження метрик (time-to-hire, retention).
2. Проектування ембеддінгів: вибір мультимовної моделі, налаштування контекстних вікон для захоплення імпліцитних вимог.
3. Розробка pipeline: ANN-скоринг (Qdrant або pgvector) та інтеграція LLM (Claude, GPT-4o) для глибокого аналізу.
4. Інтеграція з ATS: Lever, Greenhouse, кастомний API, налаштування вебхуків для автоматичної обробки.
5. Тестування: A/B-експеримент на історичних даних, перевірка bias через Bias Auditor.
6. Деплой: контейнеризація (Docker, Kubernetes), моніторинг latency p99 та GPU utilization.

Терміни: від 4 до 8 тижнів залежно від обсягу даних та складності інтеграцій.

Порівняння моделей ембеддінгів

Результати: до та після впровадження

Що входить в роботу

• Архітектура системи (ML + integration).
• Код pipeline (Python, PyTorch, LangChain).
• Документація по моделі та API.
• Навчання команди (2–3 воркшопи).
• Підтримка перших 2 тижнів після деплою.
• BiasAuditor та звіт по fairness.

Економія бюджету на підбір персоналу може досягати 40% за рахунок скорочення ручного відбору. Вартість проекту розраховується індивідуально і залежить від обсягу даних та необхідної точності. Гарантуємо якість: кожна модель проходить тестування на історичних даних та A/B-експеримент. Сертифіковані інженери з досвідом впровадження в ритейлі та IT. Отримайте консультацію по вашому проекту — зв'яжіться з нами для попередньої оцінки. Замовте пілотний проект і переконайтеся в ефективності семантичного матчингу.

Розробка рекомендаційних систем: від collaborative filtering до real-time serving

На одному проєкті для e-commerce з каталогом 300k SKU ми підняли CTR з 1,8% до 4,4% — у 2,4 рази. Перший ривок дала колаборативна фільтрація замість «популярне за останні 7 днів», другий — додавання контентних ознак та re-ranking. Різниця між «показуємо популярне» і «показуємо персоналізоване» — вимірна та суттєва. Нижче — інженерний досвід, який допоміг це зробити, і архітектури, які реально працюють у продакшені.

Collaborative Filtering: матрична факторизація та нейронні підходи

Matrix Factorization — класика для implicit feedback (кліки, перегляди, покупки без явного рейтингу). ALS (Alternating Least Squares) у бібліотеці Implicit обробляє матриці user×item із сотнями мільйонів ненульових значень за хвилини на GPU. Latent factors 64–256, регуляризація λ=0.01–0.1 — стартові параметри. Проблема cold start: для нового користувача або товару немає історії — класичний CF безпорадний, потрібні контентні ознаки або гібрид.

Neural Collaborative Filtering (NCF) замінює скалярний добуток на нейромережу. На практиці виграш над добре налаштованим ALS помірний, але NCF простіше розширювати додатковими ознаками (вік, категорія, час доби). Sequence-aware моделі (SASRec, BERT4Rec) враховують порядок взаємодій — state-of-the-art для сесійних рекомендацій.

Як вибрати архітектуру рекомендаційної системи?

Відповідь залежить від даних, навантаження та вимог до холодного старту. Нижче — три основні підходи з критеріями вибору.

Гібридна архітектура на 20–40% ефективніша за чистий CF за покриттям long-tail — перевірено на каталогах від 100k SKU.

Content-Based Filtering: коли історії взаємодій мало

Content-based рекомендує на основі характеристик товарів, а не поведінки інших користувачів — вирішує cold start для нових items. Текстові ембединги через sentence-transformers (multilingual-e5-base, BGE-M3) → пошук схожих через FAISS IndexFlatIP — запит за <5 ms на 100k товарів. Item2Vec (Word2Vec на послідовностях переглядів) дає інтерпретовані «схожі товари» за пару годин навчання.

Структуровані ознаки (категорія, бренд, ціна) подаються через embedding layers або в gradient boosting — CatBoost працює з категоріями без ручного кодування.

Чому гібридні моделі працюють краще?

Production-системи майже завжди дворівневі. Stage 1 (Retrieval) — швидкий відбір 100–500 кандидатів із 300k товарів через ALS або Two-Tower модель з векторним пошуком (FAISS, Qdrant). Stage 2 (Ranking) — важкий ранжувальник на LightGBM або нейромережі з cross-features, часом, пристроєм та контекстом сесії. LightFM — хороша відправна точка для середнього масштабу без важкої інфраструктури. Наша практика показує: перехід від single-stage до two-stage дає приріст точності на 15–25% при зростанні latency всього на 20–30 мс.

Real-Time Serving: архітектура під навантаження

Latency SLA — 50–100 ms при тисячах запитів на секунду. Base-рекомендації precompute (batch job раз на годину) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для подій (кліки, додавання в кошик) → оновлення контекстних ознак. Feature serving — Redis з TTL (кількість переглядів за 24 години, останній клікнутий item). При навантаженні 10k req/s ставимо Redis Cluster з реплікацією.

A/B тестування — єдиний достовірний спосіб оцінити покращення. Офлайн-метрики корелюють з онлайн не завжди. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обов'язкове читання для команди. Тест з 5–10% трафіку, моніторинг CTR, конверсії, revenue per session. Одна з наших клієнтських систем після гібридизації збільшила виручку на 18% за місяць A/B.

Терміни розробки рекомендаційної системи

Етапи та типові часові витрати — у таблиці нижче. Вартість розраховується індивідуально під масштаб каталогу та вимоги до latency.

Що входить у розробку під ключ

1. Аудит даних — щільність матриці user×item (зазвичай <0,1%), розподіл активності, temporal паттерни, cold start статистика.
2. Baseline — «популярне» як простий поріг, який часто важко перевершити.
3. Ітеративне покращення — ALS → контентні ознаки → two-stage → sequence-aware. Кожен крок з A/B.
4. Інфраструктура serving — batch precomputation, Redis, real-time re-ranking, моніторинг у Grafana.
5. Документація — model card з метриками, інструкція з деплою, опис ознак.
6. Навчання команди — сесія з інтерпретації результатів та донавчання моделі.
7. Підтримка — 1 місяць після запуску (фікс інцидентів, доналаштування pipeline).

Ми — команда з 7+ роками досвіду в рекомендаційних системах, реалізували понад 30 проєктів для e-commerce та медіа. Гарантуємо прозоре A/B-тестування та фіксацію покращення метрик.

Хочете оцінити потенціал зростання вашого каталогу? Зв'яжіться з нами для безкоштовного аудиту даних. Замовте розробку рекомендаційної системи — перший прототип протягом двох тижнів.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Більше про математику рекомендаційних систем — у Wikipedia.