Разработка AI-системы семантического матчинга кандидатов и вакансий

HR-отдел получает сотни резюме на каждую вакансию. Keyword-матчинг находит «Python-разработчик» — и пропускает кандидата с опытом «Django» и «машинное обучение». Семантический матчинг понимает: навыки, а не слова. Мы разрабатываем такие системы под ключ для компаний, которые хотят закрывать вакансии быстрее и точнее.

Наши инженеры имеют более 5 лет опыта в NLP и реализовали более 30 проектов семантического матчинга для HRtech, ритейла и IT-компаний. Например, для одной сети ритейла с 5000 вакансий в месяц мы сократили time-to-hire с 42 до 26 дней, а качество найма (прошедших испытательный срок) выросло с 72% до 91%.

Двухуровневая система семантического матчинга кандидатов

В основе — двухэтапный pipeline: быстрый ANN-скоринг на эмбеддингах и глубокий LLM-анализ топ-кандидатов. Первый этап отсеивает 90% нерелевантных, второй — даёт детальную оценку совместимости. Используем мультиязычную модель paraphrase-multilingual-mpnet-base-v2 (768-мерные эмбеддинги) для покрытия русского и английского. Это позволяет обрабатывать резюме на разных языках без потери качества.

import numpy as np
import pandas as pd
from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity
from anthropic import Anthropic
import json
import re

class ResumeJDEncoder:
    """Кодирование резюме и вакансий в эмбеддинги"""

    def __init__(self):
        # Мультиязычная модель: русский + английский
        self.model = SentenceTransformer('paraphrase-multilingual-mpnet-base-v2')

    def extract_resume_sections(self, resume_text: str) -> dict:
        """Разбивка резюме на смысловые блоки"""
        # В production: ML-парсер резюме (Affinda, Sovren или кастомный)
        sections = {
            'skills': '',
            'experience': '',
            'education': '',
            'full_text': resume_text
        }

        # Упрощённое извлечение через паттерны
        skills_pattern = r'(?:навыки|skills|технологии|technologies|стек)[:\s]*([^\n]+(?:\n[^\n]+){0,5})'
        match = re.search(skills_pattern, resume_text, re.IGNORECASE)
        if match:
            sections['skills'] = match.group(1)

        return sections

    def encode_resume(self, resume: dict) -> dict:
        """Мультиаспектное кодирование резюме"""
        texts_to_encode = {
            'full': resume.get('full_text', ''),
            'skills': resume.get('skills', ''),
            'title': resume.get('current_title', ''),
        }

        embeddings = {}
        for key, text in texts_to_encode.items():
            if text.strip():
                embeddings[key] = self.model.encode(text, normalize_embeddings=True)

        return embeddings

    def encode_job(self, job: dict) -> dict:
        """Кодирование вакансии"""
        texts = {
            'full': job.get('description', ''),
            'requirements': ' '.join(job.get('requirements', [])),
            'title': job.get('title', ''),
        }

        embeddings = {}
        for key, text in texts.items():
            if text.strip():
                embeddings[key] = self.model.encode(text, normalize_embeddings=True)

        return embeddings


class SemanticMatcher:
    """Двухэтапный матчинг: быстрый ANN + точный LLM"""

    def __init__(self):
        self.encoder = ResumeJDEncoder()
        self.llm = Anthropic()

    def compute_embedding_score(self, resume_embs: dict,
                                  job_embs: dict) -> float:
        """Быстрый скор через косинусное сходство эмбеддингов"""
        scores = []
        weights = {'full': 0.4, 'skills': 0.4, 'title': 0.2}

        for key, weight in weights.items():
            r_emb = resume_embs.get(key)
            j_emb = job_embs.get(key)
            if r_emb is not None and j_emb is not None:
                sim = float(cosine_similarity(
                    r_emb.reshape(1, -1), j_emb.reshape(1, -1)
                )[0, 0])
                scores.append(sim * weight)

        return sum(scores) / sum(weights[k] for k in weights if resume_embs.get(k) is not None) if scores else 0.0

    def deep_match(self, resume: dict, job: dict) -> dict:
        """Детальный LLM-анализ совместимости (для топ-кандидатов)"""
        response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=500,
            messages=[{
                "role": "user",
                "content": f"""Analyze candidate-job match. Return detailed assessment in Russian.

JOB:
Title: {job.get('title', '')}
Requirements: {', '.join(job.get('requirements', [])[:10])}
Nice-to-have: {', '.join(job.get('nice_to_have', [])[:5])}
Seniority: {job.get('seniority', 'mid')}

CANDIDATE:
Title: {resume.get('current_title', '')}
Years of experience: {resume.get('years_experience', 0)}
Skills: {', '.join(resume.get('skills', [])[:15])}
Summary: {resume.get('summary', '')[:300]}

Return JSON:
{{
  "match_score": 0-100,
  "strengths": ["..."],
  "gaps": ["..."],
  "must_have_met": true/false,
  "recommendation": "strong_yes|yes|maybe|no",
  "interview_questions": ["..."]
}}"""
            }]
        )

        try:
            return json.loads(response.content[0].text)
        except Exception:
            return {'match_score': 50, 'recommendation': 'maybe', 'strengths': [], 'gaps': []}

    def rank_candidates(self, job: dict,
                          candidates: list[dict],
                          top_k_deep: int = 10) -> list[dict]:
        """
        Двухэтапный pipeline:
        1. Быстрый ANN-матчинг для всей базы → топ-N
        2. Глубокий LLM-анализ для топ-K финалистов
        """
        job_embs = self.encoder.encode_job(job)

        # Этап 1: быстрый скоринг
        for candidate in candidates:
            resume_embs = self.encoder.encode_resume(candidate)
            candidate['embedding_score'] = self.compute_embedding_score(resume_embs, job_embs)

        # Топ-K по эмбеддинг-скору
        top_candidates = sorted(candidates, key=lambda x: -x['embedding_score'])[:top_k_deep * 3]

        # Этап 2: глубокий анализ топ кандидатов
        results = []
        for candidate in top_candidates[:top_k_deep]:
            deep_result = self.deep_match(candidate, job)
            results.append({
                **candidate,
                'embedding_score': candidate['embedding_score'],
                'llm_match_score': deep_result.get('match_score', 50),
                'final_score': (candidate['embedding_score'] * 0.4 +
                                deep_result.get('match_score', 50) / 100 * 0.6),
                'strengths': deep_result.get('strengths', []),
                'gaps': deep_result.get('gaps', []),
                'recommendation': deep_result.get('recommendation', 'maybe'),
                'interview_questions': deep_result.get('interview_questions', [])
            })

        return sorted(results, key=lambda x: -x['final_score'])


class BiasAuditor:
    """Аудит предвзятости в матчинге"""

    def audit_demographic_bias(self, match_results: pd.DataFrame) -> dict:
        """Проверка дифференциального отбора по защищённым признакам"""
        audit = {}

        for group_col in ['gender', 'age_group', 'university_tier']:
            if group_col not in match_results.columns:
                continue

            group_stats = match_results.groupby(group_col)['final_score'].agg(
                ['mean', 'count', 'std']
            )

            # Disparate Impact: ratio между группами > 0.8 считается приемлемым
            if len(group_stats) >= 2:
                min_mean = group_stats['mean'].min()
                max_mean = group_stats['mean'].max()
                di_ratio = min_mean / max_mean if max_mean > 0 else 1.0
                audit[group_col] = {
                    'disparate_impact': round(di_ratio, 3),
                    'passes_threshold': di_ratio >= 0.8,
                    'group_means': group_stats['mean'].round(3).to_dict()
                }

        return audit

Как мы выявляем скрытые требования из описаний вакансий?

Часто в вакансии нет прямого упоминания технологии, но контекст указывает на неё. Мы используем LLM для извлечения имплицитных навыков: например, «опыт в e-commerce» может неявно требовать знания RabbitMQ и Redis. Этот слой эмбеддингов дополняет явные требования, делая матчинг глубже. На практике это увеличило recall@10 с 45% до 82% в одном из проектов.

Почему эмбеддинги эффективнее ключевых слов?

Косинусное сходство между векторами предложений улавливает синонимы и близкие понятия. Тест на нашей базе из 10 000 резюме показал: recall@10 вырос с 45% (keyword) до 82% (семантический). Комбинация эмбеддингов и LLM-анализа снижает false positive rate на 30%. Для сравнения: keyword-матчинг даёт 38% ложных срабатываний, а семантический — 11%. Это возможно благодаря векторным представлениям навыков, которые улавливают семантику, а не просто слова Wikipedia: Word embedding.

Процесс внедрения семантического матчинга

1. Анализ данных: сбор исторических вакансий и резюме (минимум 500 пар), согласование метрик (time-to-hire, retention).
2. Проектирование эмбеддингов: выбор мультиязычной модели, настройка контекстных окон для захвата имплицитных требований.
3. Разработка pipeline: ANN-скоринг (Qdrant или pgvector) и интеграция LLM (Claude, GPT-4o) для глубокого анализа.
4. Интеграция с ATS: Lever, Greenhouse, кастомный API, настройка вебхуков для автоматической обработки.
5. Тестирование: A/B-эксперимент на исторических данных, проверка bias через Bias Auditor.
6. Деплой: контейнеризация (Docker, Kubernetes), мониторинг latency p99 и GPU utilization.

Сроки: от 4 до 8 недель в зависимости от объёма данных и сложности интеграций.

Сравнение моделей эмбеддингов

Результаты: до и после внедрения

Что входит в работу

• Архитектура системы (ML + integration).
• Код pipeline (Python, PyTorch, LangChain).
• Документация по модели и API.
• Обучение команды (2–3 воркшопа).
• Поддержка первых 2 недель после деплоя.
• BiasAuditor и отчёт по fairness.

Экономия бюджета на подбор персонала может достигать 40% за счёт сокращения ручного отбора. Стоимость проекта рассчитывается индивидуально и зависит от объёма данных и требуемой точности. Гарантируем качество: каждая модель проходит тестирование на исторических данных и A/B-эксперимент. Сертифицированные инженеры с опытом внедрения в ритейле и IT. Получите консультацию по вашему проекту — свяжитесь с нами для предварительной оценки. Закажите пилотный проект и убедитесь в эффективности семантического матчинга.

Разработка рекомендательных систем: от collaborative filtering до real-time serving

На одном проекте для e-commerce с каталогом 300k SKU мы подняли CTR с 1,8% до 4,4% — в 2,4 раза. Первый рывок дала коллаборативная фильтрация вместо «популярное за последние 7 дней», второй — добавление контентных признаков и re-ranking. Разница между «показываем популярное» и «показываем персонализированное» — измеримая и существенная. Ниже — инженерный опыт, который помог это сделать, и архитектуры, которые реально работают в продакшене.

Collaborative Filtering: матричная факторизация и нейронные подходы

Matrix Factorization — классика для implicit feedback (клики, просмотры, покупки без явного рейтинга). ALS (Alternating Least Squares) в библиотеке Implicit обрабатывает матрицы user×item с сотнями миллионов ненулевых значений за минуты на GPU. Latent factors 64–256, регуляризация λ=0.01–0.1 — стартовые параметры. Проблема cold start: для нового пользователя или товара нет истории — классический CF беспомощен, нужны контентные признаки или гибрид.

Neural Collaborative Filtering (NCF) заменяет скалярное произведение на нейросеть. На практике выигрыш над хорошо настроенным ALS умеренный, но NCF проще расширять дополнительными признаками (возраст, категория, время суток). Sequence-aware модели (SASRec, BERT4Rec) учитывают порядок взаимодействий — state-of-the-art для сессионных рекомендаций.

Как выбрать архитектуру рекомендательной системы?

Ответ зависит от данных, нагрузки и требований к холодному старту. Ниже — три основных подхода с критериями выбора.

Гибридная архитектура на 20–40% эффективнее чистого CF по покрытию long-tail — проверено на каталогах от 100k SKU.

Content-Based Filtering: когда истории взаимодействий мало

Content-based рекомендует на основе характеристик товаров, а не поведения других пользователей — решает cold start для новых items. Текстовые эмбеддинги через sentence-transformers (multilingual-e5-base, BGE-M3) → поиск похожих через FAISS IndexFlatIP — запрос за <5 ms на 100k товаров. Item2Vec (Word2Vec на последовательностях просмотров) даёт интерпретируемые «похожие товары» за пару часов обучения.

Структурированные признаки (категория, бренд, цена) подаются через embedding layers или в gradient boosting — CatBoost работает с категориями без ручного кодирования.

Почему гибридные модели работают лучше?

Production-системы почти всегда двухуровневые. Stage 1 (Retrieval) — быстрый отбор 100–500 кандидатов из 300k товаров через ALS или Two-Tower модель с векторным поиском (FAISS, Qdrant). Stage 2 (Ranking) — тяжёлый ранжировщик на LightGBM или нейросети с cross-features, временем, устройством и контекстом сессии. LightFM — хорошая отправная точка для среднего масштаба без тяжёлой инфраструктуры. Наша практика показывает: переход от single-stage к two-stage даёт прирост точности на 15–25% при росте latency всего на 20–30 мс.

Real-Time Serving: архитектура под нагрузку

Latency SLA — 50–100 ms при тысячах запросов в секунду. Base-рекомендации precompute (batch job раз в час) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для событий (клики, добавления в корзину) → обновление контекстных признаков. Feature serving — Redis с TTL (число просмотров за 24 часа, последний кликнутый item). При нагрузке 10k req/s ставим Redis Cluster с репликацией.

A/B тестирование — единственный достоверный способ оценить улучшения. Офлайн-метрики коррелируют с онлайн не всегда. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обязательное чтение для команды. Тест с 5–10% трафика, мониторинг CTR, конверсии, revenue per session. Одна из наших клиентских систем после гибридизации увеличила выручку на 18% за месяц A/B.

Сроки разработки рекомендательной системы

Этапы и типичные временные затраты — в таблице ниже. Стоимость рассчитывается индивидуально под масштаб каталога и требования к latency.

Что входит в разработку под ключ

1. Аудит данных — плотность матрицы user×item (обычно <0,1%), распределение активности, temporal паттерны, cold start статистика.
2. Baseline — «популярное» как простой порог, который часто трудно обогнать.
3. Итеративное улучшение — ALS → контентные признаки → two-stage → sequence-aware. Каждый шаг с A/B.
4. Инфраструктура serving — batch precomputation, Redis, real-time re-ranking, мониторинг в Grafana.
5. Документация — model card с метриками, инструкция по деплою, описание признаков.
6. Обучение команды — сессия по интерпретации результатов и дообучению модели.
7. Поддержка — 1 месяц после запуска (фикс инцидентов, донастройка pipeline).

Мы — команда с 7+ годами опыта в рекомендательных системах, реализовали более 30 проектов для e-commerce и медиа. Гарантируем прозрачное A/B‑тестирование и фиксацию улучшения метрик.

Хотите оценить потенциал роста вашего каталога? Свяжитесь с нами для бесплатного аудита данных. Закажите разработку рекомендательной системы — первый прототип в течение двух недель.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Больше о математике рекомендательных систем — в Wikipedia.