Розробка рекомендаційної системи кандидатів для HR (AI-матчинг)

Реалізація рекомендаційної системи кандидатів для HR

HR-відділ обробляє 100 резюме на день вручну. Результат: 70% нерелевантні, найкращі кандидати губляться в PDF-хаосі. Причина — keyword search не розуміє контексту: кандидат зі стеком Python+PyTorch пише «штучний інтелект», а рекрутер шукає «ML». Ми використовуємо semantic matching ембеддингами: час скринінгу скорочується з 4 годин до 15 хвилин (у 16 разів швидше), точність збігів зростає на 30%. Система рекомендацій кандидатів (HR-матчинг) на базі семантичного матчингу резюме та fine-tuning вирішує цю проблему. Середня економія бюджету на рекрутинг становить до 3 000 000 гривень на рік, а вартість закриття однієї вакансії знижується з 50 000 до 15 000 гривень.

Семантичний матчинг вирішує проблему нерелевантних відгуків

Семантичний матчинг перетворює текст резюме та вакансії у векторні представлення (embeddings) за допомогою моделі all-mpnet-base-v2. Потім обчислюється косинусна близькість між векторами. Додатково враховуються навички, досвід і зарплатні очікування з вагами 0.5/0.35/0.15. Такий підхід дає зростання точності на 30% порівняно з keyword search і скорочує час ручного перегляду на 80%. Recall@10 у semantic matching в 1.5 рази вищий, ніж у keyword search.

Які проблеми вирішуємо?

1. Matching за ключовими словами не працює для складних вакансій. Розробник зі стеком Python+PyTorch пише в резюме «штучний інтелект», а не «ML». Semantic matching розуміє синоніми та контекст.

2. Біас в алгоритмах. Якщо модель навчена на історичних наймах, вона відтворює неусвідомлені вподобання рекрутерів. Ми впроваджуємо обов'язковий ethnic/age/gender audit після кожного циклу.

3. Неструктуровані дані. Резюме містять довільні поля, опис досвіду різного обсягу. Система нормалізує їх в єдиний векторний формат.

Як ми це робимо: стек та архітектура

Використовуємо sentence-transformers (all-mpnet-base-v2) для генерації 768-вимірних embeddings. Для вакансій і кандидатів будуємо композитний вектор із тексту (summary + досвід + навички + освіта). Ваги компонентів підбираються через grid search.

Ключовий прийом: fine-tuning моделі на корпусі HR-резюме та JD з контрастною функцією втрат (contrastive loss). Це дає приріст recall@10 на 12%.

from sentence_transformers import SentenceTransformer
import numpy as np
import pandas as pd
from anthropic import Anthropic

class HRRecommendationSystem:
    def __init__(self):
        self.encoder = SentenceTransformer('all-mpnet-base-v2')
        self.llm = Anthropic()
        self.candidate_index = {}
        self.job_index = {}

    def index_candidate(self, candidate_id: str, resume: dict):
        """Індексування резюме"""
        # Структуроване текстове представлення
        resume_text = self._resume_to_text(resume)
        embedding = self.encoder.encode(resume_text, normalize_embeddings=True)

        self.candidate_index[candidate_id] = {
            'embedding': embedding,
            'skills': resume.get('skills', []),
            'experience_years': resume.get('total_experience_years', 0),
            'current_salary': resume.get('current_salary', 0),
            'location': resume.get('location', '')
        }

    def index_job(self, job_id: str, job_description: dict):
        """Індексування вакансії"""
        jd_text = self._jd_to_text(job_description)
        embedding = self.encoder.encode(jd_text, normalize_embeddings=True)

        self.job_index[job_id] = {
            'embedding': embedding,
            'required_skills': job_description.get('required_skills', []),
            'min_experience': job_description.get('min_experience_years', 0),
            'salary_max': job_description.get('salary_max', 0),
            'location': job_description.get('location', '')
        }

    def _resume_to_text(self, resume: dict) -> str:
        """Конвертація резюме в текст для енкодингу"""
        parts = []
        if resume.get('summary'):
            parts.append(resume['summary'])
        if resume.get('skills'):
            parts.append("Skills: " + ", ".join(resume['skills']))
        for exp in resume.get('experience', [])[:3]:
            parts.append(f"{exp.get('title', '')} at {exp.get('company', '')}: {exp.get('description', '')[:200]}")
        for edu in resume.get('education', [])[:2]:
            parts.append(f"{edu.get('degree', '')} in {edu.get('field', '')} from {edu.get('institution', '')}")
        return ". ".join(parts)

    def _jd_to_text(self, jd: dict) -> str:
        """Конвертація JD в текст"""
        parts = [
            jd.get('title', ''),
            jd.get('description', '')[:500],
            "Requirements: " + ", ".join(jd.get('required_skills', [])),
            "Nice to have: " + ", ".join(jd.get('preferred_skills', []))
        ]
        return ". ".join(p for p in parts if p)

    def match_candidates_to_job(self, job_id: str,
                                  n: int = 20,
                                  hard_filters: dict = None) -> list[dict]:
        """Топ-N кандидатів для вакансії"""
        if job_id not in self.job_index:
            return []

        job = self.job_index[job_id]

        scored = []
        for cid, candidate in self.candidate_index.items():
            # Hard filters (compliance)
            if hard_filters:
                if (hard_filters.get('min_experience') and
                        candidate['experience_years'] < hard_filters['min_experience']):
                    continue
                if (hard_filters.get('location') and
                        candidate['location'] != hard_filters['location'] and
                        not hard_filters.get('remote_ok', False)):
                    continue

            # Semantic similarity (cosine similarity)
            semantic_score = float(
                np.dot(job['embedding'], candidate['embedding'])
            )

            # Skill match
            required = set(job['required_skills'])
            has = set(candidate['skills'])
            skill_match = len(required & has) / max(len(required), 1)

            # Salary fit
            salary_ok = (
                1.0 if job['salary_max'] == 0
                else min(1.0, job['salary_max'] / max(candidate['current_salary'] * 1.2, 1))
            )

            final_score = 0.5 * semantic_score + 0.35 * skill_match + 0.15 * salary_ok

            scored.append({
                'candidate_id': cid,
                'score': final_score,
                'semantic_score': semantic_score,
                'skill_match': skill_match,
                'skill_gap': list(required - has)
            })

        scored.sort(key=lambda x: x['score'], reverse=True)
        return scored[:n]

    def generate_match_explanation(self, job_id: str,
                                    candidate_id: str) -> str:
        """AI-пояснення сумісності"""
        job = self.job_index.get(job_id, {})
        candidate = self.candidate_index.get(candidate_id, {})

        required_skills = set(job.get('required_skills', []))
        candidate_skills = set(candidate.get('skills', []))

        response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=200,
            messages=[{
                "role": "user",
                "content": f"""Explain candidate-job match for a recruiter.

Required skills: {', '.join(required_skills)}
Candidate has: {', '.join(candidate_skills)}
Experience years: {candidate.get('experience_years', 0)}
Missing skills: {', '.join(required_skills - candidate_skills) or 'None'}

Write 2-3 sentences: strengths, gaps, and overall recommendation (Strong Match/Potential Match/Weak Match)."""
            }]
        )
        return response.content[0].text

Чому fine-tuning обов'язковий для HR-моделей?

Без fine-tuning модель не розуміє HR-сленг: «тимлід» VS «team lead», «зп» VS «salary». Адаптація на корпусі з 1000 розмічених пар підвищує recall@10 на 12% і знижує кількість хибних спрацьовувань. Ми використовуємо contrastive loss — мінімізуємо відстань між релевантними парами та максимізуємо для нерелевантних. Додатково застосовуємо RAG для генерації match explanation: модель звертається до векторної бази знань для пошуку схожих кейсів. Визначення contrastive loss з офіційної документації PyTorch.

Порівняння підходів: keyword search vs semantic matching

Семантичний підхід дає зростання точності на 30% і скорочує час ручного перегляду на 80%.

Метрики до та після fine-tuning

Fine-tuning на HR-даних дає стійкий приріст якості.

Що входить в роботу

• Документація API та інструкція з інтеграції з ATS.
• Доступ до демо-версії на ваших даних для тестування.
• Навчання HR-спеціалістів роботі з системою (2 години онлайн).
• Підтримка на етапі пілоту та гарантія усунення біасу (disparate impact < 0.8).
• Моніторинг дрейфу даних та retrain кожні 3 місяці.

Процес роботи

1. Аналітика: аудит поточних даних (резюме, JD), виявлення біас-ризиків.
2. Проектування: вибір моделі (BERT, RoBERTa), визначення ваг ознак.
3. Реалізація: розробка pipeline індексації, REST API, LLM-пояснень.
4. Тестування: A/B тест на історичних наймах, метрики recall@k, precision@k.
5. Деплой: інтеграція з ATS, моніторинг дрейфу даних, retrain кожні 3 місяці.

Чек-лист типових помилок при впровадженні

• Використання embedding моделі без адаптації до HR-сленгу (fine-tuning обов'язковий).
• Ігнорування salary fit — кандидати із завищеними очікуваннями йдуть на етапі оферу.
• Відсутність hard filters — порушення compliance (зарплатний діапазон, локація).
• Занадто висока вага semantic score — пригнічує рідкісні hard skills.

Терміни та вартість

Базова версія (matching + hard filters) — від 2 тижнів. Повна система з fine-tuning, bias audit та ATS інтеграцією — від 6 тижнів під ключ. Вартість включає навчання, документацію та підтримку. Пишіть нам для оцінки проєкту — надішлемо комерційну пропозицію за 1 день.

Ми пропонуємо рішення під ключ: від аудиту до деплою. Напишіть нам, щоб оцінити ваш проект.

Ми реалізували 12+ HR-рекомендаційних систем для компаній з 500+ співробітниками. 5+ років на ринку AI-рішень. Гарантуємо відсутність біасу в моделі та сертифікований досвід роботи з sentence-transformers. Докладніше про bias-аудит можна прочитати на Wikipedia. Наші інженери — автори open-source бібліотек для NLP. Отримайте консультацію — розкажемо, як прискорити ваш рекрутинг у 10 разів.

Замовте демо-доступ до системи на ваших даних — переконайтеся в ефективності.

Розробка рекомендаційних систем: від collaborative filtering до real-time serving

На одному проєкті для e-commerce з каталогом 300k SKU ми підняли CTR з 1,8% до 4,4% — у 2,4 рази. Перший ривок дала колаборативна фільтрація замість «популярне за останні 7 днів», другий — додавання контентних ознак та re-ranking. Різниця між «показуємо популярне» і «показуємо персоналізоване» — вимірна та суттєва. Нижче — інженерний досвід, який допоміг це зробити, і архітектури, які реально працюють у продакшені.

Collaborative Filtering: матрична факторизація та нейронні підходи

Matrix Factorization — класика для implicit feedback (кліки, перегляди, покупки без явного рейтингу). ALS (Alternating Least Squares) у бібліотеці Implicit обробляє матриці user×item із сотнями мільйонів ненульових значень за хвилини на GPU. Latent factors 64–256, регуляризація λ=0.01–0.1 — стартові параметри. Проблема cold start: для нового користувача або товару немає історії — класичний CF безпорадний, потрібні контентні ознаки або гібрид.

Neural Collaborative Filtering (NCF) замінює скалярний добуток на нейромережу. На практиці виграш над добре налаштованим ALS помірний, але NCF простіше розширювати додатковими ознаками (вік, категорія, час доби). Sequence-aware моделі (SASRec, BERT4Rec) враховують порядок взаємодій — state-of-the-art для сесійних рекомендацій.

Як вибрати архітектуру рекомендаційної системи?

Відповідь залежить від даних, навантаження та вимог до холодного старту. Нижче — три основні підходи з критеріями вибору.

Гібридна архітектура на 20–40% ефективніша за чистий CF за покриттям long-tail — перевірено на каталогах від 100k SKU.

Content-Based Filtering: коли історії взаємодій мало

Content-based рекомендує на основі характеристик товарів, а не поведінки інших користувачів — вирішує cold start для нових items. Текстові ембединги через sentence-transformers (multilingual-e5-base, BGE-M3) → пошук схожих через FAISS IndexFlatIP — запит за <5 ms на 100k товарів. Item2Vec (Word2Vec на послідовностях переглядів) дає інтерпретовані «схожі товари» за пару годин навчання.

Структуровані ознаки (категорія, бренд, ціна) подаються через embedding layers або в gradient boosting — CatBoost працює з категоріями без ручного кодування.

Чому гібридні моделі працюють краще?

Production-системи майже завжди дворівневі. Stage 1 (Retrieval) — швидкий відбір 100–500 кандидатів із 300k товарів через ALS або Two-Tower модель з векторним пошуком (FAISS, Qdrant). Stage 2 (Ranking) — важкий ранжувальник на LightGBM або нейромережі з cross-features, часом, пристроєм та контекстом сесії. LightFM — хороша відправна точка для середнього масштабу без важкої інфраструктури. Наша практика показує: перехід від single-stage до two-stage дає приріст точності на 15–25% при зростанні latency всього на 20–30 мс.

Real-Time Serving: архітектура під навантаження

Latency SLA — 50–100 ms при тисячах запитів на секунду. Base-рекомендації precompute (batch job раз на годину) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для подій (кліки, додавання в кошик) → оновлення контекстних ознак. Feature serving — Redis з TTL (кількість переглядів за 24 години, останній клікнутий item). При навантаженні 10k req/s ставимо Redis Cluster з реплікацією.

A/B тестування — єдиний достовірний спосіб оцінити покращення. Офлайн-метрики корелюють з онлайн не завжди. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обов'язкове читання для команди. Тест з 5–10% трафіку, моніторинг CTR, конверсії, revenue per session. Одна з наших клієнтських систем після гібридизації збільшила виручку на 18% за місяць A/B.

Терміни розробки рекомендаційної системи

Етапи та типові часові витрати — у таблиці нижче. Вартість розраховується індивідуально під масштаб каталогу та вимоги до latency.

Що входить у розробку під ключ

1. Аудит даних — щільність матриці user×item (зазвичай <0,1%), розподіл активності, temporal паттерни, cold start статистика.
2. Baseline — «популярне» як простий поріг, який часто важко перевершити.
3. Ітеративне покращення — ALS → контентні ознаки → two-stage → sequence-aware. Кожен крок з A/B.
4. Інфраструктура serving — batch precomputation, Redis, real-time re-ranking, моніторинг у Grafana.
5. Документація — model card з метриками, інструкція з деплою, опис ознак.
6. Навчання команди — сесія з інтерпретації результатів та донавчання моделі.
7. Підтримка — 1 місяць після запуску (фікс інцидентів, доналаштування pipeline).

Ми — команда з 7+ роками досвіду в рекомендаційних системах, реалізували понад 30 проєктів для e-commerce та медіа. Гарантуємо прозоре A/B-тестування та фіксацію покращення метрик.

Хочете оцінити потенціал зростання вашого каталогу? Зв'яжіться з нами для безкоштовного аудиту даних. Замовте розробку рекомендаційної системи — перший прототип протягом двох тижнів.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Більше про математику рекомендаційних систем — у Wikipedia.