Розробка AI-системи корпоративного навчання та upskilling

Зазначимо: коли в компанії 500+ співробітників і ролі змінюються кожні півроку, оцінювати компетенції вручну — втрата часу. Ми впроваджуємо гібридну AI-архітектуру: LLM (Claude 3.5 Sonnet) для оцінки навичок із резюме та коду, векторні бази (Pinecone) для пошуку релевантного контенту та кастомні pipeline на PyTorch для fine-tuning моделей під галузь. Система аналізує поточні компетенції, будує матрицю прогалин і генерує індивідуальні плани розвитку — у 2-3 рази швидше, ніж HR-відділ. Рішення пройшло перевірку в 15+ компаніях: середній time-to-productivity скорочується на 40%, retention зростає на 12–18%. Наш досвід у upskilling-системах — 5 років, понад 20 проєктів для ритейлу, фінтеху та IT.

Причини впровадження AI в корпоративне навчання

Універсальні тренінги дають лише 20% приросту релевантних навичок — решту часу витрачається на неактуальні теми. AI-система пов'язує поточну компетенцію, вимоги цільової ролі та доступний контент, вибудовуючи персональний трек розвитку. Результат: time-to-productivity знижується з 6 до 3 місяців для middle-спеціалістів, а ROI навчання перевищує 200% за перший рік.

Матриця компетенцій та аналіз прогалин

import pandas as pd
import numpy as np
from anthropic import Anthropic
import json

class CompetencyFramework:
    """Модель компетенцій для ролей"""

    def __init__(self):
        # Шкала: 0=немає, 1=початковий, 2=базовий, 3=просунутий, 4=експертний
        self.role_requirements = {
            'senior_data_scientist': {
                'python': 3, 'sql': 3, 'machine_learning': 4,
                'statistics': 4, 'spark': 2, 'mlops': 3,
                'communication': 3, 'project_management': 2
            },
            'ml_engineer': {
                'python': 4, 'docker': 3, 'kubernetes': 2,
                'machine_learning': 3, 'ci_cd': 3, 'cloud_platforms': 3,
                'software_engineering': 4, 'mlops': 4
            },
            'data_analyst': {
                'sql': 4, 'python': 2, 'excel': 3,
                'tableau': 3, 'statistics': 2, 'communication': 4,
                'business_analysis': 3
            }
        }

    def get_skill_gaps(self, employee_skills: dict,
                        target_role: str) -> dict:
        """Прогалини між поточними навичками та вимогами ролі"""
        requirements = self.role_requirements.get(target_role, {})
        gaps = {}

        for skill, required_level in requirements.items():
            current = employee_skills.get(skill, 0)
            gap = required_level - current
            if gap > 0:
                gaps[skill] = {
                    'current': current,
                    'required': required_level,
                    'gap': gap,
                    'priority': 'high' if gap >= 2 else 'medium' if gap == 1 else 'low'
                }

        return dict(sorted(gaps.items(), key=lambda x: -x[1]['gap']))


class SkillAssessmentEngine:
    """Автоматична оцінка навичок"""

    def __init__(self):
        self.llm = Anthropic()

    def assess_skill_from_resume(self, resume_text: str,
                                   target_skills: list[str]) -> dict:
        """Оцінка рівня навичок із резюме"""
        response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=400,
            messages=[{
                "role": "user",
                "content": f"""Assess skill levels from this resume. Scale: 0=none, 1=beginner, 2=basic, 3=advanced, 4=expert.

Skills to assess: {target_skills}

Resume:
{resume_text[:1000]}

Return JSON: {{"skill_name": level, ...}}
Be conservative — only give level 3-4 if explicitly demonstrated."""
            }]
        )

        try:
            return json.loads(response.content[0].text)
        except Exception:
            return {skill: 0 for skill in target_skills}

    def assess_from_work_products(self, work_samples: list[dict]) -> dict:
        """Оцінка за продуктами роботи (код, презентації, звіти)"""
        # Кожен work_sample: {'type': 'code', 'content': '...', 'skills': ['python', 'ml']}
        skill_scores = {}

        for sample in work_samples:
            response = self.llm.messages.create(
                model="claude-3-5-sonnet-20241022",
                max_tokens=200,
                messages=[{
                    "role": "user",
                    "content": f"""Evaluate skill levels demonstrated in this work sample.
Type: {sample['type']}
Skills to evaluate: {sample['skills']}

Content:
{str(sample['content'])[:500]}

Return JSON: {{"skill": level_0_to_4}}"""
                }]
            )

            try:
                scores = json.loads(response.content[0].text)
                for skill, score in scores.items():
                    if skill not in skill_scores:
                        skill_scores[skill] = []
                    skill_scores[skill].append(score)
            except Exception:
                pass

        # Усереднюємо оцінки з різних джерел
        return {skill: round(np.mean(scores)) for skill, scores in skill_scores.items()}


class LearningPlanGenerator:
    """Генерація персональних планів навчання"""

    def __init__(self, content_catalog: pd.DataFrame):
        """content_catalog: id, title, skills, duration_hours, level, type, provider"""
        self.catalog = content_catalog
        self.llm = Anthropic()

    def create_individual_development_plan(self, employee: dict,
                                            skill_gaps: dict,
                                            time_budget_hours_per_week: float = 3,
                                            target_weeks: int = 12) -> dict:
        """Індивідуальний план розвитку (ІПР)"""
        total_available_hours = time_budget_hours_per_week * target_weeks

        # Пріоритизація прогалин
        high_priority = {k: v for k, v in skill_gaps.items() if v['priority'] == 'high'}
        medium_priority = {k: v for k, v in skill_gaps.items() if v['priority'] == 'medium'}

        # Підбір контенту для кожної прогалини
        plan_items = []
        hours_used = 0

        for skill, gap_info in {**high_priority, **medium_priority}.items():
            if hours_used >= total_available_hours * 0.9:
                break

            # Шукаємо відповідний контент
            skill_content = self.catalog[
                self.catalog['skills'].apply(lambda s: skill in s if isinstance(s, list) else False)
            ]

            # Рівень контенту = поточний + 1
            target_level = gap_info['current'] + 1
            filtered = skill_content[
                skill_content['level'].between(target_level - 0.5, target_level + 0.5)
            ]

            if filtered.empty:
                filtered = skill_content

            if filtered.empty:
                continue

            best_content = filtered.nsmallest(3, 'duration_hours').iloc[0]
            plan_items.append({
                'skill': skill,
                'gap_size': gap_info['gap'],
                'content_id': best_content['id'],
                'content_title': best_content['title'],
                'duration_hours': best_content['duration_hours'],
                'type': best_content.get('type', 'course'),
                'week_target': int(hours_used / time_budget_hours_per_week) + 1
            })
            hours_used += best_content['duration_hours']

        # LLM-пояснення плану
        plan_summary = self._generate_plan_narrative(employee, plan_items, target_weeks)

        return {
            'employee_id': employee['id'],
            'target_role': employee.get('target_role', ''),
            'plan_items': plan_items,
            'total_hours': round(hours_used, 1),
            'estimated_completion_weeks': target_weeks,
            'skills_covered': [item['skill'] for item in plan_items],
            'summary': plan_summary
        }

    def _generate_plan_narrative(self, employee: dict,
                                   plan_items: list,
                                   weeks: int) -> str:
        response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=200,
            messages=[{
                "role": "user",
                "content": f"""Write a motivating 2-3 sentence summary of this learning plan in Ukrainian.
Employee: {employee.get('name', 'Співробітник')}, target role: {employee.get('target_role', '')}
Plan covers: {[item['skill'] for item in plan_items[:5]]}
Duration: {weeks} weeks
Be specific and encouraging."""
            }]
        )
        return response.content[0].text


class TeamSkillsAnalytics:
    """Аналітика навичок команди"""

    def get_team_skill_heatmap(self, team_skills: pd.DataFrame) -> pd.DataFrame:
        """Теплова карта навичок команди"""
        # Середній рівень за навичками
        skill_cols = [c for c in team_skills.columns if c != 'employee_id']
        return team_skills[skill_cols].mean().round(1).sort_values(ascending=False)

    def identify_single_points_of_failure(self, team_skills: pd.DataFrame,
                                           critical_skills: list[str],
                                           min_level: int = 3) -> list[dict]:
        """Критичні навички з єдиним носієм"""
        spof = []
        for skill in critical_skills:
            if skill not in team_skills.columns:
                continue
            qualified = (team_skills[skill] >= min_level).sum()
            if qualified <= 1:
                experts = team_skills[team_skills[skill] >= min_level]['employee_id'].tolist()
                spof.append({
                    'skill': skill,
                    'qualified_count': qualified,
                    'experts': experts,
                    'risk': 'critical' if qualified == 0 else 'high'
                })
        return spof

Як ми будуємо персоналізований план розвитку?

На основі матриці компетенцій система оцінює навички співробітника з резюме, коду та проєктів, а потім підбирає контент під прогалину. Для пошуку використовуємо Skill Assessment Engine з RAG: embedding‑моделі (OpenAI text‑embedding‑3‑small) перетворюють описи навичок у 1536‑вимірні вектори, а векторна база ChromaDB знаходить найбільш релевантні курси. Для специфічних галузей донавчаємо LLM на корпоративних даних через LoRA з INT8‑квантизацією. Алгоритм враховує доступний час співробітника (зазвичай 3–4 години на тиждень) та пріоритетність навичок. У підсумку — програма на 12 тижнів із чіткими віхами.

Як виміряти ефективність навчання?

Використовуємо метрики: швидкість закриття прогалин, приріст рівня компетенцій, скорочення time-to-productivity. Нижче — типові результати після впровадження:

Оцінка точності базується на калібруванні за 15 проєктами, порівняння з експертною оцінкою. Детальніше про методологію — в Upskilling.

Процес роботи

1. Аудит (1-2 тижні): збираємо дані про ролі, поточні навички, контент. Визначаємо цільову структуру компетенцій.
2. Проєктування (2-3 тижні): налаштовуємо матрицю, інтегруємо джерела даних, калібруємо LLM-моделі оцінки.
3. Реалізація (4-6 тижнів): розробляємо фронтенд дашбордів, API для інтеграції з LMS, pipeline генерації планів.
4. Тестування (1-2 тижні): пілотуємо на групі 10-20 співробітників, порівнюємо з експертною оцінкою.
5. Деплой та підтримка (1 тиждень): розгортання на вашій інфраструктурі (On-prem / Cloud), навчання адміністраторів, гарантія 6 місяців.

Результат впровадження

• Документація API для інтеграції з корпоративними системами.
• Дашборди аналітики: теплова карта компетенцій, точки відмови, динаміка прогресу.
• Модуль генерації ІПР з можливістю ручного коригування.
• Інтеграція з LMS (Moodle, SAP, Eduson та ін.) — готові конектори.
• Навчання адміністраторів (2 сесії по 4 години).
• Гарантія точності оцінки (калібрування за вашими даними).

Строки та вартість

Строки варіюються від 4 до 12 тижнів залежно від обсягу ролей та джерел даних. Вартість розраховується індивідуально після аудиту — зв'яжіться з нами для попередньої оцінки. Ми пропонуємо фіксовану ціну етапів без прихованих платежів. Отримайте демо-доступ до працюючої системи на реальних даних вашої компанії. Замовте консультацію інженера — оцінимо ваші дані за 2 дні.

Розробка рекомендаційних систем: від collaborative filtering до real-time serving

На одному проєкті для e-commerce з каталогом 300k SKU ми підняли CTR з 1,8% до 4,4% — у 2,4 рази. Перший ривок дала колаборативна фільтрація замість «популярне за останні 7 днів», другий — додавання контентних ознак та re-ranking. Різниця між «показуємо популярне» і «показуємо персоналізоване» — вимірна та суттєва. Нижче — інженерний досвід, який допоміг це зробити, і архітектури, які реально працюють у продакшені.

Collaborative Filtering: матрична факторизація та нейронні підходи

Matrix Factorization — класика для implicit feedback (кліки, перегляди, покупки без явного рейтингу). ALS (Alternating Least Squares) у бібліотеці Implicit обробляє матриці user×item із сотнями мільйонів ненульових значень за хвилини на GPU. Latent factors 64–256, регуляризація λ=0.01–0.1 — стартові параметри. Проблема cold start: для нового користувача або товару немає історії — класичний CF безпорадний, потрібні контентні ознаки або гібрид.

Neural Collaborative Filtering (NCF) замінює скалярний добуток на нейромережу. На практиці виграш над добре налаштованим ALS помірний, але NCF простіше розширювати додатковими ознаками (вік, категорія, час доби). Sequence-aware моделі (SASRec, BERT4Rec) враховують порядок взаємодій — state-of-the-art для сесійних рекомендацій.

Як вибрати архітектуру рекомендаційної системи?

Відповідь залежить від даних, навантаження та вимог до холодного старту. Нижче — три основні підходи з критеріями вибору.

Гібридна архітектура на 20–40% ефективніша за чистий CF за покриттям long-tail — перевірено на каталогах від 100k SKU.

Content-Based Filtering: коли історії взаємодій мало

Content-based рекомендує на основі характеристик товарів, а не поведінки інших користувачів — вирішує cold start для нових items. Текстові ембединги через sentence-transformers (multilingual-e5-base, BGE-M3) → пошук схожих через FAISS IndexFlatIP — запит за <5 ms на 100k товарів. Item2Vec (Word2Vec на послідовностях переглядів) дає інтерпретовані «схожі товари» за пару годин навчання.

Структуровані ознаки (категорія, бренд, ціна) подаються через embedding layers або в gradient boosting — CatBoost працює з категоріями без ручного кодування.

Чому гібридні моделі працюють краще?

Production-системи майже завжди дворівневі. Stage 1 (Retrieval) — швидкий відбір 100–500 кандидатів із 300k товарів через ALS або Two-Tower модель з векторним пошуком (FAISS, Qdrant). Stage 2 (Ranking) — важкий ранжувальник на LightGBM або нейромережі з cross-features, часом, пристроєм та контекстом сесії. LightFM — хороша відправна точка для середнього масштабу без важкої інфраструктури. Наша практика показує: перехід від single-stage до two-stage дає приріст точності на 15–25% при зростанні latency всього на 20–30 мс.

Real-Time Serving: архітектура під навантаження

Latency SLA — 50–100 ms при тисячах запитів на секунду. Base-рекомендації precompute (batch job раз на годину) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для подій (кліки, додавання в кошик) → оновлення контекстних ознак. Feature serving — Redis з TTL (кількість переглядів за 24 години, останній клікнутий item). При навантаженні 10k req/s ставимо Redis Cluster з реплікацією.

A/B тестування — єдиний достовірний спосіб оцінити покращення. Офлайн-метрики корелюють з онлайн не завжди. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обов'язкове читання для команди. Тест з 5–10% трафіку, моніторинг CTR, конверсії, revenue per session. Одна з наших клієнтських систем після гібридизації збільшила виручку на 18% за місяць A/B.

Терміни розробки рекомендаційної системи

Етапи та типові часові витрати — у таблиці нижче. Вартість розраховується індивідуально під масштаб каталогу та вимоги до latency.

Що входить у розробку під ключ

1. Аудит даних — щільність матриці user×item (зазвичай <0,1%), розподіл активності, temporal паттерни, cold start статистика.
2. Baseline — «популярне» як простий поріг, який часто важко перевершити.
3. Ітеративне покращення — ALS → контентні ознаки → two-stage → sequence-aware. Кожен крок з A/B.
4. Інфраструктура serving — batch precomputation, Redis, real-time re-ranking, моніторинг у Grafana.
5. Документація — model card з метриками, інструкція з деплою, опис ознак.
6. Навчання команди — сесія з інтерпретації результатів та донавчання моделі.
7. Підтримка — 1 місяць після запуску (фікс інцидентів, доналаштування pipeline).

Ми — команда з 7+ роками досвіду в рекомендаційних системах, реалізували понад 30 проєктів для e-commerce та медіа. Гарантуємо прозоре A/B-тестування та фіксацію покращення метрик.

Хочете оцінити потенціал зростання вашого каталогу? Зв'яжіться з нами для безкоштовного аудиту даних. Замовте розробку рекомендаційної системи — перший прототип протягом двох тижнів.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Більше про математику рекомендаційних систем — у Wikipedia.