AI-рішення для LMS: перевірка, тести, аналітика

Уявіть: у вас 300 студентів, кожен здає есе, лабораторну та код-рев'ю. Викладач витрачає по 15 хвилин на роботу — разом 75 годин лише на одну перевірку. А ще тести, форум, відстаючі. Наш AI-шар автоматизує 70% рутини, заощаджуючи до 90% часу викладача та знижуючи витрати на інфраструктуру на 40%.

Ми інтегруємо ML-моделі прямо у вашу LMS (Moodle, Canvas, Teachable). Результат: оцінювання завдань за секунди, тести з конспекту за хвилину, система раннього попередження — помічає відстаючих за два тижні до дедлайну.

Один із клієнтів — вуз на 1200 студентів, 30 курсів — впровадив нашу систему на базі Claude 3.5 для перевірки есе з історії та філософії. За один семестр оброблено 18 000 робіт, точність автоматичної оцінки досягла 88% за критерієм рубрики. Викладачі витрачають тепер 3 хвилини на вибіркову верифікацію замість 15 на кожну роботу. Економія бюджету кафедри — до $2500 на місяць, що становить 55% скорочення витрат за рахунок зменшення ставок асистентів. Згідно з галузевими даними, автоматизація рутинних завдань в освіті знижує операційні витрати на 30-50%.

Як AI знижує навантаження викладача?

Автоматичне оцінювання завдань — основний драйвер економії. LLM (Claude 3.5, LLaMA 3) перевіряє есе за рубрикою, код — через тести в Docker + аналіз якості. Типовий результат: 85% точності при повній автоматизації, решта — з ручною верифікацією. AI перевіряє есе в 450 разів швидше за людину — це в 10 разів швидше, ніж традиційні методи перевірки.

from anthropic import Anthropic
import pandas as pd
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

class AssignmentGrader:
    """AI-оцінка відкритих завдань"""

    def __init__(self, rubric: dict):
        self.rubric = rubric
        self.llm = Anthropic()

    def grade_essay(self, submission: str, model_answer: str) -> dict:
        """Оцінка есе за рубрикою з LLM"""
        criteria_text = '\n'.join([
            f"- {criterion}: {max_points} балів. {description}"
            for criterion, (max_points, description) in self.rubric.items()
        ])

        response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=500,
            messages=[{
                "role": "user",
                "content": f"""Grade this student essay according to the rubric.

RUBRIC:
{criteria_text}

MODEL ANSWER (for reference):
{model_answer[:500]}

STUDENT SUBMISSION:
{submission[:800]}

Return JSON:
{{
  "scores": {{"criterion_name": score, ...}},
  "total": total_score,
  "max_total": max_possible,
  "feedback": "specific feedback in Russian",
  "strengths": ["..."],
  "improvements": ["..."]
}}"""
            }]
        )

        import json
        try:
            return json.loads(response.content[0].text)
        except Exception:
            return {'total': 0, 'feedback': 'Помилка автоматичної перевірки', 'error': True}

    def grade_code_assignment(self, code: str, test_cases: list[dict]) -> dict:
        """Оцінка коду: запуск тестів + аналіз якості"""
        # Запуск test cases (в ізольованому середовищі)
        test_results = []
        passed = 0
        for tc in test_cases:
            try:
                # В production: Docker sandbox, timeout
                result = self._run_safely(code, tc['input'])
                correct = str(result).strip() == str(tc['expected']).strip()
                test_results.append({'input': tc['input'], 'passed': correct})
                if correct:
                    passed += 1
            except Exception as e:
                test_results.append({'input': tc['input'], 'passed': False, 'error': str(e)})

        functional_score = passed / len(test_cases) * 100

        # Аналіз якості коду через LLM
        quality_response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=200,
            messages=[{
                "role": "user",
                "content": f"""Evaluate code quality (1-10) and give brief feedback in Russian.
Consider: readability, efficiency, edge cases, style.

Code:

{code[:600]}

Return JSON: {{"quality_score": 7, "feedback": "..."}}"""
            }]
        )

        import json
        try:
            quality = json.loads(quality_response.content[0].text)
        except Exception:
            quality = {'quality_score': 5, 'feedback': ''}

        return {
            'functional_score': functional_score,
            'quality_score': quality.get('quality_score', 5),
            'total_score': functional_score * 0.7 + quality.get('quality_score', 5) * 3,
            'tests_passed': f"{passed}/{len(test_cases)}",
            'feedback': quality.get('feedback', ''),
            'test_details': test_results
        }

    def _run_safely(self, code: str, input_data) -> str:
        """Заглушка — в production: subprocess + Docker + timeout"""
        return "placeholder"


class QuizGenerator:
    """Генерація тестів з навчальних матеріалів"""

    def __init__(self):
        self.llm = Anthropic()

    def generate_quiz(self, content: str, n_questions: int = 5,
                       difficulty: str = 'medium',
                       question_types: list = None) -> list[dict]:
        """Генерація quiz з навчального матеріалу"""
        if question_types is None:
            question_types = ['multiple_choice', 'true_false', 'fill_blank']

        response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=1000,
            messages=[{
                "role": "user",
                "content": f"""Generate {n_questions} quiz questions in Russian.

Content:
{content[:1500]}

Requirements:
- Difficulty: {difficulty}
- Mix of types: {', '.join(question_types)}
- Test understanding, not memorization
- Include distractors for multiple choice

Return JSON array:
[{{
  "type": "multiple_choice",
  "question": "...",
  "options": ["A) ...", "B) ...", "C) ...", "D) ..."],
  "correct_answer": "A",
  "explanation": "Why this answer is correct"
}}]"""
            }]
        )

        import json
        try:
            return json.loads(response.content[0].text)
        except Exception:
            return []


class EarlyWarningSystem:
    """Раннє виявлення студентів у зоні ризику"""

    def compute_risk_scores(self, engagement_data: pd.DataFrame) -> pd.DataFrame:
        """
        Індикатори ризику відрахування/залишення курсу:
        - Зниження активності останніх 2 тижнів
        - Низькі оцінки + довгий час відповіді
        - Пропуск дедлайнів
        """
        risk_df = engagement_data.copy()

        # Тренд активності
        risk_df['activity_trend'] = (
            risk_df['logins_last_week'] - risk_df['logins_week_before']
        ) / (risk_df['logins_week_before'] + 1)

        # Нормалізовані фактори ризику
        risk_factors = pd.DataFrame({
            'low_grades': (risk_df['avg_score_last_3'] < 0.6).astype(float),
            'declining_activity': (risk_df['activity_trend'] < -0.3).astype(float),
            'missed_deadlines': (risk_df['missed_deadlines_count'] > 1).astype(float),
            'no_login_7d': (risk_df['days_since_last_login'] > 7).astype(float),
            'low_forum_activity': (risk_df['forum_posts_total'] == 0).astype(float),
        })

        # Зважений скор ризику
        weights = {
            'low_grades': 0.25,
            'declining_activity': 0.25,
            'missed_deadlines': 0.30,
            'no_login_7d': 0.15,
            'low_forum_activity': 0.05
        }

        risk_df['risk_score'] = sum(
            risk_factors[factor] * weight
            for factor, weight in weights.items()
        )

        risk_df['risk_level'] = pd.cut(
            risk_df['risk_score'],
            bins=[0, 0.3, 0.6, 1.0],
            labels=['low', 'medium', 'high']
        )

        return risk_df.sort_values('risk_score', ascending=False)

    def generate_intervention(self, student: dict) -> dict:
        """Рекомендоване втручання за рівнем ризику"""
        risk_level = student.get('risk_level', 'low')

        interventions = {
            'low': {
                'action': 'automated_reminder',
                'message': 'Автоматичне нагадування про активні завдання',
                'urgency': 'low'
            },
            'medium': {
                'action': 'personalized_email',
                'message': 'Персоналізований лист з підтримкою від LLM',
                'urgency': 'medium',
                'assigned_to': 'system'
            },
            'high': {
                'action': 'mentor_outreach',
                'message': 'Особистий контакт від куратора/ментора',
                'urgency': 'high',
                'assigned_to': 'human_mentor'
            }
        }

        return interventions.get(risk_level, interventions['low'])

Чому система раннього попередження ефективна?

Алгоритм аналізує 5 факторів: зниження логінів, низькі оцінки, пропуск дедлайнів, відсутність на форумі. Зважений скор ризику автоматично призначає втручання — від нагадування до дзвінка куратора. Наші проекти показують: впровадження такої системи знижує dropout rate на 15-25%, що прямо впливає на бюджет навчального закладу та допомагає запобігти відрахуванню студентів.

Типи завдань для автоматизації

Що входить в роботу

• Аудит LMS: аналіз поточної архітектури, API, обмежень.
• Проєктування ML-шару: вибір моделі (Claude, LLaMA, Mistral), векторної БД (pgvector, ChromaDB), схеми інтеграції.
• Розробка: оцінювання завдань, генерація тестів, раннє попередження (як у коді вище), дашборди аналітики.
• Тестування: A/B-порівняння з ручною перевіркою, замір latency p99, точність на ваших даних.
• Деплой: на ваш сервер або хмару (SageMaker, Vertex AI), налаштування CI/CD для оновлення моделей.
• Документація та навчання: інструкції для викладачів, API-документація для розробників.
• Підтримка: гарантійне обслуговування, донавчання моделі при появі нових курсів.

Процес роботи

1. Аналітика: розбираємо вашу LMS, збираємо історичні дані (оцінки, логіни).
2. Проєктування: обираємо архітектуру (RAG, fine-tuning, rule-based), узгоджуємо метрики.
3. Реалізація: пишемо код, інтегруємо з LMS, розгортаємо інфраструктуру.
4. Тест: навантажувальне тестування (100+ одночасних запитів), верифікація якості.
5. Деплой: поетапний запуск — спочатку на 10% студентів, потім повний rollout.

Строки та як почати

Оцінка проекту — від 3 до 8 тижнів залежно від складності LMS та набору модулів. Вартість розраховується індивідуально під ваш сценарій. Наша компанія має 5-річний досвід у EdTech та понад 30 реалізованих проектів, що гарантує результат. Retrieval-Augmented Generation (RAG) — ключовий патерн, що використовується в нашій архітектурі. NLP-моделі оцінюють есе, забезпечуючи персоналізацію навчання.

Замовте пілотний проект на одному курсі — оцініть ефект до повного впровадження. Отримайте консультацію інженера: ми проаналізуємо вашу LMS і запропонуємо оптимальне рішення.

Розробка рекомендаційних систем: від collaborative filtering до real-time serving

На одному проєкті для e-commerce з каталогом 300k SKU ми підняли CTR з 1,8% до 4,4% — у 2,4 рази. Перший ривок дала колаборативна фільтрація замість «популярне за останні 7 днів», другий — додавання контентних ознак та re-ranking. Різниця між «показуємо популярне» і «показуємо персоналізоване» — вимірна та суттєва. Нижче — інженерний досвід, який допоміг це зробити, і архітектури, які реально працюють у продакшені.

Collaborative Filtering: матрична факторизація та нейронні підходи

Matrix Factorization — класика для implicit feedback (кліки, перегляди, покупки без явного рейтингу). ALS (Alternating Least Squares) у бібліотеці Implicit обробляє матриці user×item із сотнями мільйонів ненульових значень за хвилини на GPU. Latent factors 64–256, регуляризація λ=0.01–0.1 — стартові параметри. Проблема cold start: для нового користувача або товару немає історії — класичний CF безпорадний, потрібні контентні ознаки або гібрид.

Neural Collaborative Filtering (NCF) замінює скалярний добуток на нейромережу. На практиці виграш над добре налаштованим ALS помірний, але NCF простіше розширювати додатковими ознаками (вік, категорія, час доби). Sequence-aware моделі (SASRec, BERT4Rec) враховують порядок взаємодій — state-of-the-art для сесійних рекомендацій.

Як вибрати архітектуру рекомендаційної системи?

Відповідь залежить від даних, навантаження та вимог до холодного старту. Нижче — три основні підходи з критеріями вибору.

Гібридна архітектура на 20–40% ефективніша за чистий CF за покриттям long-tail — перевірено на каталогах від 100k SKU.

Content-Based Filtering: коли історії взаємодій мало

Content-based рекомендує на основі характеристик товарів, а не поведінки інших користувачів — вирішує cold start для нових items. Текстові ембединги через sentence-transformers (multilingual-e5-base, BGE-M3) → пошук схожих через FAISS IndexFlatIP — запит за <5 ms на 100k товарів. Item2Vec (Word2Vec на послідовностях переглядів) дає інтерпретовані «схожі товари» за пару годин навчання.

Структуровані ознаки (категорія, бренд, ціна) подаються через embedding layers або в gradient boosting — CatBoost працює з категоріями без ручного кодування.

Чому гібридні моделі працюють краще?

Production-системи майже завжди дворівневі. Stage 1 (Retrieval) — швидкий відбір 100–500 кандидатів із 300k товарів через ALS або Two-Tower модель з векторним пошуком (FAISS, Qdrant). Stage 2 (Ranking) — важкий ранжувальник на LightGBM або нейромережі з cross-features, часом, пристроєм та контекстом сесії. LightFM — хороша відправна точка для середнього масштабу без важкої інфраструктури. Наша практика показує: перехід від single-stage до two-stage дає приріст точності на 15–25% при зростанні latency всього на 20–30 мс.

Real-Time Serving: архітектура під навантаження

Latency SLA — 50–100 ms при тисячах запитів на секунду. Base-рекомендації precompute (batch job раз на годину) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для подій (кліки, додавання в кошик) → оновлення контекстних ознак. Feature serving — Redis з TTL (кількість переглядів за 24 години, останній клікнутий item). При навантаженні 10k req/s ставимо Redis Cluster з реплікацією.

A/B тестування — єдиний достовірний спосіб оцінити покращення. Офлайн-метрики корелюють з онлайн не завжди. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обов'язкове читання для команди. Тест з 5–10% трафіку, моніторинг CTR, конверсії, revenue per session. Одна з наших клієнтських систем після гібридизації збільшила виручку на 18% за місяць A/B.

Терміни розробки рекомендаційної системи

Етапи та типові часові витрати — у таблиці нижче. Вартість розраховується індивідуально під масштаб каталогу та вимоги до latency.

Що входить у розробку під ключ

1. Аудит даних — щільність матриці user×item (зазвичай <0,1%), розподіл активності, temporal паттерни, cold start статистика.
2. Baseline — «популярне» як простий поріг, який часто важко перевершити.
3. Ітеративне покращення — ALS → контентні ознаки → two-stage → sequence-aware. Кожен крок з A/B.
4. Інфраструктура serving — batch precomputation, Redis, real-time re-ranking, моніторинг у Grafana.
5. Документація — model card з метриками, інструкція з деплою, опис ознак.
6. Навчання команди — сесія з інтерпретації результатів та донавчання моделі.
7. Підтримка — 1 місяць після запуску (фікс інцидентів, доналаштування pipeline).

Ми — команда з 7+ роками досвіду в рекомендаційних системах, реалізували понад 30 проєктів для e-commerce та медіа. Гарантуємо прозоре A/B-тестування та фіксацію покращення метрик.

Хочете оцінити потенціал зростання вашого каталогу? Зв'яжіться з нами для безкоштовного аудиту даних. Замовте розробку рекомендаційної системи — перший прототип протягом двох тижнів.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Більше про математику рекомендаційних систем — у Wikipedia.