Розробка AI-робо-адвайзера для інвестицій

Проблема: чому більшість робо-адвайзерів не працюють

Стартапи та банки часто намагаються скопіювати підхід Betterment або Wealthfront: беруть класичну теорію портфеля (MPT) і натягують її на локальний ринок. У результаті — портфелі, які не враховують поведінку інвестора, часті зриви ребалансування через транзакційні витрати та повна відсутність пояснюваності для регулятора. Ми це виправили.

Чому AI-робо-адвайзери вигідніші за традиційних керуючих?

Традиційне управління коштує 1–2% від AuM на рік, а робо-адвайзер — 0.25–0.50%. При цьому ML-моделі вловлюють патерни, які людина пропускає: наприклад, кореляцію між геополітичними подіями та волатильністю окремих секторів. В одному з кейсів ми підняли дохідність на 2.1% річних при тому ж рівні ризику за рахунок динамічної ребалансировки на основі Reinforcement Learning. Для портфеля $10 млн це дає додатково $210 000 на рік. А для клієнта — зрозумілі пояснення природною мовою: "Ваш портфель збільшив частку облігацій, тому що ваш інвестиційний горизонт скоротився до 3 років".

Які проблеми вирішує ML-профілювання?

Профілювання без ML — ворожіння на кавовій гущі. Традиційні анкети з 5 питань дають середньостатистичний профіль, який не відображає реальну поведінку інвестора в кризу. Ми використовуємо LLM (Claude 3.5 Sonnet), яка аналізує не лише відповіді, але й тональність, суперечності, та генерує персоналізований опис профілю. Це дає +30% до відповідності ризик-профілю реальним діям.

Ручне ребалансування — збитки та помилки. Коли портфель відхиляється від цілі на 5%, людина часто зволікає або діє емоційно. Наш RebalancingEngine автоматично перевіряє поріг і генерує ордери з урахуванням мінімальної суми угоди та транзакційних витрат. В одному проекті це скоротило витрати на 0.15% річних — для портфеля $1 млн економія склала $2 500 на рік.

Відсутність explainability для регулятора. У різних юрисдикціях регулятори вимагають показувати клієнту, чому рекомендовано саме такий портфель. Ми вбудовуємо генерацію пояснень через LLM: модуль _explain_profile() формує 2–3 речення простою мовою, які можна показати в інтерфейсі або надіслати в звіт.

Як ми будуємо AI-робо-адвайзер: стек і процес

Шаг 1: Профілювання інвестора з LLM

Ми використовуємо Anthropic Claude 3.5 Sonnet для аналізу анкети. Кожне питання має вагу — наприклад, вік: чим молодший інвестор, тим вища допустима частка акцій. Результат — не просто цифра, а пояснення: чому цей профіль підходить саме цьому клієнту.

from anthropic import Anthropic
import numpy as np
import pandas as pd
from scipy.optimize import minimize

class InvestorProfiler:
    def __init__(self):
        self.llm = Anthropic()

    def assess_risk_profile(self, questionnaire_answers: dict) -> dict:
        """Определение риск-профиля через анкету"""
        # Скоринг ответов
        risk_score = 0
        max_score = 0

        scoring_rules = {
            'age': lambda x: max(0, (65 - x) / 45 * 20),  # Молодой = выше риск
            'investment_horizon': {'<1y': 5, '1-3y': 10, '3-5y': 15, '>5y': 20},
            'risk_tolerance': {'conservative': 5, 'moderate': 12, 'aggressive': 20},
            'income_stability': {'unstable': 0, 'stable': 5, 'very_stable': 10},
            'loss_reaction': {'sell_all': 0, 'sell_some': 5, 'hold': 10, 'buy_more': 15},
        }

        for question, rules in scoring_rules.items():
            if question not in questionnaire_answers:
                continue
            answer = questionnaire_answers[question]
            if callable(rules):
                score = rules(answer)
            else:
                score = rules.get(answer, 0)
            risk_score += score
            max_score += 20

        normalized = risk_score / max_score

        # Категории риска
        if normalized < 0.3:
            risk_category = 'conservative'
            equity_allocation = 20
        elif normalized < 0.5:
            risk_category = 'moderate_conservative'
            equity_allocation = 40
        elif normalized < 0.7:
            risk_category = 'moderate'
            equity_allocation = 60
        elif normalized < 0.85:
            risk_category = 'moderate_aggressive'
            equity_allocation = 75
        else:
            risk_category = 'aggressive'
            equity_allocation = 90

        profile = {
            'risk_score': normalized,
            'risk_category': risk_category,
            'equity_allocation': equity_allocation,
            'bond_allocation': 100 - equity_allocation - 5,
            'cash_allocation': 5
        }

        # LLM объяснение профиля
        profile['explanation'] = self._explain_profile(profile, questionnaire_answers)
        return profile

    def _explain_profile(self, profile: dict, answers: dict) -> str:
        response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=150,
            messages=[{
                "role": "user",
                "content": f"""Explain this investor risk profile in simple terms for the client.

Profile: {profile['risk_category']}, equity: {profile['equity_allocation']}%
Key factors from questionnaire: {answers}

2-3 sentences. No jargon. Explain why this allocation suits them."""
            }]
        )
        return response.content[0].text

Шаг 2: Оптимізація портфеля (Markowitz + ML-прогноз)

Замість історичних очікувань ми використовуємо прогноз дохідностей від Gradient Boosting та коригуємо коваріаційну матрицю через shrinkage. Оптимізація вирішує задачу максимізації Sharpe ratio з боксовими обмеженнями (2–40% на один папір). Результат — ефективна границя, за якою ми обираємо портфель під профіль клієнта.

class PortfolioOptimizer:
    """Оптимизация портфеля по Марковицу с ML-предсказанием доходностей"""

    def optimize(self, expected_returns: np.ndarray,
                  covariance_matrix: np.ndarray,
                  target_return: float = None,
                  max_volatility: float = None,
                  asset_names: list = None,
                  constraints: dict = None) -> dict:
        """Оптимизация Марковица"""
        n_assets = len(expected_returns)

        def portfolio_variance(weights):
            return weights @ covariance_matrix @ weights

        def portfolio_return(weights):
            return weights @ expected_returns

        def neg_sharpe(weights, risk_free_rate=0.05):
            ret = portfolio_return(weights)
            vol = np.sqrt(portfolio_variance(weights))
            return -(ret - risk_free_rate / 252) / vol

        # Ограничения
        scipy_constraints = [
            {'type': 'eq', 'fun': lambda w: np.sum(w) - 1}
        ]

        if target_return:
            scipy_constraints.append({
                'type': 'eq',
                'fun': lambda w: portfolio_return(w) - target_return
            })

        # Границы весов
        min_weight = constraints.get('min_weight', 0.02) if constraints else 0.02
        max_weight = constraints.get('max_weight', 0.40) if constraints else 0.40
        bounds = [(min_weight, max_weight)] * n_assets

        # Оптимизация
        result = minimize(
            neg_sharpe if not target_return else portfolio_variance,
            x0=np.ones(n_assets) / n_assets,
            method='SLSQP',
            bounds=bounds,
            constraints=scipy_constraints,
            options={'ftol': 1e-9, 'maxiter': 1000}
        )

        weights = result.x
        ret = portfolio_return(weights)
        vol = np.sqrt(portfolio_variance(weights))
        sharpe = (ret - 0.05/252) / vol * np.sqrt(252)

        return {
            'weights': {(asset_names[i] if asset_names else f'asset_{i}'): float(w)
                       for i, w in enumerate(weights)},
            'expected_annual_return': float(ret * 252),
            'annual_volatility': float(vol * np.sqrt(252)),
            'sharpe_ratio': float(sharpe)
        }

Шаг 3: Моніторинг і ребалансування

Дрейф портфеля відстежується в реальному часі. Якщо відхилення від цільової ваги перевищує 5%, запускається генерація ордерів: BUY для недооцінених паперів, SELL для переоцінених. Всі ордери перевіряються на мінімальний обсяг угоди, щоб уникнути дробових лотів.

class RebalancingEngine:
    """Автоматическая ребалансировка с учётом транзакционных издержек"""

    def check_rebalancing_needed(self, current_weights: dict,
                                   target_weights: dict,
                                   threshold: float = 0.05) -> bool:
        """Нужна ли ребалансировка"""
        for asset, target_w in target_weights.items():
            current_w = current_weights.get(asset, 0)
            if abs(current_w - target_w) > threshold:
                return True
        return False

    def generate_rebalancing_orders(self, portfolio_value: float,
                                     current_weights: dict,
                                     target_weights: dict,
                                     min_trade_size: float = 10) -> list[dict]:
        """Генерация ордеров ребалансировки"""
        orders = []
        for asset, target_w in target_weights.items():
            current_w = current_weights.get(asset, 0)
            delta_w = target_w - current_w
            trade_value = abs(delta_w * portfolio_value)

            if trade_value >= min_trade_size:
                orders.append({
                    'asset': asset,
                    'action': 'BUY' if delta_w > 0 else 'SELL',
                    'value': trade_value,
                    'weight_delta': delta_w
                })

        return orders

Що входить в роботу?

Які етапи розробки включає проект?

Для наочності наведемо план з приблизними часовими рамками:

Строки та вартість

Строки залежать від складності інтеграцій: MVP за 3–4 місяці, повноцінна платформа — від 8 до 12 місяців. Вартість розраховується індивідуально — отримайте консультацію для оцінки вашого проекту. Ми працюємо з FinTech-стартапами та банками, маємо 10+ років досвіду в ML та 50+ реалізованих проектів у сфері автоматизації інвестицій. Замовте розробку робо-адвайзера під ключ — адаптуємо рішення під вашу брокерську інфраструктуру.

Типові помилки при впровадженні робо-адвайзерів

• Використання лише історичних даних без урахування режимних перемикань (регуляторні зміни, кризи). Ми додаємо stress-тести за сценаріями.
• Ігнорування мінімальних сум угод — призводить до відхилень портфеля. Наш engine блокує дрібні ордери.
• Відсутність зрозумілого пояснення для клієнта — порушення вимог регулятора. LLM-генерація пояснень вирішує це.

Гарантуємо — ваш робо-адвайзер відповідатиме регуляторним стандартам і забезпечить дохідність на 1.5–2.5% вищу, ніж наївне ребалансування. Оцініть ваш проект — зв'яжіться з нами для консультації.

Розробка рекомендаційних систем: від collaborative filtering до real-time serving

На одному проєкті для e-commerce з каталогом 300k SKU ми підняли CTR з 1,8% до 4,4% — у 2,4 рази. Перший ривок дала колаборативна фільтрація замість «популярне за останні 7 днів», другий — додавання контентних ознак та re-ranking. Різниця між «показуємо популярне» і «показуємо персоналізоване» — вимірна та суттєва. Нижче — інженерний досвід, який допоміг це зробити, і архітектури, які реально працюють у продакшені.

Collaborative Filtering: матрична факторизація та нейронні підходи

Matrix Factorization — класика для implicit feedback (кліки, перегляди, покупки без явного рейтингу). ALS (Alternating Least Squares) у бібліотеці Implicit обробляє матриці user×item із сотнями мільйонів ненульових значень за хвилини на GPU. Latent factors 64–256, регуляризація λ=0.01–0.1 — стартові параметри. Проблема cold start: для нового користувача або товару немає історії — класичний CF безпорадний, потрібні контентні ознаки або гібрид.

Neural Collaborative Filtering (NCF) замінює скалярний добуток на нейромережу. На практиці виграш над добре налаштованим ALS помірний, але NCF простіше розширювати додатковими ознаками (вік, категорія, час доби). Sequence-aware моделі (SASRec, BERT4Rec) враховують порядок взаємодій — state-of-the-art для сесійних рекомендацій.

Як вибрати архітектуру рекомендаційної системи?

Відповідь залежить від даних, навантаження та вимог до холодного старту. Нижче — три основні підходи з критеріями вибору.

Гібридна архітектура на 20–40% ефективніша за чистий CF за покриттям long-tail — перевірено на каталогах від 100k SKU.

Content-Based Filtering: коли історії взаємодій мало

Content-based рекомендує на основі характеристик товарів, а не поведінки інших користувачів — вирішує cold start для нових items. Текстові ембединги через sentence-transformers (multilingual-e5-base, BGE-M3) → пошук схожих через FAISS IndexFlatIP — запит за <5 ms на 100k товарів. Item2Vec (Word2Vec на послідовностях переглядів) дає інтерпретовані «схожі товари» за пару годин навчання.

Структуровані ознаки (категорія, бренд, ціна) подаються через embedding layers або в gradient boosting — CatBoost працює з категоріями без ручного кодування.

Чому гібридні моделі працюють краще?

Production-системи майже завжди дворівневі. Stage 1 (Retrieval) — швидкий відбір 100–500 кандидатів із 300k товарів через ALS або Two-Tower модель з векторним пошуком (FAISS, Qdrant). Stage 2 (Ranking) — важкий ранжувальник на LightGBM або нейромережі з cross-features, часом, пристроєм та контекстом сесії. LightFM — хороша відправна точка для середнього масштабу без важкої інфраструктури. Наша практика показує: перехід від single-stage до two-stage дає приріст точності на 15–25% при зростанні latency всього на 20–30 мс.

Real-Time Serving: архітектура під навантаження

Latency SLA — 50–100 ms при тисячах запитів на секунду. Base-рекомендації precompute (batch job раз на годину) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для подій (кліки, додавання в кошик) → оновлення контекстних ознак. Feature serving — Redis з TTL (кількість переглядів за 24 години, останній клікнутий item). При навантаженні 10k req/s ставимо Redis Cluster з реплікацією.

A/B тестування — єдиний достовірний спосіб оцінити покращення. Офлайн-метрики корелюють з онлайн не завжди. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обов'язкове читання для команди. Тест з 5–10% трафіку, моніторинг CTR, конверсії, revenue per session. Одна з наших клієнтських систем після гібридизації збільшила виручку на 18% за місяць A/B.

Терміни розробки рекомендаційної системи

Етапи та типові часові витрати — у таблиці нижче. Вартість розраховується індивідуально під масштаб каталогу та вимоги до latency.

Що входить у розробку під ключ

1. Аудит даних — щільність матриці user×item (зазвичай <0,1%), розподіл активності, temporal паттерни, cold start статистика.
2. Baseline — «популярне» як простий поріг, який часто важко перевершити.
3. Ітеративне покращення — ALS → контентні ознаки → two-stage → sequence-aware. Кожен крок з A/B.
4. Інфраструктура serving — batch precomputation, Redis, real-time re-ranking, моніторинг у Grafana.
5. Документація — model card з метриками, інструкція з деплою, опис ознак.
6. Навчання команди — сесія з інтерпретації результатів та донавчання моделі.
7. Підтримка — 1 місяць після запуску (фікс інцидентів, доналаштування pipeline).

Ми — команда з 7+ роками досвіду в рекомендаційних системах, реалізували понад 30 проєктів для e-commerce та медіа. Гарантуємо прозоре A/B-тестування та фіксацію покращення метрик.

Хочете оцінити потенціал зростання вашого каталогу? Зв'яжіться з нами для безкоштовного аудиту даних. Замовте розробку рекомендаційної системи — перший прототип протягом двох тижнів.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Більше про математику рекомендаційних систем — у Wikipedia.