Разработка AI-системы персонального инвестиционного портфеля

Реализация AI-системы персонального инвестиционного портфеля

Типичный робоадвайзер предлагает стандартный набор ETF — но не учитывает, что вы хотите исключить нефтяные компании или запланировать крупную покупку через 3 года. Задача: автоматическая ребалансировка портфеля с учётом индивидуальных ограничений и налоговой оптимизации. Мы решили её через NLP-интерфейс на базе LLM, который понимает запросы на естественном языке и адаптируется под жизненные события. Наш опыт — более 5 лет в AI/ML, свыше 20 внедрённых финансовых решений.

Как AI обрабатывает ваш инвестиционный запрос?

Пользователь пишет: «Хочу инвестировать в AI-компании, но избежать Tesla». Система запускает цепочку: извлекает сектор (AI), исключение (TSLA), проверяет текущий портфель, предлагает конкретные действия. Модель использует chain-of-thought рассуждения для многошагового анализа.

from anthropic import Anthropic
import numpy as np
import json

class PersonalInvestmentAdvisor:
    def __init__(self):
        self.llm = Anthropic()
        self.conversation_history = []

    def process_investment_request(self, user_input: str,
                                    portfolio: dict,
                                    market_data: dict) -> dict:
        """Обработка инвестиционного запроса на естественном языке"""
        # Контекст портфеля
        portfolio_summary = self._summarize_portfolio(portfolio)

        self.conversation_history.append({
            "role": "user",
            "content": user_input
        })

        response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=600,
            system=f"""You are a personal investment advisor. You help users manage their investment portfolio.
Be direct and specific. Always mention risks. Speak in Russian if user writes in Russian.

Current portfolio:
{portfolio_summary}

Market context:
{json.dumps(market_data, ensure_ascii=False)[:500]}

Important: Never guarantee returns. Always mention that past performance doesn't predict future results.
For specific trades, provide exact amounts and timing.""",
            messages=self.conversation_history
        )

        advice = response.content[0].text
        self.conversation_history.append({
            "role": "assistant",
            "content": advice
        })

        # Парсинг конкретных действий из ответа
        actions = self._extract_actions(advice, portfolio)

        return {
            'advice': advice,
            'suggested_actions': actions,
            'requires_confirmation': len(actions) > 0
        }

    def _summarize_portfolio(self, portfolio: dict) -> str:
        total_value = sum(p['value'] for p in portfolio.get('positions', []))
        positions = []
        for pos in portfolio.get('positions', [])[:10]:
            pct = pos['value'] / total_value * 100 if total_value > 0 else 0
            pnl = pos.get('unrealized_pnl', 0)
            positions.append(f"{pos['ticker']}: {pct:.1f}% (P&L: {pnl:+.1f}%)")

        return f"Total: ${total_value:,.0f}\n" + "\n".join(positions)

    def _extract_actions(self, advice_text: str, portfolio: dict) -> list[dict]:
        """Извлечение конкретных торговых действий из текста советника"""
        response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=300,
            messages=[{
                "role": "user",
                "content": f"""Extract concrete investment actions from this advice.

Advice: {advice_text}

Return JSON array of actions (empty if no specific trades suggested):
[{{"action": "BUY|SELL|REBALANCE", "ticker": "AAPL", "amount_usd": 1000, "reason": "..."}}]"""
            }]
        )

        try:
            return json.loads(response.content[0].text)
        except Exception:
            return []


class TaxLossHarvester:
    """Автоматический tax-loss harvesting"""

    def find_harvesting_opportunities(self, portfolio: dict,
                                       wash_sale_window: int = 30) -> list[dict]:
        """Поиск позиций с убытком для налоговой оптимизации"""
        opportunities = []
        today = pd.Timestamp.now()

        for position in portfolio.get('positions', []):
            unrealized_loss = position.get('unrealized_pnl_usd', 0)

            if unrealized_loss >= -100:  # Минимальный убыток для оптимизации
                continue

            # Проверка wash sale rule (30 дней)
            last_purchase_date = pd.to_datetime(position.get('last_purchase_date'))
            days_held = (today - last_purchase_date).days

            if days_held < wash_sale_window:
                continue  # Слишком недавно куплено

            tax_savings = abs(unrealized_loss) * 0.13  # НДФЛ 13%

            opportunities.append({
                'ticker': position['ticker'],
                'unrealized_loss_usd': unrealized_loss,
                'estimated_tax_savings': tax_savings,
                'days_held': days_held,
                'action': 'SELL',
                'note': f"Sell to realize loss of ${abs(unrealized_loss):.0f}, save ~${tax_savings:.0f} in taxes"
            })

        return sorted(opportunities, key=lambda x: x['unrealized_loss_usd'])


class ESGScreener:
    """Фильтрация активов по ESG-критериям"""

    def __init__(self, esg_scores: dict):
        self.esg_scores = esg_scores  # {ticker: {E: 0-100, S: 0-100, G: 0-100}}

    def filter_by_esg(self, candidates: list[str],
                       preferences: dict) -> list[str]:
        """
        preferences: {'min_environmental': 60, 'exclude_sectors': ['weapons', 'tobacco']}
        """
        filtered = []
        for ticker in candidates:
            scores = self.esg_scores.get(ticker, {})

            # Минимальные пороги
            if scores.get('E', 50) < preferences.get('min_environmental', 0):
                continue
            if scores.get('S', 50) < preferences.get('min_social', 0):
                continue
            if scores.get('G', 50) < preferences.get('min_governance', 0):
                continue

            # Исключение секторов
            exclude = preferences.get('exclude_sectors', [])
            if any(s in (scores.get('sector', '').lower()) for s in exclude):
                continue

            filtered.append(ticker)

        return filtered

Почему tax-loss harvesting даёт ощутимую экономию?

Алгоритм ищет позиции с нереализованным убытком > $100 и проверяет правило wash sale (30 дней). При волатильности рынка такие возможности возникают регулярно. Экономия составляет 0.3–0.8% от активов под управлением в год — это существенно при долгосрочном росте. Наш модуль автоматически высчитывает налог (13% НДФЛ) и предлагает продажи с расчётом выгоды. Например, при убытке в $5000 экономия на налогах достигает $650.

Какие проблемы решает AI-система?

Первая — сложность настройки робоадвайзера под индивидуальные цели. Стандартные анкеты не охватывают специфические пожелания вроде исключения секторов или учёта будущих крупных трат. Вторая — налоговая неэффективность: без автоматического tax-loss harvesting инвесторы упускают до 0.8% годовой доходности. Третья — событийная ребалансировка: рождение ребёнка, покупка дома или рыночный шок требуют немедленного пересмотра портфеля, а ручной анализ занимает дни.

Модули системы и их функции

Инвестиционная оптимизация достигается за счёт комбинации tax-loss harvesting и событийной ребалансировки. Система непрерывно сканирует портфель на предмет убыточных позиций и автоматически предлагает продажи с учётом налоговых последствий.

Как AI адаптируется под жизненные события?

Система слушает события: рождение ребёнка, покупка дома, выход на пенсию. При наступлении события пересчитывает оптимальное распределение активов. Например, при приближении горизонта инвестирования (менее 3 лет) доля акций снижается, облигаций — растёт. Модель учитывает tax implications и избегает излишней торговли.

Сравнение: традиционный робоадвайзер vs AI-система

Что входит в работу?

• Документация: описание архитектуры, API-контракты, model card для LLM.
• Исходный код: модули PersonalInvestmentAdvisor, TaxLossHarvester, ESGScreener, интеграция с брокерским API.
• Обучение: 2-дневный workshop для вашей команды.
• Поддержка: 1 месяц после деплоя (режим 24/7).

Процесс работы

1. Аналитика: аудит текущего портфеля и целей инвестора.
2. Проектирование: выбор LLM (Claude 3.5 / GPT-4), настройка vector DB для хранения истории.
3. Реализация: разработка NLP-интерфейса, модулей tax-loss и ESG.
4. Тестирование: верификация на исторических данных, A/B тесты latency.
5. Деплой: развёртывание на GPU-инстансах (Triton Inference Server), мониторинг p99 latency.

Оцените возможности системы для вашего портфеля — свяжитесь с нами для консультации. Система поставляется под ключ за 3–6 месяцев в зависимости от сложности интеграции. Получите консультацию по внедрению уже сегодня.

Разработка рекомендательных систем: от collaborative filtering до real-time serving

На одном проекте для e-commerce с каталогом 300k SKU мы подняли CTR с 1,8% до 4,4% — в 2,4 раза. Первый рывок дала коллаборативная фильтрация вместо «популярное за последние 7 дней», второй — добавление контентных признаков и re-ranking. Разница между «показываем популярное» и «показываем персонализированное» — измеримая и существенная. Ниже — инженерный опыт, который помог это сделать, и архитектуры, которые реально работают в продакшене.

Collaborative Filtering: матричная факторизация и нейронные подходы

Matrix Factorization — классика для implicit feedback (клики, просмотры, покупки без явного рейтинга). ALS (Alternating Least Squares) в библиотеке Implicit обрабатывает матрицы user×item с сотнями миллионов ненулевых значений за минуты на GPU. Latent factors 64–256, регуляризация λ=0.01–0.1 — стартовые параметры. Проблема cold start: для нового пользователя или товара нет истории — классический CF беспомощен, нужны контентные признаки или гибрид.

Neural Collaborative Filtering (NCF) заменяет скалярное произведение на нейросеть. На практике выигрыш над хорошо настроенным ALS умеренный, но NCF проще расширять дополнительными признаками (возраст, категория, время суток). Sequence-aware модели (SASRec, BERT4Rec) учитывают порядок взаимодействий — state-of-the-art для сессионных рекомендаций.

Как выбрать архитектуру рекомендательной системы?

Ответ зависит от данных, нагрузки и требований к холодному старту. Ниже — три основных подхода с критериями выбора.

Гибридная архитектура на 20–40% эффективнее чистого CF по покрытию long-tail — проверено на каталогах от 100k SKU.

Content-Based Filtering: когда истории взаимодействий мало

Content-based рекомендует на основе характеристик товаров, а не поведения других пользователей — решает cold start для новых items. Текстовые эмбеддинги через sentence-transformers (multilingual-e5-base, BGE-M3) → поиск похожих через FAISS IndexFlatIP — запрос за <5 ms на 100k товаров. Item2Vec (Word2Vec на последовательностях просмотров) даёт интерпретируемые «похожие товары» за пару часов обучения.

Структурированные признаки (категория, бренд, цена) подаются через embedding layers или в gradient boosting — CatBoost работает с категориями без ручного кодирования.

Почему гибридные модели работают лучше?

Production-системы почти всегда двухуровневые. Stage 1 (Retrieval) — быстрый отбор 100–500 кандидатов из 300k товаров через ALS или Two-Tower модель с векторным поиском (FAISS, Qdrant). Stage 2 (Ranking) — тяжёлый ранжировщик на LightGBM или нейросети с cross-features, временем, устройством и контекстом сессии. LightFM — хорошая отправная точка для среднего масштаба без тяжёлой инфраструктуры. Наша практика показывает: переход от single-stage к two-stage даёт прирост точности на 15–25% при росте latency всего на 20–30 мс.

Real-Time Serving: архитектура под нагрузку

Latency SLA — 50–100 ms при тысячах запросов в секунду. Base-рекомендации precompute (batch job раз в час) → Redis по user_id → <5 ms. Real-time re-ranking через Kafka для событий (клики, добавления в корзину) → обновление контекстных признаков. Feature serving — Redis с TTL (число просмотров за 24 часа, последний кликнутый item). При нагрузке 10k req/s ставим Redis Cluster с репликацией.

A/B тестирование — единственный достоверный способ оценить улучшения. Офлайн-метрики коррелируют с онлайн не всегда. Kohavi et al., «Online Controlled Experiments at Large Scale» (KDD 2013) — обязательное чтение для команды. Тест с 5–10% трафика, мониторинг CTR, конверсии, revenue per session. Одна из наших клиентских систем после гибридизации увеличила выручку на 18% за месяц A/B.

Сроки разработки рекомендательной системы

Этапы и типичные временные затраты — в таблице ниже. Стоимость рассчитывается индивидуально под масштаб каталога и требования к latency.

Что входит в разработку под ключ

1. Аудит данных — плотность матрицы user×item (обычно <0,1%), распределение активности, temporal паттерны, cold start статистика.
2. Baseline — «популярное» как простой порог, который часто трудно обогнать.
3. Итеративное улучшение — ALS → контентные признаки → two-stage → sequence-aware. Каждый шаг с A/B.
4. Инфраструктура serving — batch precomputation, Redis, real-time re-ranking, мониторинг в Grafana.
5. Документация — model card с метриками, инструкция по деплою, описание признаков.
6. Обучение команды — сессия по интерпретации результатов и дообучению модели.
7. Поддержка — 1 месяц после запуска (фикс инцидентов, донастройка pipeline).

Мы — команда с 7+ годами опыта в рекомендательных системах, реализовали более 30 проектов для e-commerce и медиа. Гарантируем прозрачное A/B‑тестирование и фиксацию улучшения метрик.

Хотите оценить потенциал роста вашего каталога? Свяжитесь с нами для бесплатного аудита данных. Закажите разработку рекомендательной системы — первый прототип в течение двух недель.

from implicit.als import AlternatingLeastSquares

model = AlternatingLeastSquares(
    factors=64,
    regularization=0.05,
    iterations=15,
    use_gpu=True
)
model.fit(user_item_matrix)

Больше о математике рекомендательных систем — в Wikipedia.