AI-обработка сигналов носимых устройств: PPG, HRV, сон

Профессиональная AI-обработка данных носимых устройств

Представьте: ваш носимый устройство собирает терабайты сырых данных, но извлечь клинически значимые метрики не удаётся. Артефакты движения, дрейф базовой линии, шум датчиков — всё это делает необработанные сигналы непригодными для диагностики. Мы разрабатываем пайплайны, которые превращают сырые показания PPG, акселерометра, ЭКГ и CGM в готовые биомаркеры. Клиенты приходят с этой проблемой, и мы решаем её с помощью адаптивных фильтров и ML-моделей.

С какими устройствами и данными работаем

Почему сырые сигналы нельзя использовать напрямую?

Основные проблемы: артефакты движения (PPG при ходьбе искажается на 30-50%), дрейф базовой линии, пропущенные R-пики на ЭКГ, разряжение батареи на CGM. Если не очистить, метрики будут недостоверны. Например, стандартный полосовой фильтр уменьшает ошибку ЧСС лишь на 10-15%, а наш адаптивный метод — в 2,5 раза больше.

Как очищаем PPG от артефактов движения?

Используем акселерометр как референсный сигнал и адаптивные фильтры. Алгоритмы TROIKA и JOSS снижают среднюю ошибку ЧСС с 8 до 3 BPM в тестовых датасетах (IEEE SP Cup). Пример полосовой фильтрации для PPG:

from scipy.signal import butter, filtfilt, find_peaks
import numpy as np

def ppg_to_hr(ppg_signal, sampling_rate=25):
    nyq = sampling_rate / 2
    low, high = 0.5 / nyq, 4.0 / nyq
    b, a = butter(4, [low, high], btype='band')
    filtered = filtfilt(b, a, ppg_signal)
    peaks, _ = find_peaks(filtered, distance=sampling_rate * 0.4)
    rr_intervals_sec = np.diff(peaks) / sampling_rate
    hr_bpm = 60 / np.mean(rr_intervals_sec)
    return hr_bpm, rr_intervals_sec

Анализ вариабельности сердечного ритма (HRV)

Из чистых R-R интервалов считаем временные и частотные метрики:

def compute_hrv_metrics(rr_intervals_ms):
    rr = np.array(rr_intervals_ms)
    return {
        'rmssd': np.sqrt(np.mean(np.diff(rr)**2)),
        'sdnn': np.std(rr),
        'pnn50': np.mean(np.abs(np.diff(rr)) > 50),
        'mean_rr': np.mean(rr),
        'mean_hr': 60000 / np.mean(rr)
    }

Вариабельность сердечного ритма — золотой стандарт для оценки восстановления после нагрузок. RMSSD — маркер парасимпатической активности, SDNN — общий показатель вегетативного тонуса. Наши пайплайны позволяют считать их в реальном времени на edge.

Как классифицируем активность по IMU?

IMU (акселерометр + гироскоп) даёт трёхосные данные. Извлекаем фичи в скользящем окне: среднее, стандартное отклонение, 95-й перцентиль, энергия, SMA, частота пересечения нуля, доминирующая частота, спектральная энтропия. Классификатор RandomForest обучен на 10 000 окон открытых датасетов (WISDM, UCI HAR). Точность: 94% на 6 классах (покой, ходьба, бег, велосипед, подъём, падение).

А стадии сна: как отличить REM от глубокого без PSG?

Эпохи по 30 секунд (как в полисомнографии) с фичами: движение, ЧСС, RMSSD, время от засыпания. Добиваемся 82% согласования с PSG при 4 классах (Wake/Light/Deep/REM). Это не уступает дорогим клиническим системам, но стоит на порядок меньше.

Непрерывный мониторинг глюкозы: метрики и прогноз

CGM даёт поток значений глюкозы каждые 5 минут. Извлекаем time-in-range, коэффициент вариации, GMI, детектируем постпрандиальные пики. Модель прогноза гипогликемии (на основе LSTM) предсказывает события за 30 минут с AUC 0,89.

Каждая модель сопровождается model card: описание обучающей выборки, распределение классов, accuracy/recall/precision per class, метрики для разных подгрупп (пол, возраст). Используем Weights & Biases для трекинга экспериментов, MLflow для версионирования. Регулярно переобучаем на новых данных.

Этапы обработки сигналов

Что входит в работу?

1. Консультация по выбору датчиков, частот дискретизации, протокола хранения.
2. Пайплайн обработки сигналов на Python (SciPy, custom C++ для edge).
3. ML-модели (PyTorch / scikit-learn) для классификации, регрессии, прогноза.
4. Развёртывание на edge (Triton, ONNX Runtime) или в облаке (Kubeflow).
5. Документация: model card, описание фич, инструкция по интеграции.
6. Обучение вашей команды работе с моделями.

Сроки и стоимость

Ориентировочные сроки зависят от сложности и количества датчиков.

• Базовая обработка одного сигнала (PPG или IMU) + дашборд: 4-5 недель.
• Полный стек (PPG + IMU + сон + CGM): 2-3 месяца.

Стоимость рассчитывается индивидуально. Получите консультацию — оценим ваш проект. У нас более 5 лет опыта в биомедицинской обработке сигналов.

Конфиденциальность

Работаем с медицинскими данными по стандартам HIPAA/GDPR. Обработка на edge, передача только агрегатов. При публикации — k-анонимность и differential privacy. Гарантируем безопасность ваших данных.

Свяжитесь с нами для детального обсуждения вашего проекта.

Какие проблемы прогнозирования временных рядов встречаются чаще всего?

Финансовый директор запрашивает прогнозирование временных рядов продаж на квартал. Аналитик строит SARIMA, добивается MAPE 8.3% на тестовой выборке — и с гордостью деплоит. Через два месяца в production метрика падает до 23%. Причина классическая: модель обучалась на данных до COVID, тестировалась на стабильном периоде, а production попал на промо-акцию и сбой поставок. Data leakage + distribution shift = красивые цифры в ноутбуке и неработающий прогноз в реальности. Мы сталкивались с этим десятки раз. Наш опыт — 5+ лет в прогнозировании временных рядов для ритейла, финтеха и IoT, более 50 завершённых проектов.

Неправильная кросс-валидация. Стандартный train_test_split для временных рядов — ошибка. Случайное разбиение создаёт data leakage: модель видит «будущие» значения в обучении. Правильно — TimeSeriesSplit или walk-forward validation с expanding window.

Множественная сезонность. Почасовые данные потребления электроэнергии имеют три сезонности: суточную (24 ч), недельную (168 ч), годовую (8760 ч). SARIMA справляется только с одной. Prophet обрабатывает несколько, но медленно масштабируется на тысячи рядов.

Пропуски и аномалии в данных. Пропуск в сенсорных данных — это информация (датчик отключился), а не просто NaN. Линейная интерполяция убивает этот сигнал. Правильная обработка зависит от природы пропуска.

Cold start при иерархическом прогнозировании. Новый SKU в ассортименте из 50 000 позиций: исторических данных нет, нужен прогноз. Стандартные подходы тут не работают — нужны cross-learning подходы или feature-based методы.

Какие инструменты и когда применять?

Prophet (Meta) — отличный старт для бизнес-данных с понятной сезонностью и праздниками. Быстро настраивается, интерпретируем, встроенная обработка выбросов и пропусков. Падает в точности при нерегулярных паттернах и не масштабируется на десятки тысяч рядов без параллелизации. Prophet (Facebook) — официальная документация.

Gradient boosting на фичах (LightGBM, XGBoost) — часто недооценённый подход. Создаёте фичи вручную: лаги (t-1, t-7, t-28), скользящие средние, категориальные признаки (день недели, месяц), экзогенные переменные. Модель обучается на всех рядах одновременно — решает cold start через похожие ряды. MAPE на ритейл-прогнозировании часто лучше нейронных сетей при правильной feature engineering.

TFT (Temporal Fusion Transformer) — трансформер, специально разработанный для интерпретируемого прогнозирования с ковариатами. Встроенные механизмы: variable selection (какие признаки важны), temporal self-attention (какие временные точки влияют на прогноз), квантильные предсказания. Доступен в pytorch-forecasting. Требует ~10 000+ записей на ряд для стабильного обучения. Temporal Fusion Transformer — академическая публикация.

PatchTST — трансформер, который делит временной ряд на патчи (аналогично ViT для изображений). Лучше захватывает локальные паттерны, чем классические трансформеры. Хорошо работает для long-horizon forecasting (прогноз на 96–720 шагов). Реализация в neuralforecast от Nixtla.

N-HiTS, N-BEATS — нейронные архитектуры без attention, быстрее TFT, конкурентная точность. N-BEATS выигрывает на M4/M5 benchmark для задач без ковариат.

Как мы разворачиваем TFT в production?

TFT требует тщательной подготовки данных. Типичный пайплайн через pytorch-forecasting:

training = TimeSeriesDataSet(
    data,
    time_idx="time_idx",
    target="sales",
    group_ids=["store", "sku"],
    min_encoder_length=max_encoder_length // 2,
    max_encoder_length=max_encoder_length,  # 120 дней
    min_prediction_length=1,
    max_prediction_length=max_prediction_length,  # 28 дней
    static_categoricals=["store_type", "category"],
    time_varying_known_reals=["price", "promo_flag"],
    time_varying_unknown_reals=["sales"],
    target_normalizer=GroupNormalizer(groups=["store", "sku"], transformation="softplus"),
)

Частая ошибка: target_normalizer по умолчанию (StandardScaler) ломает предсказания для рядов с нулевыми значениями (нет продаж в выходные). GroupNormalizer с transformation="softplus" — правильный выбор для count-данных.

Пошаговая инструкция по настройке TFT

1. Сбор и подготовка данных. Обработать пропуски (маркировать NaN, интерполировать только если это технический сбой), агрегировать до нужной частоты, сформировать ковариаты (праздники, промо, цены).
2. Создание TimeSeriesDataSet. Указать group_ids (например, магазин+SKU), временной индекс, горизонт прогноза. Настроить target_normalizer с учётом распределения таргета.
3. Обучение baseline. Сначала Prophet или LightGBM — чтобы понять, насколько сложнее задача.
4. Тренировка TFT. Запустить TemporalFusionTransformer с loss=QuantileLoss(), подобрать learning rate и размеры hidden слоёв. Использовать pytorch_forecasting или neuralforecast.
5. Валидация и интерпретация. Проверить walk-forward, проанализировать variable selection, построить attention heatmap.

Кейс: прогноз спроса в ритейле. Сеть из 120 магазинов, 8000 SKU, горизонт прогноза 28 дней. Исходная система: SARIMA отдельно для каждого ряда, MAPE 18.4%, полный цикл переобучения — 6 часов. TFT на PyTorch + pytorch-forecasting: одна модель на все ряды, MAPE 11.2%, переобучение — 40 мин на A10G. Дополнительный бонус: feature importance через variable selection — выяснилось, что day_before_holiday влияет сильнее, чем сама дата праздника. Средняя экономия бюджета на инференсе для клиента составила 1.5 млн ₽ в год.

Как правильно оценивать качество прогнозов?

Не используйте RMSE как единственную метрику — она сильно штрафует за большие ошибки на больших значениях. Наш набор метрик для ритейл-прогнозирования:

• MAPE — интерпретируема, но нестабильна при значениях близких к нулю
• sMAPE — симметричная версия, избегает деления на маленькие числа
• MASE (Mean Absolute Scaled Error) — нормализован относительно наивного сезонного прогноза, отлично подходит для сравнения между рядами с разными масштабами
• Quantile loss / Pinball loss — для вероятностного прогнозирования, оценка покрытия интервалов

Гарантируем: мы предоставляем model card с этими метриками на валидационной выборке и результаты walk-forward теста на истории не менее 6 месяцев.

Что входит в работу

• Документация по выбранной архитектуре, обоснование выбора гиперпараметров.
• Воспроизводимый пайплайн обучения и инференса (Docker + CI/CD + Airflow/Prefect).
• Код с комментариями и модульными тестами на ключевые компоненты.
• Обучение вашей команды: как переобучать модель, как интерпретировать выходы, как деплоить новые версии.
• Поддержка в течение 3 месяцев после сдачи: консультации, фиксы багов, донастройка.

Процесс работы

Начинаем с EDA: визуализация, тест ADF на стационарность, STL-декомпозиция, анализ пропусков и выбросов. Это 2–3 дня, но часто выявляет системные проблемы данных, которые блокируют прогнозирование.

Затем: baseline (наивный seasonal, Prophet), feature engineering для LGBM, выбор архитектуры нейронной сети если нужно. Walk-forward validation с реалистичным горизонтом. Деплой через API с автоматическим переобучением по расписанию через Airflow или Prefect.

Сроки ориентировочно: MVP-прогноз на одном типе данных — 3–6 недель. Иерархическая система прогнозирования с автоматизацией — 2–5 месяцев. Стоимость рассчитывается индивидуально.

Наша команда — сертифицированные ML-инженеры (AWS ML Specialty, GCP Professional ML Engineer). За 5 лет на рынке реализовали более 50 проектов по прогнозированию. Свяжитесь с нами для бесплатного анализа ваших данных — мы оценим задачу и дадим первые рекомендации за 1–2 дня. Закажите консультацию и убедитесь, что ваши прогнозы работают в production, а не только в ноутбуке.