Представьте: вы запускаете новостное приложение с миллионом ежедневных публикаций. Без персонализации пользователь видит однотипные посты, быстро теряет интерес и уходит. Хронологическая лента теряет до 60% вовлечённости — это экспериментально подтверждённая цифра. Наш ранжировщик решает задачу сортировки кандидатов на основе сотен признаков, не генерируя контент, а расставляя приоритеты. Типичный пример: лента новостей перестаёт быть релевантной после двух недель использования — пользователи жалуются на однообразие. Пайплайн учитывает динамику интересов и предотвращает filter bubble. Гибридный подход: коллаборативная фильтрация дополняется семантическим анализом контента. Это позволяет учитывать как явные, так и неявные предпочтения. Результат — каждый пользователь видит ленту, которая адаптируется под его меняющиеся интересы в реальном времени. Такой подход повышает удержание на 30% и увеличивает время сессии в полтора раза. Переходим к деталям реализации.
Как мы строим пайплайн ранжирования?
Персонализация ленты — двухступенчатый пайплайн: retrieval и ranking. На первом этапе из миллионов публикаций отбираем несколько сотен кандидатов через approximate nearest neighbours (ANN) на основе подписок и интересов. На втором — ранжируем этих кандидатов более тяжёлой моделью с сотнями признаков. Разделение этапов критично: ranking-модель слишком медленная для всего каталога, retrieval — недостаточно точная для финального порядка.
Признаки для ранжирования
Хорошая ранжирующая модель использует три группы признаков:
- Контекст пользователя: время суток, день недели, тип сессии (холодная или продолжение), активность за 24 часа.
- Характеристики контента: возраст публикации, engagement rate (лайки/просмотры), скорость набора просмотров в первый час, авторский follower count и исторический CTR.
- Пересечение пользователя и контента: семантическое сходство с историей взаимодействий, тематическое перекрытие с топ-интересами, знакомство с автором.
# Feature vector для одного кандидата
@dataclass
class RankingFeatures:
# Content features
post_age_hours: float
engagement_rate_24h: float
viral_velocity: float # views_per_hour in first 2 hours
# User-content interaction
topic_affinity: float # cosine sim между профилем юзера и эмбеддингом поста
author_ctr_for_user: float # исторический CTR этого автора у этого юзера
# Context
hour_of_day: int
is_weekend: bool
session_depth: int # сколько постов уже просмотрено в сессии
Почему LightGBM, а не нейросеть?
Нейросетевые ранжировщики дают более высокое качество, но LightGBM с LambdaRank objective — быстрее в inference (2–5 мс на 200 кандидатов) и проще в итерации. Для среднего масштаба это оптимальный выбор. При аудитории свыше 10 млн оптимальным может стать двухуровневая модель с нейросетевым ретривером и LightGBM для ранжирования. Стоимость разработки нейросетевого решения выше, но зачастую экономически оправдана при высокой нагрузке.
import lightgbm as lgb
model = lgb.LGBMRanker(
objective='lambdarank',
metric='ndcg',
ndcg_eval_at=[5, 10, 20],
n_estimators=500,
learning_rate=0.05,
num_leaves=63
)
model.fit(
X_train, y_train, # y — relevance labels: 0=ignored, 1=viewed, 2=liked, 3=shared
group=train_groups, # размер групп запросов
eval_set=[(X_val, y_val)],
eval_group=[val_groups]
)
Как обеспечить бесшовный скролл на мобильном?
Реализуем prefetch: когда пользователь доскроллил до 70% текущего батча, фоново подгружаем следующие 20 постов. На Android используем Paging 3 с prefetchDistance = 5. Пример:
// Android: Paging 3 с prefetch для персонализированной ленты
class FeedPagingSource(
private val feedApi: FeedApi,
private val userId: String
) : PagingSource<String, FeedPost>() {
override suspend fun load(params: LoadParams<String>): LoadResult<String, FeedPost> {
return try {
val response = feedApi.getPersonalizedFeed(
userId = userId,
cursor = params.key,
pageSize = params.loadSize
)
LoadResult.Page(
data = response.posts,
prevKey = null,
nextKey = response.nextCursor
)
} catch (e: Exception) {
LoadResult.Error(e)
}
}
}
// ViewModel
val feed = Pager(
config = PagingConfig(pageSize = 20, prefetchDistance = 5),
pagingSourceFactory = { FeedPagingSource(feedApi, userId) }
).flow.cachedIn(viewModelScope)
Состав работ и сроки
| Этап | Длительность | Результат |
|---|---|---|
| Аудит данных и сигналов | 1 неделя | Документ по качеству логов и составу признаков |
| Feature pipeline + обучение модели | 2–3 недели | Baseline LightGBM ранжировщик с NDCG@10 > 0.45 |
| Разработка serving API и мобильного клиента | 2 недели | Интегрированный prefetch и A/B тест в продакшне |
| A/B тестирование и итерации | 2–4 недели | Зафиксированный прирост CTR@10 на 15–30% |
Мы гарантируем сдачу каждого этапа в срок с полной документацией и передачей обученной модели. Стоимость работ рассчитывается индивидуально, с учётом особенностей вашего стека и объёма данных.
Типичные подводные камни
Первый — отсутствие diversity. Без MPR (Maximum Marginal Relevance) лента становится однобокой. Решение: не более 2 постов одного автора в первых 10, плюс эвристики по темам. Второй — неправильные лейблы. Использовать только просмотры — смещение в кликбейт. Включайте лайки и шеры. Третий — игнорирование cold start. Новый пользователь без истории — показываем популярное и быстро собираем сигналы через bandit-алгоритмы. Экономия ресурсов достигается за счёт использования готовых компонентов и открытых библиотек.
Обеспечение разнообразия контента
Мы используем MPR-постобработку: после ранжирования пересчитываем scores с учётом сходства кандидатов. Дополнительно применяем глобальные эвристики — например, каждый следующий пост должен отличаться по теме от предыдущего, а количество постов от одного автора ограничено.
Ориентиры по срокам
LightGBM ранжировщик с базовыми признаками + API — 2–3 недели. Полная система с двухступенчатым retrieval+ranking, diversity-постобработкой и A/B тестированием — 6–10 недель.
| Вариант | Сроки | Входит |
|---|---|---|
| Базовый | 2–3 недели | LightGBM ранжировщик, базовые признаки, API, без diversity |
| Стандарт | 4–6 недель | Базовый + аудит данных, MPR diversity, A/B тест |
| Полный | 6–10 недель | Стандарт + двухуровневый пайплайн, deep learning retriever, cold start bandit |
Получите консультацию — мы сделаем быструю предварительную оценку по вашим данным. Свяжитесь с нами, чтобы обсудить детали и оптимизировать бюджет.