Розробка AI-системи для аналізу громадської думки та відкритих даних
Державні органи, аналітичні центри та великі компанії потребують систематичного моніторингу громадського дискурсу: що турбує людей, як змінюється ставлення до регулювання, які теми набирають популярності. AI-система агрегує дані з відкритих джерел та трансформує їх у практичну аналітику.
Джерела даних
Соціальні мережі та форуми: ВКонтакте API, Однокласники API, Telegram (через MTProto або парсинг публічних каналів), Reddit, Pikabu. Публічні групи, коментарі, пости — без персональних даних.
ЗМІ та новинні агрегатори: RSS-ленти, Яндекс.Новини API, MediaMetrics, Google News API. Понад 50 000 джерел.
Державні відкриті дані: data.gov.ru, регіональні портали відкритих даних, реєстри ФНС, Rosstat API.
Платформи петицій: Change.org, РОІ (Російська громадська ініціатива) — тематики та динаміка підписів.
Відгуки про державні послуги: портал державних послуг (публічні оцінки), регіональні портали, платформа «Активний громадянин».
Тематичне моделювання
from bertopic import BERTopic
from sentence_transformers import SentenceTransformer
class PublicOpinionAnalyzer:
def __init__(self):
self.embedder = SentenceTransformer("sentence-transformers/paraphrase-multilingual-mpnet-base-v2")
self.topic_model = BERTopic(
embedding_model=self.embedder,
language="russian",
min_topic_size=50,
nr_topics="auto"
)
def discover_topics(self, texts: list[str], timestamps: list[datetime]) -> TopicAnalysis:
embeddings = self.embedder.encode(texts, batch_size=512)
# Динамічне тематичне моделювання — як теми змінюються з часом
topics, probs = self.topic_model.fit_transform(texts, embeddings)
topics_over_time = self.topic_model.topics_over_time(texts, timestamps)
return TopicAnalysis(
topics=self.topic_model.get_topic_info(),
temporal_dynamics=topics_over_time,
trending=self._detect_trending(topics_over_time)
)
Настрій за групами населення
Аналіз не лише загального тону, але й відмінностей між групами: молодь vs люди похилого віку (за характеристиками аудиторії), регіони, професійні спільноти. Виявляє, що турбує конкретні сегменти.
Індекс громадської довіри
Для державних органів ключова метрика — динаміка довіри до конкретного відомства, політики, рішення:
- Частка позитивних згадок у контексті теми
- Зміна тону відносно базового періоду
- Порівняння з аналогічними відомствами / регіонами
- Кореляція з медіаактивністю
Виявлення маніпуляцій та ботів
Скоординовані кампанії, накрутка петицій, штучний hype — система виявляє аномалії через аналіз активності та контенту.
Звітність та візуалізація
Щотижневі автоматичні звіти з топ-10 трендових тем, динаміки настрою, порівнянням з попереднім періодом. Інтерактивний дашборд з часовими рядами, картами та word clouds.