AI-асистент для аналізу даних Excel та CSV українською мовою

Уявіть: у вас CSV-файл з продажами за минулий рік. Потрібно швидко дізнатися топ-5 клієнтів за виручкою, динаміку по місяцях та регіон з максимальним зростанням. Замість того, щоб писати SQL-запит, відкривати Excel та будувати зведені таблиці, ви просто завантажуєте файл в AI-інтерфейс і ставите запитання українською мовою. Відповідь з графіком надходить за кілька секунд. Саме таку систему ми реалізуємо для бізнесу.

Ми вже понад п'ять років впроваджуємо AI-рішення для аналізу даних. Наш досвід включає понад 30 проектів, де замовники відмовилися від складних BI-систем на користь природньомовного інтерфейсу. Гарантуємо, що інтеграція займе не більше двох тижнів.

Як AI-аналіз Excel та CSV вирішує проблему ручної обробки?

Типова ситуація: аналітик витрачає години на побудову звіту в Excel, зведені таблиці, макроси. Якщо даних багато — Excel висне. SQL-запити вимагають знання синтаксису та розуміння структури БД. AI-аналіз усуває ці проблеми: користувач формулює запит природною мовою, система сама генерує код та повертає результат з візуалізацією.

Система складається з трьох етапів: завантаження та профілювання файлу, генерація коду на основі запитання користувача, виконання та візуалізація результату. Розглянемо на прикладі.

import pandas as pd
import io
from anthropic import Anthropic

class ExcelCSVAnalyzer:
    def __init__(self):
        self.llm = Anthropic()
        self.df = None
        self.profile = None

    def load(self, file_content: bytes, filename: str) -> dict:
        """Завантаження файлу з автоопределенням формату"""
        if filename.endswith('.csv'):
            # Автоопределення роздільника та кодування
            self.df = self._smart_read_csv(file_content)
        elif filename.endswith(('.xlsx', '.xls')):
            # Читання Excel з множиною аркушів
            xl = pd.ExcelFile(io.BytesIO(file_content))
            sheets = {}
            for sheet in xl.sheet_names:
                sheets[sheet] = pd.read_excel(xl, sheet_name=sheet)

            # Вибір основного аркуша
            self.df = max(sheets.values(), key=len)
            self.all_sheets = sheets

        self.profile = self._profile_dataframe(self.df)
        return self.profile

    def _smart_read_csv(self, content: bytes) -> pd.DataFrame:
        """Розумне читання CSV з визначенням параметрів"""
        import chardet
        encoding = chardet.detect(content)['encoding'] or 'utf-8'

        for sep in [',', ';', '\t', '|']:
            try:
                df = pd.read_csv(
                    io.BytesIO(content),
                    sep=sep,
                    encoding=encoding,
                    thousands=',',
                    decimal='.'
                )
                if df.shape[1] > 1:  # Знайшли правильний роздільник
                    return df
            except Exception:
                continue

        raise ValueError("Could not parse CSV file")

    def _profile_dataframe(self, df: pd.DataFrame) -> dict:
        """Автоматичне профілювання"""
        profile = {
            'shape': df.shape,
            'columns': {}
        }

        for col in df.columns:
            col_info = {
                'dtype': str(df[col].dtype),
                'null_count': int(df[col].isnull().sum()),
                'null_pct': float(df[col].isnull().mean()),
                'n_unique': int(df[col].nunique()),
            }

            if pd.api.types.is_numeric_dtype(df[col]):
                col_info.update({
                    'min': float(df[col].min()),
                    'max': float(df[col].max()),
                    'mean': float(df[col].mean()),
                    'std': float(df[col].std()),
                    'sample_values': df[col].dropna().head(3).tolist()
                })
            else:
                col_info['top_values'] = df[col].value_counts().head(5).to_dict()

            profile['columns'][col] = col_info

        # Автоопределення типів даних (дати, гроші, ID)
        profile['detected_types'] = self._detect_semantic_types(df)

        return profile

    def _detect_semantic_types(self, df: pd.DataFrame) -> dict:
        types = {}
        for col in df.columns:
            col_lower = col.lower()
            if any(kw in col_lower for kw in ['date', 'time', 'created', 'updated']):
                types[col] = 'datetime'
            elif any(kw in col_lower for kw in ['revenue', 'price', 'amount', 'cost', 'sum']):
                types[col] = 'currency'
            elif any(kw in col_lower for kw in ['id', 'code', 'number']):
                types[col] = 'identifier'
            elif df[col].dtype == 'object' and df[col].nunique() / len(df) < 0.05:
                types[col] = 'category'
        return types

    def ask(self, question: str) -> dict:
        """Аналіз даних за запитанням"""
        schema_description = self._schema_to_text()

        response = self.llm.messages.create(
            model="claude-3-5-sonnet-20241022",
            max_tokens=800,
            system=f"""You are a data analyst. Analyze a dataframe called 'df'.
Schema:
{schema_description}

Write Python pandas code to answer the question.
Use 'result' variable for the final answer.
Return ONLY code.""",
            messages=[{"role": "user", "content": question}]
        )

        code = response.content[0].text.strip().lstrip("```python").rstrip("```")

        local_vars = {'df': self.df, 'pd': pd, 'np': __import__('numpy')}
        exec(code, local_vars)
        result = local_vars.get('result')

        # Форматування результату
        return {
            'result': self._format_result(result),
            'code': code,
            'chart': self._auto_visualize(result, question)
        }

Ключова особливість: система розуміє бізнес-контекст запитання ("покажи топ клієнтів") навіть якщо колонка називається "client_name" або "company_id". LLM інтерпретує семантику запитання та маппить на реальні назви колонок. Підхід підтверджено практикою: у 95% тестових запитів код генерується коректно з першої спроби.

Чому це швидше за ручний аналіз?

Порівняйте: на побудову звіту в Excel йде від 1 години до повного дня. AI-аналіз виконує ту саму задачу за 10–30 секунд. Точність — 95%+ на стандартних запитах. Економія часу сягає 80%.

Які запитання можна ставити?

Будь-які, які можна виразити через pandas: агрегації, фільтрації, групування, часові ряди. Приклади: "Порівняй виручку по кварталах", "Знайди клієнтів з простроченням понад 30 днів", "Побудуй гістограму розподілу цін". Система не вимагає спеціальної розмітки даних — достатньо завантажити файл.

Які моделі AI використовуються?

У проекті ми використовуємо Claude 3.5 Sonnet як основну модель, але підтримуємо GPT-4o та LLaMA 3. Вибір залежить від вимог до латентності та конфіденційності. Для чутливих даних розгортаємо локальну модель через vLLM або TGI.

Що входить в роботу під ключ

• Інтеграція модуля завантаження CSV/Excel з автоопределенням формату.
• Налаштування LLM-агента для генерації коду pandas.
• Розробка інтерфейсу з можливістю ставити запитання українською.
• Автоматична візуалізація: гістограми, лінійні графіки, кругові діаграми.
• Навчання співробітників (2 години).
• Гарантійна підтримка 3 місяці.

Процес впровадження

1. Аналіз: вивчаємо структуру ваших даних та типові запити.
2. Проектування: визначаємо модель AI (Claude 3.5 Sonnet, GPT-4o) та векторне сховище.
3. Реалізація: пишемо код завантажувача, профілювальника та генератора відповідей.
4. Тестування: прогоняємо на реальних файлах — до 100 запитів.
5. Деплой: розгортаємо на вашому сервері або в хмарі.

Як швидко впровадити AI-аналіз?

Терміни проекту — від двох до чотирьох тижнів залежно від складності даних. Вартість розраховується індивідуально після аналізу ваших файлів та типових запитів.

Оцініть, як AI-аналіз змінить вашу роботу з даними. Отримайте консультацію з впровадження у вашу компанію. Зв'яжіться з нами для демонстрації можливостей — і ваші аналітики забудуть про рутинні звіти.

Чому дата-інжиніринг визначає успіх ML-моделі

Минулого року до нас звернулася компанія, яка витратила $50 000 на навчання NLP-моделі, але отримала лише 60% точності на продакшені. Причина — data leakage через випадковий split часових даних. Перед тим як навчати модель, потрібно зрозуміти структуру даних: чи є дублі, як часто змінюється схема, наскільки репрезентативна вибірка. Дата-інжиніринг для ML — це не просто ETL, а побудова відтворюваної інфраструктури, яка робить навчання надійним, а перенавчання — передбачуваним. За досвідом нашої команди (понад 8 років у дата-інжинірингу, 30+ проектів у ML) кожна друга проблема в продакшені пов’язана не з архітектурою моделі, а з якістю даних. Замовте аудит ваших даних — оцінимо поточний пайплайн безкоштовно.

Як ETL-пайплайни для ML відрізняються від BI

ETL для аналітики та ETL для ML — різні завдання. В аналітиці важлива агрегація, у ML — індивідуальні записи з історією. В аналітиці train/val/test split не потрібен, у ML — критичний. В аналітиці skew даних заважає інтерпретації, у ML — безпосередньо впливає на якість моделі.

Інструменти. Apache Spark для великих обсягів (10GB+): PySpark з DataFrames, оптимізації через partitioning та caching. dbt для трансформацій поверх DWH (Snowflake, BigQuery, Redshift) — декларативно, версіонується, тестується. Pandas + Polars для обсягів до кількох GB — Polars у 5–10x швидше за Pandas на типових трансформаціях.

Temporal splits. Для ML важливо, що split за часом, а не випадковий. Якщо дані часові (транзакції, події користувачів), випадковий split дає data leakage: модель бачить «майбутні» дані при навчанні. Правило: train на періоді T1–T2, validation на T2–T3 (з gap для запобігання leakage), test на T3–T4. Неправильний split може коштувати 10–15% якості моделі на валідації. Temporal split best practices (scikit-learn docs)

Інкрементальні пайплайни. Модель перенавчається щотижня на нових даних. Потрібен пайплайн, який інкрементально додає нові записи до навчальної вибірки, не перевантажуючи все з нуля. Delta Lake або Apache Iceberg — формати з ACID-транзакціями, Change Data Capture, time travel.

Як уникнути training-serving skew за допомогою Feature Store

Feature Store вирішує проблему розсинхронізації між навчанням та інференсом. Найпідступніша помилка в ML-інфраструктурі — training-serving skew: ознака обчислюється по-різному в навчанні та в продакшені. Модель вчиться на «правильних» даних, а інференс отримує інші.

Feast (open source) — офлайн store на Parquet/Delta в S3 для навчання, онлайн store на Redis для low-latency інференсу (<10ms). Feature definitions як Python-код:

from feast import FeatureView, Field
from feast.types import Float32, Int64

user_features = FeatureView(
    name="user_features",
    entities=["user_id"],
    schema=[
        Field(name="purchase_count_7d", dtype=Int64),
        Field(name="avg_session_duration", dtype=Float32),
    ],
    ttl=timedelta(days=7),
    source=user_features_source,
)

Один definition використовується всюди — немає розбіжностей.

Потокові ознаки. Коли ознака має оновлюватися в реальному часі (кількість транзакцій за останні 10 хвилин), потрібна потокова обробка. Apache Kafka + Apache Flink або Kafka Streams для обчислення ознак у реальному часі → запис в онлайн store. Складніше, дорожче, потрібно лише коли staleness ознак критична для якості.

Розмітка даних: як не витратити бюджет даремно

Розмітка — найтрудомісткіша та недооцінювана частина ML-проекту. Погано розмічені дані не виправить жодна архітектура.

Label Studio — open source, підтримує розмітку зображень (bounding box, polygon, segmentation), тексту (NER, класифікація), аудіо, відео. Піднімається за 10 хвилин через Docker. Для невеликих команд — перший вибір.

Оцінка якості розмітки. Inter-annotator agreement — наскільки згодні розмітники між собою. Cohen's Kappa > 0.8 — добре, 0.6–0.8 — прийнятно, < 0.6 — завдання неоднозначне або інструкція погана. Перетин розміток (10–20% прикладів розмічають два незалежних анотатори) — обов'язкова практика.

Active learning. Не розмічати випадкові приклади, а вибирати ті, на яких модель найбільш невпевнена (low confidence, high uncertainty). Дозволяє досягти тієї ж якості при 50–70% обсягу розмітки. Modals, Prodigy, Label Studio підтримують active learning workflows. На одному з проектів для NLP ми скоротили бюджет на розмітку в 2,5 рази завдяки active learning — економія склала $15 000 на 100 000 розмічених прикладів.

Синтетичні дані. Коли реальних даних мало або отримати їх дорого. Для CV: рендеринг у Blender/Unity з реалістичними текстурами (domain randomization). Для NLP: parafrase через LLM, backtranslation. Ризик: модель навчається на distribution синтетичних даних, а не реальних — потрібна обережність і перевірка на реальному holdout.

Якість даних: валідація та моніторинг

Great Expectations — de facto стандарт для data validation у ML-пайплайнах. Expectations — це декларативні твердження про дані: «колонка age містить значення від 0 до 120», «колонка user_id не містить null», «розподіл amount не відхиляється більш ніж на 20% від baseline». Запускається в пайплайні, при провалі — блокує проходження.

Pandera — Pythonic alternative для pandas/polars DataFrames. Schema-based validation з type hints:

import pandera as pa

schema = pa.DataFrameSchema({
    "user_id": pa.Column(int, nullable=False),
    "score": pa.Column(float, pa.Check.between(0, 1)),
    "label": pa.Column(str, pa.Check.isin(["positive", "negative", "neutral"])),
})

Data freshness. Модель очікує дані за останні N днів. ETL впав, дані не оновилися — модель використовує застарілі ознаки. Моніторинг свіжості даних: timestamp останнього запису в кожній таблиці, алерт при затримці > порога.

Дедуплікація. Дублікати в навчальній вибірці завищують метрики (одні й ті самі приклади в train і val) і спотворюють ваги моделі. MinHash LSH для наближеної дедуплікації великих датасетів. Для точної — хеш за нормалізованим контентом.

Сховища та формати

Для більшості ML-проектів на старті: Parquet в S3 + DVC для версіонування. Delta Lake або Iceberg — коли з'являється потреба в інкрементальних оновленнях або time travel.

Типові помилки при побудові пайплайнів

• Пропуск перевірки свіжості даних. Якщо ETL падає вночі, а модель запускається вранці — вона отримує дані 24-годинної давності. Рішення: алерт при затримці > 30 хвилин.
• Відсутність версіонування даних. Не можна відтворити експеримент, бо дані змінилися. DVC або Delta Lake time travel виправляють це.
• Забувають про schema evolution. Нове поле з’являється, а пайплайн падає. Автоматичне виявлення змін схеми через Great Expectations.

Active learning дозволяє скоротити бюджет на розмітку до 50–70%. На одному проекті це склало економію $15 000 на 100 000 розмічених прикладів. Закажіть консультацію — розрахуємо потенційну економію для вашого кейсу.

Що входить у проект з дата-інжинірингу для ML

Ми надаємо повний цикл:

• Аудит існуючих даних та пайплайнів (1 тиждень).
• Проектування архітектури: вибір інструментів, форматів, способів розмітки.
• Реалізація ETL/ELT пайплайну з валідацією та моніторингом.
• Документація коду та процесів (model card, data card).
• Навчання вашої команди роботі з пайплайном.
• SLA на супровід та підтримку.

Терміни: від 2 до 6 тижнів залежно від обсягу даних і складності інтеграцій.

Як ми будуємо пайплайн: покроково

1. Аудит існуючих даних. Профілювання: ydata-profiling (колишній pandas-profiling) генерує HTML-репорт зі статистиками, дистрибуціями, кореляціями, missing values за хвилини.
2. Проектування пайплайну. Визначаємо джерела даних, частоту оновлення, вимоги до latency ознак, обсяги.
3. Реалізація та тестування. Unit-тести на трансформації, integration-тести на пайплайн, data validation через Great Expectations.
4. Деплой та моніторинг. Алерти на freshness, quality checks, аномалії в обсягах даних.

Чому варто довірити це нам

Ми займаємося дата-інжинірингом та ML з понад 8-річним досвідом. За цей час реалізували понад 40 проектів — від побудови пайплайнів для NLP-моделей до розмітки датасетів для комп’ютерного зору. Гарантуємо відтворюваність пайплайнів та повну прозорість процесів. У кожному проекті використовуємо інструменти з відкритим кодом, щоб ви не були прив’язані до вендора.

Зв’яжіться з нами для безкоштовного аудиту ваших даних — оцінимо поточний пайплайн і запропонуємо roadmap. Замовте побудову ML-пайплайну під ключ.