AI-ассистент для анализа данных Excel и CSV на русском языке

Почему AI анализ Excel ломается на реальных выгрузках

Ассистент уверенно проходит демо на таблице из трёх колонок — и рассыпается на первой же боевой выгрузке. Дело не в модели: демо-файл чистый, а реальный прошёл через десяток рук. Кто-то объединил ячейки ради красивого заголовка, кто-то дописал строку вручную, кто-то оставил скрытый лист со старой структурой.

Сбои повторяются по одному сценарию. Объединённые ячейки сдвигают границы: значение лежит в первой колонке диапазона, соседние пусты, и агрегат считается по пустым. Скрытые листы и активные фильтры дают двойной учёт — строки, которых человек не видит, попадают в выборку. Дубли без естественного ключа превращают подсчёт уникальных клиентов в подсчёт всех операций.

Форматы добивают не меньше. Даты в одном файле идут как ISO, в другом — как ДД.ММ.ГГГГ, в третьем — текстом. Числа с разделителем разрядов и десятичной запятой после сохранения в CSV читаются как текст, и сумма по колонке даёт ноль. А выгрузка в cp1251 без метки кодировки превращает русские заголовки в мусор: сопоставление колонок по имени проваливается молча.

Именно на приведение к машиночитаемому виду уходят часы ручного анализа данных, а не на сам вывод. Поэтому перед подачей в модель мы строим схему листа: где строка заголовка, какие диапазоны слиты, где в ячейке формула вместо значения. Дальше типизация — даты и числа к единому виду, дубли помечаются, а не удаляются молча.

Так ошибки в таблицах перестают быть сюрпризом: разбор выгрузок Excel идёт по проверяемым правилам, а не по удаче демо-файла.

Что даёт ассистент: скорость, точность, воспроизводимость разбора

Первый эффект виден на подготовке сводки. Раньше руководитель ждал отчёт к концу дня: аналитик сводил выгрузки из нескольких систем, вручную подтягивал формулы и перепроверял итоги. Ассистент принимает файл целиком и возвращает готовую сводку за минуты — доля ручных операций падает с большинства шагов до проверки результата.

Автоматизация разбора таблиц закрывает главную причину ручной работы — разнобой во входных данных. Объединённые ячейки, заголовки не в первой строке, разные форматы дат, разделители и кодировки обрабатываются одними и теми же правилами нормализации. Новую выгрузку того же типа не нужно готовить руками: структура распознаётся, служебные строки отбрасываются, колонки встают на свои места.

Точность данных держится на проверках, а не на аккуратности исполнителя. Дубли, пропуски и выбросы отмечаются на входе, спорные строки не выпадают из расчёта молча, а попадают в отдельный перечень. Доля расхождений между сводкой и исходными файлами сокращается, потому что каждая цифра в отчёте ссылается на строки, из которых она получена.

Воспроизводимость расчётов — то, чего ручная сборка не даёт в принципе. Правила обработки и порядок вычислений зафиксированы, поэтому один и тот же файл дважды даёт один и тот же результат, а расхождение можно объяснить, а не списать на человеческий фактор. Когда правила меняются, видно, что именно поменялось в итогах.

Способы подключения: файлы, учётная система, регламентный обмен

Способ подключения определяет, насколько свежие данные видит ассистент и сколько ручной работы остаётся у аналитика. Начинать с полной интеграции не обязательно: разовая загрузка файлов даёт первый результат на реальных данных, а регулярный обмен с учётным контуром подключается позже, когда структура отчётов уже понятна.

Мы поддерживаем четыре режима — они различаются частотой обновления, требованиями к доступам и тем, что придётся поддерживать на вашей стороне.

Режимы комбинируются: справочники и историю удобно тянуть регламентным обменом, а оперативные вопросы закрывать разбором отдельных файлов. На старте достаточно одного варианта — расширить схему можно без переделки уже разобранных отчётов.

Этапы внедрения: от аудита таблиц до передачи регламентов

Порядок работ одинаков для любого источника: сначала разбираемся, что реально лежит в файлах, потом строим разбор и правила, и только затем передаём систему в эксплуатацию. Причина простая — типовая выгрузка почти никогда не совпадает с тем, как её описывает заказчик: шапка не в первой строке, один показатель размазан по трём колонкам, даты приходят текстом в двух форматах, а часть строк — промежуточные итоги.

1. Аудит данных. Собираем все выгрузки, фиксируем структуру листов, объединённые ячейки, скрытые строки, смешанные типы в колонке, кодировки и разделители. На выходе — перечень источников, их владельцы и частота обновления.
2. Схема разбора. Описываем целевые поля и связи между листами, правила поиска заголовков и отбраковки служебных строк. Получаем карту соответствия «колонка источника → поле модели», по которой дальше собирается разбор.
3. Настройка правил. Нормализация дат, чисел и названий контрагентов, словари синонимов, сведение дублей, пороги, при которых значение помечается подозрительным. Правила держим отдельно от логики разбора — их можно править без переписывания системы.
4. Проверка качества данных. Прогон на исторических выгрузках и сверка итогов с тем, что аналитик считает вручную. Смотрим не только совпадение сумм, но и долю отбракованных строк с причиной по каждой.
5. Пробный запуск на живых вопросах. Сотрудники формулируют вопросы сами, мы считаем долю ответов, принятых без уточнений. Обычно после двух-трёх правок словарей эта доля заметно растёт.
6. Передача регламентов. Инструкции по обновлению выгрузок, описание правил и журнал их изменений, порядок эскалации ошибок разбора. Обучаем одного-двух сотрудников, чтобы дальше словари и пороги правились внутри команды заказчика.

Что передаём на руки: схемы, правила разбора, документация

Ассистент для анализа Excel и CSV не должен оставаться чёрным ящиком: если правила разбора живут только в переписке с разработчиком, любая новая выгрузка из учётной системы ломает отчёт. Поэтому вместе с работающим сервисом заказчик получает комплект артефактов, по которым его команда сама видит, как система читает файлы, что считает и как это менять.

• Схема потоков данных: откуда приходит файл, на каком шаге нормализуется, что попадает в итоговую таблицу — с контрольными точками для сверки.
• Правила разбора: определение строки заголовков, типов колонок, форматов дат и чисел, поведение при объединённых ячейках, пустых строках, дублях и склеенных листах.
• Справочники и классификаторы: номенклатура, подразделения, статьи, списки синонимов — с порядком пополнения и ответственным за актуальность.
• Каталог типовых запросов к ассистенту: формулировки, которые он разбирает корректно, и примеры, где нужна уточнённая постановка.
• Инструкции для пользователей: как загрузить выгрузку, как проверить результат, что делать при расхождении с исходным файлом.
• Регламент сопровождения: кто и в какие сроки обновляет правила при изменении структуры выгрузок, как фиксируются обращения и правки.
• Журнал проверок качества: набор реальных файлов, на которых подтверждена точность разбора, и перечень известных ограничений.

Документация пишется под ваши выгрузки, а не по шаблону, и остаётся у вас в редактируемом виде. Изменения в отчётности команда вносит по описанным правилам самостоятельно, а мы подключаемся, когда меняется сама логика обработки.

Кейс: разбор складских выгрузок в закрытом учётном контуре

До: два дня ручного сведения

Учётный контур заказчика закрыт: выгрузки из 1С складывались в сетевую папку, дальше их вручную сводили в Excel. Каждый месяц — больше сорока файлов CSV с разной структурой колонок: артикул приходил то текстом, то числом, даты — в трёх форматах, наименования складов писались по-разному в разных филиалах. Сведение одной сводной занимало два рабочих дня, и на каждой второй сборке всплывали отрицательные остатки или задвоенные партии — их находили уже после того, как отчёт уходил дальше по цепочке.

После: сводная за 40 минут

Ассистент поставили внутрь контура, без внешних обращений: данные не покидают сеть заказчика. Сопоставление колонок описали справочником номенклатуры и правилами нормализации типов, а не жёстким шаблоном, поэтому новый формат выгрузки не ломает разбор. Проверки вынесли перед сборкой отчёта: отрицательные остатки, дубли партий, расхождения между складской выгрузкой и первичными документами, аномальные скачки количества.

• Ручных операций в цикле — вместо 14 осталось 3: загрузка файлов, подтверждение сопоставления, разбор списка расхождений.
• Время сведения месячной сводной — с двух рабочих дней до 40 минут.
• Ошибок класса «отрицательный остаток» и «дубль партии» в готовом отчёте — ноль: они отсекаются до сборки, а не после.
• Доля отчётов, которые приходилось пересобирать, снизилась примерно с половины до единичных случаев.

Ассистент отвечает на вопросы к данным на русском («сколько позиций ушло со склада №4 за период», «покажи расхождения по поставщику»), поэтому сводную не нужно каждый раз строить заново. Схема сопоставления и правила проверок хранятся как конфигурация: при смене формата выгрузки правится один справочник, а не логика разбора.

Что делать, если данные уже ведутся в Excel-таблицах?

Отказываться от файлов не нужно: AI-анализ Excel-таблиц ставится поверх текущих выгрузок, а не вместо них. Первый шаг — контракт на данные: фиксируем, какие листы и колонки читаются, какие типы значений ожидаются, что делать с пустыми строками. После этого сотрудники продолжают править файл руками, а разбор остаётся предсказуемым.

Ручные правки — главный источник расхождений: колонку переименовали, строку вставили, в числовое поле попал текст, появился дубль. Поэтому схема дополняется проверками — ассистент не падает на такой строке, а помечает её и собирает в отчёт о качестве данных, чтобы правку можно было внести осознанно.

Гибридный контур строится так: результат разбора пишется в отдельный лист или во внутреннее хранилище, исходная выгрузка остаётся нетронутой. Excel-выгрузки из учётных систем подхватываются по расписанию, а повторный разбор уже обработанного файла не создаёт дублей — строки сопоставляются по устойчивому признаку.

Постепенное внедрение начинается с одного регулярного отчёта, где цена ошибки минимальна. Правила обкатываются на исторических срезах и сверяются с тем, что раньше считали руками; когда расхождения сведены, подключается соседняя выгрузка.

Работа при этом не останавливается: файлы живут своей жизнью, ассистент идёт рядом вторым контуром — разбирает новые порции, отвечает на вопросы цифрами и показывает, какие строки требуют ручной проверки.

Технические сомнения: качество данных, контур, сопровождение

Грязные данные — норма, а не исключение: слитые колонки, разные форматы дат, дубли строк, пустые ячейки, числа, записанные текстом. Первый шаг — профилирование: по каждому столбцу считаем долю пропусков, типы, частоту значений и выбросы, и отчёт о качестве приходит раньше первых расчётов. Правила очистки фиксируем письменно — что считаем дублем, как разбираем даты, — опираясь на практику управления качеством данных DAMA-DMBOK.

Второе сомнение — контур. Ассистент работает без внешнего доступа: разбор файлов, модель и правила размещаются на вашем сервере или в изолированном сегменте без выхода в интернет. Данные не покидают периметр, а выгрузка ограничена ролевой моделью — аналитик работает с обезличенными выборками.

Кто отвечает за правила после запуска?

Ведём реестр правил обработки и журнал изменений с ответственным за согласование. Правки в справочниках проходят ревью и тестовый прогон на эталонном наборе — ассистент не расходится с учётной системой после обновления выгрузок.

Обсудим задачу: вернёмся с оценкой, планом и составом работ

Для первичного разбора достаточно прислать 2-3 реальных файла с сохранённой структурой и список вопросов, которые задаются к данным сейчас. Полностью обезличивать выгрузки не нужно — нам важнее форма: шапки, объединённые ячейки, несколько листов, типы колонок и то, как записаны даты и суммы.

• 2-3 файла Excel или CSV как есть, без ручной чистки — структура важнее содержимого;
• 5-10 типовых вопросов на русском, которые вы задаёте к этим данным;
• как ответ собирается сегодня: вручную, сводной таблицей, выгрузкой из учётной системы;
• какие форматы нужны на выходе — таблица, краткая справка, сообщение в чате;
• где лежат файлы, кто имеет к ним доступ и есть ли ограничения по обработке вне вашего контура;
• какие колонки считаются справочными, а какие заполняются ручным вводом.

Дальше обсуждаем задачу с инженером: разбираем структуру файлов, уточняем формулировки вопросов и договариваемся о границах пилотного участка. Так оценка проекта опирается на ваши данные, а не на усреднённые допущения.

По итогу возвращаемся с планом работ и составом работ: этапы, сроки, границы пилотного участка, что делаем мы и что потребуется от вашей стороны. Опишите задачу в свободной форме — вернёмся с оценкой и планом.