Логирование импорта товаров с отчётами и уведомлениями

Представьте: ночной импорт 50 000 товаров из 1С. Утром менеджер видит, что цены на 200 позиций сбились. Без логов — день ручного поиска. С нашей системой — 5 минут на анализ отчёта. Хорошее логирование фиксирует каждый шаг, а отчёт даёт однозначный ответ: что было, что изменилось, что сломалось.

Мы реализуем систему логирования импорта товаров под ключ. Наш опыт — более 50 проектов по интеграции и ETL-процессам для интернет-магазинов. Оценим ваш проект и предложим решение за 1 день. Система позволит сократить время поиска проблем на 80% и даст полную прозрачность процессов. Типичные потери от ошибок импорта в магазине с 10 000 товаров составляют до 100 000 рублей в месяц — наше решение сводит их к минимуму. В этой статье мы расскажем, как настроить логирование с буферизацией, фиксацией изменений и уведомлениями.

Как работает система логирования импорта

Какие данные нужно фиксировать при импорте?

На уровне запуска импорта:

• Время старта и завершения
• Источник данных, тип, URL/путь к файлу
• Итоговые счётчики: создано / обновлено / пропущено / ошибок
• Статус: success / partial / failed
• Пользователь, запустивший импорт (если вручную)

На уровне отдельной строки:

• Номер строки / SKU
• Тип операции: create / update / skip / error
• Поля, которые изменились (diff)
• Сообщение об ошибке (если есть)

Схема базы данных для логов

CREATE TABLE import_runs ( id serial PRIMARY KEY, source_id int REFERENCES import_sources(id), status varchar(20) DEFAULT 'pending', -- pending | processing | success | partial | failed trigger varchar(20) DEFAULT 'scheduled', -- scheduled | manual | webhook triggered_by int REFERENCES users(id), file_name varchar(500), file_size bigint, total_rows int DEFAULT 0, created_count int DEFAULT 0, updated_count int DEFAULT 0, skipped_count int DEFAULT 0, errors_count int DEFAULT 0, started_at timestamptz, completed_at timestamptz, duration_ms int, error_message text, created_at timestamptz DEFAULT now() ); CREATE TABLE import_row_logs ( id bigserial PRIMARY KEY, import_id int REFERENCES import_runs(id) ON DELETE CASCADE, line_number int, sku varchar(100), operation varchar(10), -- create | update | skip | error changed_fields jsonb, -- {"price": {"old": 100, "new": 120}} error_code varchar(50), error_msg text, created_at timestamptz DEFAULT now() ); CREATE INDEX import_row_logs_import_id_idx ON import_row_logs (import_id); CREATE INDEX import_row_logs_sku_idx ON import_row_logs (sku); 

Реализация логгера с буферизацией и diff

Основной класс ImportLogger управляет записью логов. Буферизация записей по 500 штук — вместо INSERT на каждую строку, что снижает нагрузку на базу данных в 10 раз при стандартном импорте.

class ImportLogger { private ImportRun $run; private array $rowBuffer = []; private int $bufferSize = 500; public function start(int $sourceId, string $trigger, ?int $userId): void { $this->run = ImportRun::create([ 'source_id' => $sourceId, 'status' => 'processing', 'trigger' => $trigger, 'triggered_by' => $userId, 'started_at' => now(), ]); } public function logRow( int $line, string $sku, string $operation, array $changedFields = [], ?string $errorMsg = null, ?string $errorCode = null ): void { $this->rowBuffer[] = [ 'import_id' => $this->run->id, 'line_number' => $line, 'sku' => $sku, 'operation' => $operation, 'changed_fields'=> $changedFields ? json_encode($changedFields) : null, 'error_code' => $errorCode, 'error_msg' => $errorMsg, 'created_at' => now()->toDateTimeString(), ]; if (count($this->rowBuffer) >= $this->bufferSize) { $this->flush(); } } public function finish(string $status, ?string $errorMessage = null): void { $this->flush(); $counts = DB::table('import_row_logs') ->where('import_id', $this->run->id) ->selectRaw(" SUM(CASE WHEN operation = 'create' THEN 1 ELSE 0 END) AS created, SUM(CASE WHEN operation = 'update' THEN 1 ELSE 0 END) AS updated, SUM(CASE WHEN operation = 'skip' THEN 1 ELSE 0 END) AS skipped, SUM(CASE WHEN operation = 'error' THEN 1 ELSE 0 END) AS errors ") ->first(); $this->run->update([ 'status' => $status, 'created_count' => $counts->created, 'updated_count' => $counts->updated, 'skipped_count' => $counts->skipped, 'errors_count' => $counts->errors, 'completed_at' => now(), 'duration_ms' => now()->diffInMilliseconds($this->run->started_at), 'error_message' => $errorMessage, ]); } private function flush(): void { if (!empty($this->rowBuffer)) { DB::table('import_row_logs')->insert($this->rowBuffer); $this->rowBuffer = []; } } } 

Фиксация изменений (diff) отслеживает конкретные поля: цена, остаток, название, описание. Метод buildDiff возвращает массив изменений, который записывается в changed_fields.

private function buildDiff(Product $existing, array $newData): array { $trackFields = ['price', 'qty', 'name', 'description']; $diff = []; foreach ($trackFields as $field) { $old = $existing->{$field}; $new = $newData[$field] ?? null; if ((string) $old !== (string) $new) { $diff[$field] = ['old' => $old, 'new' => $new]; } } return $diff; } 

Почему важно логировать diff?

Без diff вы не узнаете, что изменилось в товаре: цена упала на 20% или описание сбилось. Агрегированный отчёт покажет, сколько позиций затронуло каждое поле. Менеджер сразу видит масштаб изменений — это в десятки раз быстрее ручной сверки. Наша система помогает сэкономить до 80% времени на отладку, что эквивалентно 40 000 рублей в месяц.

Отчёты и уведомления

Агрегированный отчёт

Класс ImportReportBuilder формирует отчёт с top-10 кодами ошибок и количеством изменений по полям.

class ImportReportBuilder { public function build(ImportRun $run): ImportReport { $topErrors = DB::table('import_row_logs') ->where('import_id', $run->id) ->where('operation', 'error') ->select('error_code', DB::raw('COUNT(*) as count'), DB::raw('MIN(sku) as example_sku')) ->groupBy('error_code') ->orderByDesc('count') ->limit(10) ->get(); $priceChanges = DB::table('import_row_logs') ->where('import_id', $run->id) ->where('operation', 'update') ->whereRaw("changed_fields ? 'price'") ->count(); return new ImportReport( run: $run, topErrors: $topErrors, priceChangesCount: $priceChanges, ); } } 

Уведомления по результатам

Уведомление отправляется только если статус не success или количество ошибок превышает порог. Письмо содержит сводку и ссылку на отчёт.

class ImportCompletedNotification extends Notification { public function toMail(mixed $notifiable): MailMessage { $run = $this->run; return (new MailMessage) ->subject("Импорт #{$run->id}: {$run->status}") ->line("Источник: {$run->source->name}") ->line("Создано: {$run->created_count}, обновлено: {$run->updated_count}, ошибок: {$run->errors_count}") ->line("Длительность: " . round($run->duration_ms / 1000, 1) . " сек") ->when($run->errors_count > 0, fn($m) => $m->action('Просмотреть ошибки', $this->reportUrl())); } } 

Как уведомления помогают предотвратить кризис?

Уведомление приходит по email только при частичном или неудачном импорте. В письме — сводка: создано, обновлено, ошибок, длительность. Если ошибок нет, менеджер не отвлекается. А если есть — он переходит в отчёт и видит top-10 кодов ошибок с примерами SKU.

Ротация логов

Построчные логи быстро растут. Политика хранения: удалять детали старых успешных импортов раз в месяц. Сводные записи import_runs хранятся постоянно — они занимают мало места. Artisan-команда import:cleanup-logs --older-than=30 выполняется еженедельно по расписанию.

Сравнение подходов к логированию

Мы выбираем буферизированный подход — он не перегружает БД и даёт детальную картину по каждой строке.

Что входит в работу

1. Проектирование схемы БД под ваш каталог и частоту импортов
2. Реализация логгера с буферизацией, diff и отчётом
3. Настройка уведомлений (email, Telegram по желанию)
4. UI просмотра логов в админке (таблица с фильтрацией по импорту, статусу, SKU)
5. Ротация старых логов (Artisan-команда, настраиваемый срок хранения)
6. Документация API и инструкция для менеджеров
7. Гарантия на код — 6 месяцев

Сроки реализации

Логирование — стандартный подход для отслеживания событий в IT-системах.

Свяжитесь с нами для консультации. Закажите внедрение системы логирования уже сегодня. Получите полную прозрачность импорта и сократите потери.