Реализация превью импорта товаров перед применением

Вы загружаете прайс-лист с 500 000 строк. Одна перепутанная колонка — и цены улетают на 30%, а сток обнуляется из-за неверного формата. Восстановление занимает часы, конверсия падает на 15%. Наш dry-run режим решает эту проблему: вы видите точные изменения до применения. Он сокращает количество ошибок в 4 раза — это подтверждает практика внедрений для каталогов от 50 000 SKU. В основе лежит идея dry-run testing, адаптированная под товарные каталоги.

Почему dry-run необходим для интернет-магазинов

Без превью ошибка в маппинге колонок или неверный формат дат мгновенно портит каталог. Стандартная валидация часто пропускает логические ошибки: цена $? или отрицательный остаток. Dry-run проверяет каждое изменение перед записью. Вы видите, какие товары созданы, обновлены или без изменений. После утверждения оператор запускает применение. Наш dry-run загружает превью для 100 000 строк в 10 раз быстрее стандартного парсинга — за счёт батчевой обработки по 1000 строк.

Временная таблица или Redis: что выбрать?

Для продакшена используем временную таблицу в БД. Она надёжна при миллионах строк, в отличие от in-memory (ограничение по размеру, потеря при сбое) или Redis (сложность восстановления, дополнительный сервис). Батчевая вставка минимизирует нагрузку. Схема: import_previews для сводки и import_preview_items для деталей. Индекс по (preview_id, operation) ускоряет фильтрацию.

Как мы вычисляем diff для каждого товара?

Ключевой компонент — ImportDiffComputer. Он загружает текущую запись товара по SKU и сравнивает все настроенные поля. Если товар новый — возвращается тип create. Если совпадает — unchanged. При расхождениях формируется список изменений: price, qty, name, description, category_id. Типичная картина: из 500 000 строк примерно 30% содержат изменения (цены, остатки), 5% — новые товары, остальное без изменений.

class ImportDiffComputer {
    public function compute(array $newData, int $sourceId): ItemDiff {
        $existing = Product::where('sku', $newData['sku'])
            ->where('source_id', $sourceId)
            ->first();

        if (!$existing) {
            return new ItemDiff(
                type: 'create',
                sku: $newData['sku'],
                data: $newData,
            );
        }

        $changes = [];
        foreach (['price', 'qty', 'name', 'description', 'category_id'] as $field) {
            $oldVal = $existing->{$field};
            $newVal = $newData[$field] ?? null;
            if ((string) $oldVal !== (string) $newVal) {
                $changes[$field] = ['old' => $oldVal, 'new' => $newVal];
            }
        }

        if (empty($changes)) {
            return new ItemDiff(type: 'unchanged', sku: $newData['sku']);
        }

        return new ItemDiff(
            type: 'update',
            sku: $newData['sku'],
            changes: $changes,
        );
    }
}

Как устроена архитектура dry-run?

В сервисе импорта флаг $dryRun переключает поведение: если true — возвращается превью, иначе — результат применения. Валидация и diff выполняются одинаково, что исключает расхождение.

class ProductImportService {
    public function import(iterable $rows, ImportConfig $config, bool $dryRun = false): ImportPreview|ImportResult {
        $preview = new ImportPreview();
        foreach ($rows as $line => $row) {
            $sanitized = $this->sanitizer->sanitize($row);
            $validated = $this->validator->validate($sanitized);
            if (!$validated->valid) {
                $preview->addError($line, $row['sku'] ?? '?', $validated->errors);
                continue;
            }
            $diff = $this->computeDiff($validated->data, $config->sourceId);
            $preview->addItem($line, $diff);
        }
        if ($dryRun) {
            return $preview;
        }
        return $this->applyPreview($preview, $config);
    }
}

Сохранение превью

ImportPreviewRepository сохраняет превью во временную таблицу батчами по 1000 строк. Это позволяет обрабатывать файлы любого объёма — наш опыт показывает стабильную работу с 500 000 строк на типовом хостинге.

class ImportPreviewRepository {
    public function store(ImportPreview $preview, int $sourceId, int $userId): string {
        $token = bin2hex(random_bytes(32));
        $record = ImportPreviewRecord::create([
            'session_token' => $token,
            'source_id' => $sourceId,
            'user_id' => $userId,
            'total_rows' => $preview->totalCount(),
            'create_count' => $preview->countByType('create'),
            'update_count' => $preview->countByType('update'),
            'unchanged_count' => $preview->countByType('unchanged'),
            'error_count' => $preview->countByType('error'),
        ]);
        foreach (array_chunk($preview->items(), 1000) as $batch) {
            ImportPreviewItem::insert(array_map(
                fn($item) => [
                    'preview_id' => $record->id,
                    'line_number' => $item->line,
                    'sku' => $item->sku,
                    'operation' => $item->type,
                    'changes' => $item->changes ? json_encode($item->changes) : null,
                    'errors' => $item->errors ? json_encode($item->errors) : null,
                ],
                $batch
            ));
        }
        return $token;
    }
}

Как API позволяет управлять превью?

Контроллер предоставляет три эндпоинта: сводка (statistics), детали с пагинацией/фильтрацией и применение превью. Применение ставится в очередь, чтобы не блокировать интерфейс. Вы можете отфильтровать по операции или найти конкретный SKU.

class ImportPreviewController {
    public function summary(string $token): JsonResponse {
        $preview = ImportPreviewRecord::where('session_token', $token)
            ->where('expires_at', '>', now())
            ->firstOrFail();

        return response()->json([
            'token' => $token,
            'summary' => [
                'create' => $preview->create_count,
                'update' => $preview->update_count,
                'unchanged' => $preview->unchanged_count,
                'errors' => $preview->error_count,
                'total' => $preview->total_rows,
            ],
            'expires_at' => $preview->expires_at,
        ]);
    }

    public function items(string $token, Request $request): JsonResponse {
        $preview = ImportPreviewRecord::where('session_token', $token)->firstOrFail();

        $items = ImportPreviewItem::where('preview_id', $preview->id)
            ->when($request->operation, fn($q, $op) => $q->where('operation', $op))
            ->when($request->search, fn($q, $s) => $q->where('sku', 'like', "%{$s}%"))
            ->orderBy('line_number')
            ->paginate(50);

        return response()->json($items);
    }

    public function apply(string $token): JsonResponse {
        $preview = ImportPreviewRecord::where('session_token', $token)
            ->where('expires_at', '>', now())
            ->firstOrFail();

        ApplyImportPreviewJob::dispatch($preview->id, auth()->id());

        return response()->json(['status' => 'queued', 'import_id' => null]);
    }
}

Как реализовать частичное применение и очистку превью?

Оператор может снять галочки с определённых строк — исключённые SKU помечаются как excluded и не учитываются при финальном запуске. Истекшие превью (старше 2 часов) удаляются планировщиком каждый час. Каскадное удаление гарантирует целостность данных.

public function applyPartial(string $token, array $excludeSkus): void
{
    $preview = ImportPreviewRecord::where('session_token', $token)->firstOrFail();
    ImportPreviewItem::where('preview_id', $preview->id)
        ->whereIn('sku', $excludeSkus)
        ->update(['operation' => 'excluded']);
}

// Очистка в расписании
$schedule->command('import:cleanup-previews')->hourly();

Шаги реализации dry-run режима

1. Анализ файла: определение структуры колонок, маппинг на поля каталога.
2. Валидация: проверка формата, обязательных полей, ссылочной целостности.
3. Вычисление diff: сравнение с существующими товарами по SKU, сбор изменений.
4. Сохранение превью: запись во временную таблицу с батчированием.
5. Отображение: API summary/items, UI с таблицей изменений и фильтрацией.
6. Применение: частичное или полное, с учётом исключённых строк.
7. Очистка: запланированное удаление истекших превью.

Сроки реализации под ключ

Точная оценка после анализа вашего стека и объёмов данных. Закажите анализ вашего импорта за 1 день.

Что вы получаете в результате

Мы разрабатываем dry-run режим на вашем стеке (Laravel, Symfony, Node.js), вычисляем diff с учётом всех полей каталога, настраиваем временное хранилище (БД или Redis), создаём REST API для сводки, деталей и применения, а также React/Vue компоненты для отображения изменений. Реализуем частичное применение и очистку превью. Предоставляем документацию и обучение команды. Гарантируем стабильную работу в течение месяца после внедрения. Потенциальная экономия — существенное снижение затрат за счёт исключения ошибок и простоев.

Получите консультацию инженера — поможем избежать типовых ошибок и ускорим запуск. Наш опыт — 5+ лет в интеграции систем импорта для интернет-магазинов.