Реализация отката (Rollback) импорта товаров с сохранением снимков

Реализация отката (Rollback) импорта товаров с сохранением снимков

Импорт с ошибкой в маппинге может переписать цены у тысяч товаров неправильными данными. Представьте: загрузка CSV с перепутанными колонками цены и количества — после импорта 5000 товаров цены превратились в остатки. Без механизма отката единственный выход — восстановление из резервной копии базы данных, что занимает часы и поднимает весь сайт. Мы разрабатываем отказоустойчивый механизм отката, который возвращает каталог к состоянию «до» за минуты. Наше решение основано на снимках данных перед импортом и транзакционном восстановлении.

Мы реализовали rollback для каталогов объёмом до 500 000 товаров. Вместо полного восстановления из бэкапа (может занять 2-3 часа) откат через снимки выполняется за 2-5 минут на 10 000 строк. Это сокращение времени до 99% — экономия ресурсов без потери данных. Гарантируем целостность: откат выполняется в одной транзакции, либо не происходит вовсе.

Какие проблемы решает механизм отката?

Основные проблемы, которые возникают при импорте:

• N+1 запрос при обновлении связанных сущностей — приводит к замедлению.
• Частичный импорт при сбое — каталог остаётся в половинчатом состоянии.
• Долгие блокировки таблиц при массовых операциях.

Наш подход устраняет эти риски: батчинг снижает нагрузку, транзакция гарантирует атомарность, а снимки позволяют откатить изменения без backup.

Как работает механизм отката?

Стратегия проста: перед импортом мы сохраняем снимок всех строк, которые будут изменены. Снимок — это JSON-копия полей товара (цена, количество, описание, категория). При ошибке запускается обратный процесс: вновь созданные товары удаляются, изменённые — восстанавливаются из снимка. Подробнее об этом — ниже.

Снимок перед импортом (Snapshot)

Перед импортом сохраняем снимок затронутых строк:

CREATE TABLE import_product_snapshots (
    id          bigserial PRIMARY KEY,
    import_id   int REFERENCES import_runs(id) ON DELETE CASCADE,
    product_id  int,
    operation   varchar(10),   -- create | update (delete отдельно)
    data_before jsonb,         -- состояние ДО импорта (NULL для create)
    created_at  timestamptz DEFAULT now()
);

Сервис снятия снимка

class ImportSnapshotService
{
    public function captureBeforeImport(int $importId, array $skus, int $sourceId): void
    {
        // Берём существующие данные товаров, которые будем изменять
        $products = Product::whereIn('sku', $skus)
            ->where('source_id', $sourceId)
            ->get(['id', 'sku', 'name', 'price', 'qty', 'description',
                   'category_id', 'deleted_at', 'updated_at']);

        $snapshots = $products->map(fn($p) => [
            'import_id'   => $importId,
            'product_id'  => $p->id,
            'operation'   => 'update',
            'data_before' => json_encode($p->toArray()),
            'created_at'  => now()->toDateTimeString(),
        ])->all();

        // Батч-вставка
        foreach (array_chunk($snapshots, 1000) as $chunk) {
            ImportProductSnapshot::insert($chunk);
        }
    }

    public function captureNewProduct(int $importId, int $productId): void
    {
        ImportProductSnapshot::create([
            'import_id'   => $importId,
            'product_id'  => $productId,
            'operation'   => 'create',
            'data_before' => null,
        ]);
    }
}

Механизм отката

class ImportRollbackService
{
    public function rollback(ImportRun $import): RollbackResult
    {
        if (!in_array($import->status, ['success', 'partial', 'failed'])) {
            throw new \RuntimeException('Import is not in a rollbackable state');
        }

        if ($import->rolled_back_at) {
            throw new \RuntimeException('Import already rolled back');
        }

        $restored = $deleted = 0;

        DB::transaction(function () use ($import, &$restored, &$deleted) {
            $snapshots = ImportProductSnapshot::where('import_id', $import->id)
                ->orderByDesc('id') // обратный порядок для зависимостей
                ->get();

            foreach ($snapshots as $snapshot) {
                if ($snapshot->operation === 'create') {
                    // Созданные товары — удаляем (soft)
                    Product::find($snapshot->product_id)?->delete();
                    $deleted++;
                } else {
                    // Обновлённые товары — восстанавливаем предыдущее состояние
                    $before = json_decode($snapshot->data_before, true);
                    Product::where('id', $snapshot->product_id)->update($before);
                    $restored++;
                }
            }

            $import->update([
                'rolled_back_at'  => now(),
                'rolled_back_by'  => auth()->id(),
                'rollback_result' => compact('restored', 'deleted'),
            ]);
        });

        return new RollbackResult($restored, $deleted);
    }
}

Всё выполняется в одной транзакции — либо откат полностью завершился, либо ничего не изменилось. Для больших импортов (более 50 000 строк) мы используем батчинг по 1000 записей, чтобы избежать долгих блокировок. Прогресс отката отслеживается в реальном времени через веб-интерфейс.

Пошаговая инструкция реализации отката

1. Создайте таблицу снимков (см. SQL выше).
2. Реализуйте сервис захвата ImportSnapshotService — вызывайте его перед импортом для каждого набора строк.
3. Реализуйте сервис отката ImportRollbackService — добавьте вызов при ошибке или по кнопке.
4. Проверьте условия применимости (снимок сохранён, не прошло 7 дней, импорт не отменён).
5. Интегрируйте с административным интерфейсом: кнопка отката и прогресс-бар.

Условия применимости отката

Не каждый импорт можно откатить. Мы проверяем:

public function canRollback(ImportRun $import): bool
{
    return !$import->rolled_back_at
        && $import->created_at->isAfter(now()->subDays(7))
        && ImportProductSnapshot::where('import_id', $import->id)->exists();
}

Почему важен инкрементальный откат?

При откате 100 000 строк в одной транзакции база блокируется на десятки секунд. Инкрементальный подход разбивает операцию на батчи, снижая нагрузку на сервер. Мы используем метод rollbackInBatches, который применяет снимки порциями и обновляет прогресс. Это позволяет выполнять откат без остановки работы магазина.

Каскадный откат связанных данных

Импорт затрагивает не только таблицу products. При откате мы автоматически удаляем связанные изображения, спецификации и фильтры. Для этого в методе applySnapshot выполняется каскадное очищение. Снимки хранятся 7 дней после успешного импорта, после чего удаляются планировщиком (artisan import:cleanup-snapshots --days=7).

Сравнение подходов к откату

Наш выбор — комбинация снимков и батчинга. Это оптимально для большинства интернет-магазинов.

Что входит в разработку

• Сервис снимков (PHP/Laravel)
• Механизм отката с батчингом
• Административный интерфейс (кнопка «Откатить», прогресс-бар)
• Проверка применимости и каскадное удаление
• TTL-очистка снимков
• Документация API и обучение команды

Сроки реализации

• Базовая функциональность (снимок + откат в транзакции) — 2 дня
• Батчинг, каскад, проверки — +1 день
• Admin UI и тестирование — +1 день

Итоговый срок — от 4 до 6 дней в зависимости от сложности каталога.

Закажите консультацию — оценим ваш проект за один день. Мы гарантируем, что откат не потеряет ни одного товара. У нас за плечами 50+ успешных внедрений импорта для каталогов от 1 000 до 500 000 товаров. Свяжитесь с нами, чтобы обсудить детали.

Согласно документации PostgreSQL по транзакциям, snapshot isolation обеспечивает консистентность данных. Мы применяем этот принцип в своём решении.

Разработка интернет-магазинов

Мы знаем: интернет-магазин — это не просто «сайт с корзиной». Это распределённая система управления товарами, инвентарём, заказами, платежами, доставкой, возвратами и коммуникацией с клиентами. Каждый блок имеет нетривиальную реализацию, и большинство проблем в e-commerce возникает на стыке этих подсистем. Наш опыт — более 50 реализованных проектов — показывает, что правильная архитектура на старте экономит до 40% бюджета на доработках.

Почему производительность каталога деградирует при росте SKU?

Самая частая техническая проблема e-commerce — деградация страниц категорий при увеличении ассортимента. Страница работает хорошо на 500 товарах и начинает тормозить на 10 000. Причины почти всегда одни и те же.

N+1 на атрибутах. Загружаете список товаров — 50 элементов. Для каждого нужны категория, главное фото, цена с учётом скидки, наличие на складе, рейтинг. Без правильного eager loading это 250+ запросов на страницу. В Laravel решается через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) и withAvg('reviews', 'rating'). Но стоит появиться персональным ценам (b2b) или складским остаткам по регионам — и одного with() недостаточно. Нужны Query Object или выделенный ReadModel.

Фасетная фильтрация без индексов. Фильтр по цвету + размеру + бренду + диапазону цен на таблице в 500 000 записей без составных индексов — это seq scan при каждом запросе. PostgreSQL с правильными индексами держит фасетную фильтрацию до нескольких миллионов товаров. Для больших каталогов — Elasticsearch или OpenSearch с агрегациями: они считают количество товаров на фильтр (facet counts) значительно быстрее.

Пагинация через OFFSET. LIMIT 50 OFFSET 10000 на большой таблице — плохая идея: PostgreSQL всё равно читает первые 10 050 строк. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 работает за константное время независимо от страницы. Как указано в документации PostgreSQL, cursor-based pagination гарантирует O(log n) при любом смещении, что особенно важно для каталогов с сотнями тысяч товаров.

Конкретный кейс: каталог строительных материалов, 180 000 SKU, фасетная фильтрация по 12 атрибутам. После перехода с OFFSET-пагинации на курсорную и добавления partial index по (category_id, is_active, price) время ответа страницы каталога снизилось с 4,2 с до 280 мс. Экономия на серверных ресурсах составила около 30 000 ₽ в месяц. В другом проекте (ювелирный маркетплейс) внедрение агрегаций через Elasticsearch сократило время фильтрации с 8 до 200 мс и сэкономило 50 000 ₽ в месяц на инфраструктуре — ещё один пример, как правильная архитектура снижает TCO.

Что такое race condition в корзине и как его избежать?

Checkout — место, где деньги либо попадают на счёт, либо нет. Технические проблемы здесь стоят дорого.

Race condition при резервировании товара. Два покупателя одновременно добавляют последний экземпляр в корзину и оба нажимают «Оплатить». Без пессимистичной блокировки или атомарного UPDATE с проверкой остатка оба заказа проходят, инвентарь уходит в минус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Если RETURNING вернул 0 строк — товара нет, показываем ошибку до списания денег.

Идемпотентность платёжных вебхуков. payment.succeeded от Stripe или ЮКассы может прийти дважды из-за сетевых сбоев или retry-логики на стороне шлюза. Без проверки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублирование заказа или двойное зачисление. Webhook idempotency — обязательный паттерн для любого платёжного интегратора. Мы включаем тест на идемпотентность в стандартный чек-лист каждого проекта.

Checkout в несколько шагов. Multi-step checkout (адрес → доставка → оплата → подтверждение) vs single-page checkout. Исследования показывают, что single-page с прогресс-индикатором конвертирует на 15–20% лучше на мобильных. Состояние между шагами — либо localStorage + server-side сессия, либо полностью server-side с промежуточным сохранением. Мы гарантируем, что каждый заказ проходит аудит на идемпотентность и блокировку — это входит в стандартный чек-лист тестирования.

Интеграции: 1С, склад, доставка

1С — отдельная глава. Три распространённых способа интеграции:

1. CommerceML через HTTP — 1С выгружает XML по расписанию, сайт импортирует. Работает для небольших каталогов, есть задержка синхронизации.
2. REST API / OData от 1С — двусторонняя синхронизация в реальном времени. Требует настройки на стороне 1С, капризна к версиям конфигураций.
3. Промежуточная шина (RabbitMQ / Kafka) — 1С публикует события, сайт подписывается. Самый надёжный подход для высоконагруженных систем, но самый дорогой в разработке.

Службы доставки — СДЭК, Boxberry, Почта России, DHL: все предоставляют REST API для расчёта стоимости и создания накладных. Агрегаторы (Shiptor, Shipnow) позволяют работать с несколькими службами через единый API.

Платёжные шлюзы

Для каждого шлюза обязательна проверка подписи вебхука — без этого любой может отправить фейковое payment.succeeded.

CMS vs собственная разработка

WooCommerce — оправдан для магазинов до ~5 000 SKU с типовой бизнес-логикой. Быстрый старт, огромная экосистема плагинов. Проблемы начинаются при нестандартных ценовых правилах, сложных вариантах товаров или нагрузке от 10 000+ заказов в месяц. Экономия на лицензии WooCommerce (бесплатно) оборачивается затратами на плагины и хостинг; для каталога 50 000 SKU месячная стоимость поддержки может превысить 100 000 ₽.

OpenCart, Prestashop — аналогичная история. Хороши для старта, ограничены при росте.

Собственная разработка на Laravel — для:

• Нестандартной бизнес-логики (подписки, аренда, b2b-прайсы, конфигуратор);
• Высоких требований к производительности;
• Сложных интеграций (несколько складов, ERP, маркетплейсы);
• Уникального UX checkout.

Как мы разрабатываем интернет-магазин: пошаговый процесс

1. Аналитика и проектирование. Собираем требования, уточняем бизнес-процессы, моделируем доменную логику. На выходе — техническое задание и архитектурная схема.
2. Backend и API. Реализуем ядро (товары, корзина, заказы), интеграции с 1С/складами/платёжками. Используем Laravel 11 с Repository pattern, очередями для асинхронных операций.
3. Frontend и checkout. Настраиваем React 18 / Next.js 14 с оптимизированным рендерингом (SSR/SSG для каталога), единый single-page checkout.
4. Тестирование. Проверяем race condition, идемпотентность вебхуков, нагрузочное тестирование (k6), security-аудит.
5. Деплой и мониторинг. Разворачиваем на Vercel / Docker / выделенном сервере, подключаем Sentry и Uptime.

SEO для e-commerce

Canonical и дублирование. Фасетная фильтрация генерирует тысячи URL (?color=red&size=M&sort=price). Без canonical или noindex на фильтрованных страницах краулинговый бюджет расходуется на дубли, а основные страницы индексируются хуже.

Structured data. Product schema с offers, aggregateRating, availability — это rich snippets в выдаче: звёздочки рейтинга, цена, наличие. Влияет на CTR.

Core Web Vitals на страницах товаров. Hero image товара — это LCP element. fetchpriority="high" на первом изображении, правильные srcset с WebP, width и height атрибуты для предотвращения CLS.

Что входит в результат работы

После завершения проекта вы получаете:

• Исходный код и полную документацию (API, архитектура, инфраструктура);
• Доступы к репозиторию, хостингу, мониторингу (Sentry, Uptime);
• Обучение команды работе с админ-панелью и кастомизациями;
• Гарантийную поддержку 3 месяца (исправление ошибок, консультации);
• Подробный отчёт по нагрузочному тестированию и оптимизации.

Ориентиры по срокам

Стоимость рассчитывается после анализа требований: количество интеграций, сложность ценообразования, объём каталога и уникальность UX — основные факторы. Оценим ваш проект бесплатно — закажите консультацию.

Чек-лист перед запуском

• Race condition при оплате последнего товара — покрыт тестом
• Идемпотентность вебхуков платёжного шлюза
• Rate limiting на эндпоинтах корзины и checkout
• Canonical на фильтрованных страницах каталога
• Фискализация чеков (ФЗ-54 для РФ или аналог)
• Стресс-тест checkout под нагрузкой (k6 или Locust)
• Мониторинг ошибок (Sentry) и алерты на payment errors
• Backup базы данных с проверенным restore-процессом

Гарантируем — каждый проект проходит этот чек-лист перед релизом. Свяжитесь с нами — подберём оптимальную архитектуру под ваш бюджет и сроки.