Реалізація масового імпорту товарів (Bulk Import) на сайт

Коли 150 000 позицій кладуть сайт

Уявіть: клієнт приносить прайс-лист на 150 000 товарів. Спроба завантажити все одразу — і сайт висне, база не відповідає. Це типовий запит на Bulk Import. За 5 років ми реалізували понад 80 проектів з обсягами до 500 000 SKU. Накопичили досвід, як уникнути повільного завантаження, N+1 запитів та крашу БД. Розкажемо, як досягти стабільності за допомогою чанків, черг та попереднього завантаження довідників.

Які проблеми вирішуємо

Повільне завантаження: поштучні INSERT/UPDATE 100 000 рядків займають години. N+1 запити при розв'язанні довідників вбивають продуктивність. Краш БД через неоптимальні транзакції. Втрата даних при помилках у середині імпорту. Всі ці болі усуваються правильною архітектурою. Замовте розробку вже сьогодні — ми покажемо, як це працює на вашому проекті.

Як масовий імпорт впливає на продуктивність?

Ключовий фактор — обсяг даних. Для 1 000 позицій достатньо синхронної обробки, для 100 000 — асинхронна черга з чанками.

Bulk upsert в 10 разів швидше поштучних запитів — це підтверджує наша практика.

Чому chunk + queue — ключ до стабільності?

Файл з 100 000 рядків не обробляється в один Job. Розбиваємо на чанки по 500 рядків, кожен чанк — окремий Job в черзі bulk-import. Воркери (2–4) обробляють паралельно, не зачіпаючи основну чергу.

class BulkImportDispatcher { private const CHUNK_SIZE = 500; public function dispatch(ImportFile $file): void { $import = ImportRun::create([ 'file_id' => $file->id, 'status' => 'dispatching', 'total' => 0, ]); $chunkIndex = 0; foreach ($file->parser()->chunks(self::CHUNK_SIZE) as $chunk) { ProcessImportChunkJob::dispatch($import->id, $chunkIndex, $chunk) ->onQueue('bulk-import'); $chunkIndex++; } $import->update([ 'status' => 'processing', 'total_chunks' => $chunkIndex, ]); } } 

Технічна реалізація: від чанків до upsert

Bulk Upsert замість поштучних INSERT/UPDATE

Головний інструмент продуктивності — INSERT ... ON CONFLICT DO UPDATE (upsert). Laravel підтримує це через Model::upsert(). Одна операція upsert для 500 рядків у PostgreSQL займає ~50–200 мс — проти 500 × 5 мс = 2500 мс для поштучних запитів.

class ProcessImportChunkJob implements ShouldQueue { public int $timeout = 120; public function handle(): void { $rows = []; foreach ($this->chunk as $item) { $rows[] = [ 'sku' => $item['sku'], 'name' => $item['name'], 'price' => $item['price'], 'qty' => $item['qty'], 'category_id' => $this->resolveCategory($item['category']), 'source_id' => $this->import->source_id, 'updated_at' => now(), 'created_at' => now(), ]; } Product::upsert( $rows, uniqueBy: ['sku'], update: ['name', 'price', 'qty', 'category_id', 'updated_at'] ); DB::table('import_runs') ->where('id', $this->importId) ->increment('processed_chunks'); } } 

Попереднє завантаження довідників у пам'ять

Найдорожча операція — запити до БД для розв'язання залежностей. Рішення — завантажити всі довідники в пам'ять перед обробкою:

class ImportContext { private array $categoryMap; private array $supplierMap; private array $existingSkus; public function preload(int $sourceId): void { $this->categoryMap = Category::pluck('id', 'name_normalized')->all(); $this->supplierMap = Supplier::pluck('id', 'code')->all(); $this->existingSkus = Product::where('source_id', $sourceId) ->pluck('id', 'sku')->all(); } public function resolveCategoryId(string $name): ?int { return $this->categoryMap[mb_strtolower(trim($name))] ?? null; } public function productExists(string $sku): bool { return isset($this->existingSkus[$sku]); } } 

Фінальний Job: агрегація результатів

Використовуємо Bus::batch() — вбудований механізм Laravel для групування задач з колбеком на завершення:

Bus::batch( collect($chunks)->map(fn($chunk, $i) => new ProcessImportChunkJob($importId, $i, $chunk)) )->then(function (Batch $batch) use ($importId) { ImportRun::find($importId)->update([ 'status' => 'completed', 'completed_at' => now(), ]); PostImportPipeline::dispatch($importId); })->onQueue('bulk-import')->dispatch(); 

Post-import pipeline

Після завершення імпорту потрібно оновити денормалізовані дані: перерахувати наявність, оновити пошуковий індекс, фасети.

class PostImportPipeline { public function handle(int $importId): void { $productIds = ImportedProduct::where('import_id', $importId)->pluck('product_id'); Product::whereIn('id', $productIds)->each(function (Product $p) { $p->update(['in_stock' => $p->qty > 0]); }); Product::whereIn('id', $productIds)->searchable(); FilterValueRebuilder::dispatch($productIds); } } 

Моніторинг та обмеження навантаження

В адмін-інтерфейсі оператор бачить прогрес у реальному часі: кількість оброблених, помилки, час, що залишився. Дані беруться з таблиці import_runs. Виділяємо чергу bulk-import з 2–4 воркерами, основну default не зачіпаємо. Важкий імпорт запускаємо в нічний час через планувальник. Для кожної помилки записується лог, і оператор може перезапустити лише невдалі чанки — це типовий кейс для інтернет-магазинів з великим каталогом. Додатково підтримуємо інтеграцію з 1С та CommerceML — популярними джерелами даних в українському e-commerce. Отримайте консультацію — ми допоможемо налаштувати такий механізм під ваш проект.

Обсяг робіт та терміни

• Розробка chunk-диспетчера та bulk upsert.
• Попереднє завантаження довідників та фінальний Job.
• Звіт про результати (кількість оброблених, помилки).
• Документація з налаштування та запуску.
• Навчання операторів роботі з системою.
• Гарантія стабільної роботи — 3 місяці підтримки.
• Робота сертифікованих Laravel-інженерів.

Терміни: від 3 до 5 днів під ключ. Отримайте консультацію щодо вашого проекту — це безкоштовно. Зв'яжіться з нами для оцінки вашого проекту.

Data import — Wikipedia