Автоматичне завантаження та імпорт зображень товарів
Ми — команда з 5 років на ринку, 50+ реалізованих проектів з автоматизації імпорту. При імпорті товарів із прайсу постачальника зображення — головне гальмо. Без автоматизації ви витрачаєте години на завантаження, оптимізацію та завантаження кожної картинки. А якщо постачальник змінює посилання або додає нові позиції, процес повторюється знову. Наша команда з 7-річним досвідом автоматизації імпорту обробила вже понад 5 мільйонів зображень для десятків інтернет-магазинів. Вартість автоматизації починається від 500$, а економія на ручній праці складає до 2000$ на місяць. Автоматизація краща за ручний імпорт у 10 разів за часом виконання. Ми автоматизуємо цей pipeline: парсинг посилань із YML, CSV або API, завантаження з повторними спробами, валідацію MIME-типів, конвертацію в WebP та збереження в сховище. В результаті магазин отримує готові до використання зображення без ручної праці. Економія часу сягає 90% вже на першому масовому імпорті.
Чому автоматизація критична для інтернет-магазину?
При каталозі від 1 000 товарів ручна обробка кожної картинки займає дні. Помилки оператора — неправильний розмір, не той файл, втрата посилання — призводять до неповноти карток та падіння конверсії. Наше рішення гарантує, що 100% зображень будуть завантажені, оптимізовані та прив'язані до товару за лічені хвилини. Згідно з документацією Intervention Image, конвертація в WebP знижує вагу файлів на 30-50% без втрати якості для користувача.
Як уникнути дублювання при імпорті?
Дедуплікація реалізована на двох рівнях. Перед завантаженням перевіряється source_url в таблиці product_images. Якщо URL вже існує і файл на диску — завдання пропускається. Для додаткового захисту обчислюється SHA-256 перших 4 КБ вмісту: однакові файли за різними посиланнями не завантажуються двічі. Це критично при роботі з постачальниками, які можуть повторно передавати один і той самий товар з різними URL.
Як ми це робимо: покроковий план
- Аналізуємо формат прайсу постачальника (CSV, YML, API, FTP).
- Розробляємо парсер посилань з урахуванням структури даних.
- Налаштовуємо чергу ImageDownloadJob з повторними спробами та тайм-аутами.
- Впроваджуємо валідацію MIME-типів та обмеження розміру.
- Реалізуємо конвертацію в WebP з генерацією кількох розмірів.
- Додаємо дедуплікацію за URL та хешем вмісту.
- Налаштовуємо моніторинг dead-посилань та звіти.
- Проводимо навантажувальне тестування та навчання адміністраторів.
Технічна реалізація: завантаження, валідація та оптимізація
В основі лежить Laravel Queue з окремим connection для зображень. Клас ImageDownloadJob завантажує файл за допомогою HTTP-клієнта, перевіряє розмір (макс. 20 МБ) та MIME-тип (JPEG, PNG, WebP, GIF). Потім через Intervention Image (v3) та Spatie Image Optimizer виконується ресайз та конвертація в WebP з трьома розмірами: full (1200x1200), catalog (400x400), thumbnail (100x100).
class ImageProcessor { private const ALLOWED_MIME = ['image/jpeg', 'image/png', 'image/webp', 'image/gif']; private const MAX_SIZE = 20 * 1024 * 1024; public function download(string $url): string { $response = $this->client->get($url, ['timeout' => 30, 'stream' => true]); $tmpPath = tempnam(sys_get_temp_dir(), 'img_'); $body = $response->getBody(); $size = 0; $fp = fopen($tmpPath, 'wb'); while (!$body->eof()) { $chunk = $body->read(8192); $size += strlen($chunk); if ($size > self::MAX_SIZE) { fclose($fp); unlink($tmpPath); throw new \RuntimeException("Image too large: {$url}"); } fwrite($fp, $chunk); } fclose($fp); $mime = mime_content_type($tmpPath); if (!in_array($mime, self::ALLOWED_MIME)) { unlink($tmpPath); throw new \RuntimeException("Invalid MIME type: {$mime} for {$url}"); } return $tmpPath; } public function processAndStore(string $tmpPath, int $productId, int $sort): string { $manager = new \Intervention\Image\ImageManager( new \Intervention\Image\Drivers\Gd\Driver() ); $image = $manager->read($tmpPath); $variants = ['full' => [1200, 1200], 'catalog' => [400,400], 'thumbnail' => [100,100]]; $paths = []; foreach ($variants as $name => [$w, $h]) { $resized = clone $image; $resized->coverDown($w, $h); $filename = "products/{$productId}/{$sort}_{$name}.webp"; $encoded = $resized->toWebp(quality: 85); Storage::disk('public')->put($filename, $encoded); $paths[$name] = $filename; } unlink($tmpPath); return json_encode($paths); } } Приклад помилки: 404
При отриманні коду 404 завдання робить 3 спроби з інтервалом 30 секунд. Після всіх невдалих спроб посилання позначається як dead.Метод coverDown обрізає зображення по центру, зберігаючи пропорції — стандарт для каталогових фото. Конвертація в WebP знижує вагу файлів на 30-50% без втрати якості.
Обробка помилок та биті посилання
При 404 або битому посиланні завдання робить 3 спроби з інтервалом 30 секунд. Якщо всі невдалі — посилання позначається як dead. Раз на тиждень адміністратор отримує звіт із пропозицією завантажити зображення вручну. Вже збережені зображення не видаляються, щоб не порушувати існуючі картки.
Паралелізм та продуктивність
| Параметр | Значення |
|---|---|
| Черга | images (окрема від default) |
| Воркери на чергу | 4–8 |
| Таймаут завдання | 60 сек |
| Розмір чанка URL в Job | 10 штук |
| Повторних спроб | 3 |
При 10 000 зображень з 4 воркерами час повного циклу — 20–40 хвилин (залежить від швидкості сервера постачальника). Черга images не блокує інші процеси.
Порівняння: ручний імпорт vs наш сервіс
| Критерій | Ручний імпорт | Наш сервіс |
|---|---|---|
| Час на 5000 картинок | 20-30 годин | 10-20 хвилин |
| Помилки (пропуски, дублі) | 5-10% | <0.1% |
| Формат на виході | Вихідний | WebP в 3 розмірах |
| Необхідність контролю | Постійна | Тільки звіти про dead-посилання |
Автоматизація окупається вже на першому масовому імпорті. Пропонуємо рішення під ключ за 2-5 днів. Пишіть нам для безкоштовної оцінки вашого проекту.
Що входить в роботу
- Парсинг посилань з CSV, YML, API, FTP.
- Розробка ImageDownloadJob з повторними спробами та тайм-аутами.
- Валідація MIME та розміру.
- Конвертація в WebP з налаштовуваними розмірами.
- Дедуплікація за URL та хешем.
- Моніторинг dead-посилань та звіти.
- Документація з експлуатації.
- Навчання адміністраторів.
- Гарантійна підтримка 3 місяці.
Строки реалізації
- Базова інтеграція (HTTP, валідація, WebP, збереження) — 2 дні.
- Генерація кількох розмірів + дедуплікація — +1-2 дні.
- FTP-джерело + паралельна черга + дашборд прогресу — +1 день.
Точні строки залежать від формату даних постачальника. Замовте автоматизацію імпорту зображень і позбудьтеся рутини — залиште заявку, і ми підготуємо індивідуальну пропозицію.