Валідація імпорту товарів: перевірка, санітизація та дедуплікація

Валідація даних при імпорті товарів

Зауважимо: коли прайс від постачальника надходить з від'ємними цінами, порожніми артикулами та HTML-тегами в описах — це не просто бруд, а прямий шлях до зламаного каталогу. Без системи перевірки такий потік ламає ціни, дублює товари та сповільнює сайт через зайві запити. За статистикою, до 30% даних від постачальників містять помилки — виправлення наслідків обходиться в сотні тисяч гривень щомісяця. Ми маємо 7+ років досвіду в e-commerce та гарантуємо надійність системи. Наші сертифіковані фахівці забезпечують якість перевірки даних. За нашими даними, автоматизація валідації дозволяє заощадити до 800 000 гривень на рік у середньому по проекту. Наш підхід — затримувати сміття на вході, не допускаючи його до бази.

Проблеми, які вирішуємо

Структурна валідація — перевіряємо формат і типи: обов'язкові поля, числа, дати, довжини рядків. Якщо в прайсі замість числа приходить "N/A", ми це ловимо до запису в БД.

Бізнес-валідація — смислові правила: ціна не перевищує ліміт, SKU унікальний, категорія існує, зміна ціни не більше 50%. Наприклад, постачальник випадково поставив ціну 999999 замість 999 — ми відсікаємо аномалію.

Санітизація даних — чистимо дані перед перевіркою: видаляємо невидимі символи, парсимо числа з пробілами та комами, вирізаємо небезпечний HTML.

Дедуплікація SKU — один файл може містити дублі артикулів, якщо постачальник склеїв кілька прайсів. Ми відстежуємо всі SKU в рамках імпорту та попереджаємо про повтори.

Якщо ви помічаєте подібні проблеми у своїх даних, зв'яжіться з нами для безкоштовного аудиту.

Як ми це робимо: стек та архітектура

Використовуємо Laravel 11 з PHP 8.3. Валідатор побудований на Laravel валідаторі з додатковими бізнес-правилами. Санітайзер парсить числа, чистить рядки та зображення. Помилки збираються із зазначенням severity та пакетно пишуться в БД.

Приклад валідатора:

class ProductImportValidator { private array $rules = [ 'sku' => ['required', 'string', 'max:100'], 'name' => ['required', 'string', 'max:500'], 'price' => ['required', 'numeric', 'min:0.01', 'max:100000000'], 'qty' => ['nullable', 'integer', 'min:0', 'max:9999999'], 'description' => ['nullable', 'string', 'max:100000'], 'category' => ['nullable', 'string', 'max:300'], 'images' => ['nullable', 'array', 'max:20'], 'images.*' => ['url', 'max:2000'], 'weight' => ['nullable', 'numeric', 'min:0', 'max:10000'], ]; public function validate(array $row): ValidationResult { $validator = \Illuminate\Support\Facades\Validator::make( $row, $this->rules, $this->customMessages() ); $errors = []; if ($validator->fails()) { $errors = $validator->errors()->toArray(); } // Бізнес-правила $errors = array_merge($errors, $this->applyBusinessRules($row)); return new ValidationResult( valid: empty($errors), errors: $errors, data: $validator->validated(), ); } private function applyBusinessRules(array $row): array { $errors = []; // Перевірка аномальної зміни ціни if (!empty($row['sku']) && !empty($row['price'])) { $existing = Product::where('sku', $row['sku'])->value('price'); if ($existing && $existing > 0) { $change = abs($row['price'] - $existing) / $existing; if ($change > 0.5) { $errors['price'][] = "Price change {$change}% exceeds 50% threshold"; } } } // Перевірка на XSS в описі if (!empty($row['description'])) { $clean = strip_tags($row['description']); if ($clean !== $row['description']) { $errors['description'][] = 'HTML tags detected in description'; } } return $errors; } } 

Приклад санітайзера:

class ProductDataSanitizer { public function sanitize(array $raw): array { return [ 'sku' => $this->cleanString($raw['sku'] ?? ''), 'name' => $this->cleanString($raw['name'] ?? ''), 'price' => $this->parseDecimal($raw['price'] ?? null), 'qty' => $this->parseInt($raw['qty'] ?? null), 'description' => $this->sanitizeHtml($raw['description'] ?? ''), 'weight' => $this->parseDecimal($raw['weight'] ?? null), 'images' => $this->parseImageUrls($raw['images'] ?? []), ]; } private function cleanString(?string $value): string { if ($value === null) return ''; $value = trim($value); $value = preg_replace('/\p{C}/u', '', $value); // невидимі символи return mb_substr($value, 0, 1000); } private function parseDecimal(mixed $value): ?float { if ($value === null || $value === '') return null; $value = str_replace([' ', ',', "\xc2\xa0"], ['', '.', ''], (string) $value); return is_numeric($value) ? (float) $value : null; } private function parseInt(mixed $value): ?int { $decimal = $this->parseDecimal($value); return $decimal !== null ? (int) $decimal : null; } private function sanitizeHtml(?string $html): string { if (!$html) return ''; // Дозволяємо лише безпечні теги return strip_tags($html, '<p><br><b><strong><i><em><ul><ol><li>'); } private function parseImageUrls(mixed $raw): array { if (is_string($raw)) { $raw = array_map('trim', explode(',', $raw)); } return array_values(array_filter( (array) $raw, fn($url) => filter_var($url, FILTER_VALIDATE_URL) )); } } 

Чому санітизація даних критична для безпеки?

Пропуск HTML-тегів в описах товарів може призвести до XSS-атак на сторінці каталогу. Наш санітайзер вирізає всі небезпечні теги, залишаючи лише безпечні <p>, <br>, <strong>. Це запобігає XSS-атакам (див. XSS та OWASP XSS Prevention Cheat Sheet). В одному з проектів ми знаходили до 5% рядків з потенційно небезпечним HTML.

Як класифікуються помилки і чому це важливо?

Не всі помилки однаково небезпечні. Ми розділяємо їх за severity: CRITICAL (рядок пропускається), WARNING (рядок імпортується з прапорцем), INFO (тільки в лог). Якщо частка критичних помилок перевищує 20%, імпорт повністю скасовується — це запобігає масовому засміченню каталогу.

Додатково ми використовуємо поріг скасування імпорту: при перевищенні 20% критичних помилок процес зупиняється. Це в 5 разів надійніше, ніж стандартна валідація Laravel без такого захисту. Автоматизація дозволяє обробляти імпорт у 20 разів швидше, ніж ручна перевірка.

Процес роботи

1. Аналіз — вивчаємо поточні формати постачальників (CSV, XML, Excel), виявляємо типові помилки, узгоджуємо правила. В середньому обробляємо 12 постачальників за 2 дні.
2. Проектування — проектуємо схему валідації, визначаємо severity, пороги, стратегію дедуплікації. Враховуємо до 50 полів на товар.
3. Реалізація — пишемо валідатори, санітайзери, колектори помилок. Для Laravel використовуємо Laravel валідатор, для інших стеків — аналогічні інструменти.
4. Тестування — прогоняємо на реальних даних постачальників (зазвичай 1000+ рядків), коригуємо правила.
5. Деплой — розгортаємо на бойовому середовищі, моніторимо перші імпорти.

Що входить в роботу

• Система структурної та бізнес-валідації з налаштовуваними правилами
• Санітайзер для очищення рядків, чисел, URL та HTML
• Дедуплікація SKU в рамках одного імпорту
• Колектор помилок з трьома рівнями severity та зберіганням в БД
• Поріг скасування імпорту при критичних помилках
• Адміністративний інтерфейс для перегляду помилок та статусів імпортів
• Документація правил та опис API для підключення нових постачальників
• Підвищення якості даних за рахунок автоматичної перевірки

Які терміни впровадження?

• Структурна валідація (Laravel валідатор), санітизація, збір помилок — від 1 дня
• Бізнес-правила, дедуплікація SKU, severity-рівні — від 1 дня
• Зберігання помилок в БД, поріг скасування, admin UI — від 1 дня

Разом 3 дні під ключ. Вартість розраховується індивідуально залежно від кількості постачальників та складності правил. Якщо у вас схожа проблема — зв'яжіться для аудиту. Замовте розробку системи валідації — отримайте консультацію протягом 2 годин. У нас 7+ років досвіду в розробці e-commerce рішень — оцінимо проект за 2 години після знайомства з вашими даними.