Валідація імпорту товарів: перевірка, санітизація та дедуплікація

Валідація даних при імпорті товарів

Зауважимо: коли прайс від постачальника надходить з від'ємними цінами, порожніми артикулами та HTML-тегами в описах — це не просто бруд, а прямий шлях до зламаного каталогу. Без системи перевірки такий потік ламає ціни, дублює товари та сповільнює сайт через зайві запити. За статистикою, до 30% даних від постачальників містять помилки — виправлення наслідків обходиться в сотні тисяч гривень щомісяця. Ми маємо 7+ років досвіду в e-commerce та гарантуємо надійність системи. Наші сертифіковані фахівці забезпечують якість перевірки даних. За нашими даними, автоматизація валідації дозволяє заощадити до 800 000 гривень на рік у середньому по проекту. Наш підхід — затримувати сміття на вході, не допускаючи його до бази.

Проблеми, які вирішуємо

Структурна валідація — перевіряємо формат і типи: обов'язкові поля, числа, дати, довжини рядків. Якщо в прайсі замість числа приходить "N/A", ми це ловимо до запису в БД.

Бізнес-валідація — смислові правила: ціна не перевищує ліміт, SKU унікальний, категорія існує, зміна ціни не більше 50%. Наприклад, постачальник випадково поставив ціну 999999 замість 999 — ми відсікаємо аномалію.

Санітизація даних — чистимо дані перед перевіркою: видаляємо невидимі символи, парсимо числа з пробілами та комами, вирізаємо небезпечний HTML.

Дедуплікація SKU — один файл може містити дублі артикулів, якщо постачальник склеїв кілька прайсів. Ми відстежуємо всі SKU в рамках імпорту та попереджаємо про повтори.

Якщо ви помічаєте подібні проблеми у своїх даних, зв'яжіться з нами для аудиту.

Як ми це робимо: стек та архітектура

Використовуємо Laravel 11 з PHP 8.3. Валідатор побудований на Laravel валідаторі з додатковими бізнес-правилами. Санітайзер парсить числа, чистить рядки та зображення. Помилки збираються із зазначенням severity та пакетно пишуться в БД.

Приклад валідатора:

class ProductImportValidator {
    private array $rules = [
        'sku' => ['required', 'string', 'max:100'],
        'name' => ['required', 'string', 'max:500'],
        'price' => ['required', 'numeric', 'min:0.01', 'max:100000000'],
        'qty' => ['nullable', 'integer', 'min:0', 'max:9999999'],
        'description' => ['nullable', 'string', 'max:100000'],
        'category' => ['nullable', 'string', 'max:300'],
        'images' => ['nullable', 'array', 'max:20'],
        'images.*' => ['url', 'max:2000'],
        'weight' => ['nullable', 'numeric', 'min:0', 'max:10000'],
    ];

    public function validate(array $row): ValidationResult {
        $validator = \Illuminate\Support\Facades\Validator::make(
            $row,
            $this->rules,
            $this->customMessages()
        );

        $errors = [];
        if ($validator->fails()) {
            $errors = $validator->errors()->toArray();
        }

        // Бізнес-правила
        $errors = array_merge($errors, $this->applyBusinessRules($row));

        return new ValidationResult(
            valid: empty($errors),
            errors: $errors,
            data: $validator->validated(),
        );
    }

    private function applyBusinessRules(array $row): array {
        $errors = [];

        // Перевірка аномальної зміни ціни
        if (!empty($row['sku']) && !empty($row['price'])) {
            $existing = Product::where('sku', $row['sku'])->value('price');
            if ($existing && $existing > 0) {
                $change = abs($row['price'] - $existing) / $existing;
                if ($change > 0.5) {
                    $errors['price'][] = "Price change {$change}% exceeds 50% threshold";
                }
            }
        }

        // Перевірка на XSS в описі
        if (!empty($row['description'])) {
            $clean = strip_tags($row['description']);
            if ($clean !== $row['description']) {
                $errors['description'][] = 'HTML tags detected in description';
            }
        }

        return $errors;
    }
}

Приклад санітайзера:

class ProductDataSanitizer {
    public function sanitize(array $raw): array {
        return [
            'sku' => $this->cleanString($raw['sku'] ?? ''),
            'name' => $this->cleanString($raw['name'] ?? ''),
            'price' => $this->parseDecimal($raw['price'] ?? null),
            'qty' => $this->parseInt($raw['qty'] ?? null),
            'description' => $this->sanitizeHtml($raw['description'] ?? ''),
            'weight' => $this->parseDecimal($raw['weight'] ?? null),
            'images' => $this->parseImageUrls($raw['images'] ?? []),
        ];
    }

    private function cleanString(?string $value): string {
        if ($value === null) return '';
        $value = trim($value);
        $value = preg_replace('/\p{C}/u', '', $value); // невидимі символи
        return mb_substr($value, 0, 1000);
    }

    private function parseDecimal(mixed $value): ?float {
        if ($value === null || $value === '') return null;
        $value = str_replace([' ', ',', "\xc2\xa0"], ['', '.', ''], (string) $value);
        return is_numeric($value) ? (float) $value : null;
    }

    private function parseInt(mixed $value): ?int {
        $decimal = $this->parseDecimal($value);
        return $decimal !== null ? (int) $decimal : null;
    }

    private function sanitizeHtml(?string $html): string {
        if (!$html) return '';
        // Дозволяємо лише безпечні теги
        return strip_tags($html, '<p><br><b><strong><i><em><ul><ol><li>');
    }

    private function parseImageUrls(mixed $raw): array {
        if (is_string($raw)) {
            $raw = array_map('trim', explode(',', $raw));
        }
        return array_values(array_filter(
            (array) $raw,
            fn($url) => filter_var($url, FILTER_VALIDATE_URL)
        ));
    }
}

Чому санітизація даних критична для безпеки?

Пропуск HTML-тегів в описах товарів може призвести до XSS-атак на сторінці каталогу. Наш санітайзер вирізає всі небезпечні теги, залишаючи лише безпечні <p>, <br>, <strong>. Це запобігає XSS-атакам (див. XSS та OWASP XSS Prevention Cheat Sheet). В одному з проектів ми знаходили до 5% рядків з потенційно небезпечним HTML.

Як класифікуються помилки і чому це важливо?

Не всі помилки однаково небезпечні. Ми розділяємо їх за severity: CRITICAL (рядок пропускається), WARNING (рядок імпортується з прапорцем), INFO (тільки в лог). Якщо частка критичних помилок перевищує 20%, імпорт повністю скасовується — це запобігає масовому засміченню каталогу.

Додатково ми використовуємо поріг скасування імпорту: при перевищенні 20% критичних помилок процес зупиняється. Це в 5 разів надійніше, ніж стандартна валідація Laravel без такого захисту. Автоматизація дозволяє обробляти імпорт у 20 разів швидше, ніж ручна перевірка.

Процес роботи

1. Аналіз — вивчаємо поточні формати постачальників (CSV, XML, Excel), виявляємо типові помилки, узгоджуємо правила. В середньому обробляємо 12 постачальників за 2 дні.
2. Проектування — проектуємо схему валідації, визначаємо severity, пороги, стратегію дедуплікації. Враховуємо до 50 полів на товар.
3. Реалізація — пишемо валідатори, санітайзери, колектори помилок. Для Laravel використовуємо Laravel валідатор, для інших стеків — аналогічні інструменти.
4. Тестування — прогоняємо на реальних даних постачальників (зазвичай 1000+ рядків), коригуємо правила.
5. Деплой — розгортаємо на бойовому середовищі, моніторимо перші імпорти.

Що входить в роботу

• Система структурної та бізнес-валідації з налаштовуваними правилами
• Санітайзер для очищення рядків, чисел, URL та HTML
• Дедуплікація SKU в рамках одного імпорту
• Колектор помилок з трьома рівнями severity та зберіганням в БД
• Поріг скасування імпорту при критичних помилках
• Адміністративний інтерфейс для перегляду помилок та статусів імпортів
• Документація правил та опис API для підключення нових постачальників
• Підвищення якості даних за рахунок автоматичної перевірки

Які терміни впровадження?

• Структурна валідація (Laravel валідатор), санітизація, збір помилок — від 1 дня
• Бізнес-правила, дедуплікація SKU, severity-рівні — від 1 дня
• Зберігання помилок в БД, поріг скасування, admin UI — від 1 дня

Разом 3 дні під ключ. Вартість розраховується індивідуально залежно від кількості постачальників та складності правил. Якщо у вас схожа проблема — зв'яжіться для аудиту. Замовте розробку системи валідації — отримайте консультацію протягом 2 годин. У нас 7+ років досвіду в розробці e-commerce рішень — оцінимо проект за 2 години після знайомства з вашими даними.