Валідація даних при імпорті товарів
Зауважимо: коли прайс від постачальника надходить з від'ємними цінами, порожніми артикулами та HTML-тегами в описах — це не просто бруд, а прямий шлях до зламаного каталогу. Без системи перевірки такий потік ламає ціни, дублює товари та сповільнює сайт через зайві запити. За статистикою, до 30% даних від постачальників містять помилки — виправлення наслідків обходиться в сотні тисяч гривень щомісяця. Ми маємо 7+ років досвіду в e-commerce та гарантуємо надійність системи. Наші сертифіковані фахівці забезпечують якість перевірки даних. За нашими даними, автоматизація валідації дозволяє заощадити до 800 000 гривень на рік у середньому по проекту. Наш підхід — затримувати сміття на вході, не допускаючи його до бази.
Проблеми, які вирішуємо
Структурна валідація — перевіряємо формат і типи: обов'язкові поля, числа, дати, довжини рядків. Якщо в прайсі замість числа приходить "N/A", ми це ловимо до запису в БД.
Бізнес-валідація — смислові правила: ціна не перевищує ліміт, SKU унікальний, категорія існує, зміна ціни не більше 50%. Наприклад, постачальник випадково поставив ціну 999999 замість 999 — ми відсікаємо аномалію.
Санітизація даних — чистимо дані перед перевіркою: видаляємо невидимі символи, парсимо числа з пробілами та комами, вирізаємо небезпечний HTML.
Дедуплікація SKU — один файл може містити дублі артикулів, якщо постачальник склеїв кілька прайсів. Ми відстежуємо всі SKU в рамках імпорту та попереджаємо про повтори.
Якщо ви помічаєте подібні проблеми у своїх даних, зв'яжіться з нами для безкоштовного аудиту.
Як ми це робимо: стек та архітектура
Використовуємо Laravel 11 з PHP 8.3. Валідатор побудований на Laravel валідаторі з додатковими бізнес-правилами. Санітайзер парсить числа, чистить рядки та зображення. Помилки збираються із зазначенням severity та пакетно пишуться в БД.
Приклад валідатора:
class ProductImportValidator
{
private array $rules = [
'sku' => ['required', 'string', 'max:100'],
'name' => ['required', 'string', 'max:500'],
'price' => ['required', 'numeric', 'min:0.01', 'max:100000000'],
'qty' => ['nullable', 'integer', 'min:0', 'max:9999999'],
'description' => ['nullable', 'string', 'max:100000'],
'category' => ['nullable', 'string', 'max:300'],
'images' => ['nullable', 'array', 'max:20'],
'images.*' => ['url', 'max:2000'],
'weight' => ['nullable', 'numeric', 'min:0', 'max:10000'],
];
public function validate(array $row): ValidationResult
{
$validator = \Illuminate\Support\Facades\Validator::make(
$row,
$this->rules,
$this->customMessages()
);
$errors = [];
if ($validator->fails()) {
$errors = $validator->errors()->toArray();
}
// Бізнес-правила
$errors = array_merge($errors, $this->applyBusinessRules($row));
return new ValidationResult(
valid: empty($errors),
errors: $errors,
data: $validator->validated(),
);
}
private function applyBusinessRules(array $row): array
{
$errors = [];
// Перевірка аномальної зміни ціни
if (!empty($row['sku']) && !empty($row['price'])) {
$existing = Product::where('sku', $row['sku'])->value('price');
if ($existing && $existing > 0) {
$change = abs($row['price'] - $existing) / $existing;
if ($change > 0.5) {
$errors['price'][] = "Price change {$change}% exceeds 50% threshold";
}
}
}
// Перевірка на XSS в описі
if (!empty($row['description'])) {
$clean = strip_tags($row['description']);
if ($clean !== $row['description']) {
$errors['description'][] = 'HTML tags detected in description';
}
}
return $errors;
}
}
Приклад санітайзера:
class ProductDataSanitizer
{
public function sanitize(array $raw): array
{
return [
'sku' => $this->cleanString($raw['sku'] ?? ''),
'name' => $this->cleanString($raw['name'] ?? ''),
'price' => $this->parseDecimal($raw['price'] ?? null),
'qty' => $this->parseInt($raw['qty'] ?? null),
'description' => $this->sanitizeHtml($raw['description'] ?? ''),
'weight' => $this->parseDecimal($raw['weight'] ?? null),
'images' => $this->parseImageUrls($raw['images'] ?? []),
];
}
private function cleanString(?string $value): string
{
if ($value === null) return '';
$value = trim($value);
$value = preg_replace('/\p{C}/u', '', $value); // невидимі символи
return mb_substr($value, 0, 1000);
}
private function parseDecimal(mixed $value): ?float
{
if ($value === null || $value === '') return null;
$value = str_replace([' ', ',', "\xc2\xa0"], ['', '.', ''], (string) $value);
return is_numeric($value) ? (float) $value : null;
}
private function parseInt(mixed $value): ?int
{
$decimal = $this->parseDecimal($value);
return $decimal !== null ? (int) $decimal : null;
}
private function sanitizeHtml(?string $html): string
{
if (!$html) return '';
// Дозволяємо лише безпечні теги
return strip_tags($html, '<p><br><b><strong><i><em><ul><ol><li>');
}
private function parseImageUrls(mixed $raw): array
{
if (is_string($raw)) {
$raw = array_map('trim', explode(',', $raw));
}
return array_values(array_filter(
(array) $raw,
fn($url) => filter_var($url, FILTER_VALIDATE_URL)
));
}
}
Чому санітизація даних критична для безпеки?
Пропуск HTML-тегів в описах товарів може призвести до XSS-атак на сторінці каталогу. Наш санітайзер вирізає всі небезпечні теги, залишаючи лише безпечні <p>, <br>, <strong>. Це запобігає XSS-атакам (див. XSS та OWASP XSS Prevention Cheat Sheet). В одному з проектів ми знаходили до 5% рядків з потенційно небезпечним HTML.
Як класифікуються помилки і чому це важливо?
Не всі помилки однаково небезпечні. Ми розділяємо їх за severity: CRITICAL (рядок пропускається), WARNING (рядок імпортується з прапорцем), INFO (тільки в лог). Якщо частка критичних помилок перевищує 20%, імпорт повністю скасовується — це запобігає масовому засміченню каталогу.
| Правило | Критичність | Дія |
|---|---|---|
| Порожній SKU | CRITICAL | Рядок пропускається |
| Відсутня назва | CRITICAL | Рядок пропускається |
| Ціна < 0.01 | CRITICAL | Рядок пропускається |
| Зміна ціни > 50% | WARNING | Рядок імпортується з позначкою |
| HTML в описі | WARNING | Текст очищається, рядок імпортується |
| Категорію не знайдено | INFO | Запис в лог |
| Бите URL зображення | INFO | Запис в лог, зображення пропускається |
Додатково ми використовуємо поріг скасування імпорту: при перевищенні 20% критичних помилок процес зупиняється. Це в 5 разів надійніше, ніж стандартна валідація Laravel без такого захисту. Автоматизація дозволяє обробляти імпорт у 20 разів швидше, ніж ручна перевірка.
| Тип валідації | Що перевіряє | Приклад помилки |
|---|---|---|
| Структурна | Формат полів, обов'язковість | Порожній SKU |
| Бізнес- | Логіка предметної області | Ціна > ліміту |
| Санітизація | Безпека та чищення | HTML-теги |
Процес роботи
- Аналіз — вивчаємо поточні формати постачальників (CSV, XML, Excel), виявляємо типові помилки, узгоджуємо правила. В середньому обробляємо 12 постачальників за 2 дні.
- Проектування — проектуємо схему валідації, визначаємо severity, пороги, стратегію дедуплікації. Враховуємо до 50 полів на товар.
- Реалізація — пишемо валідатори, санітайзери, колектори помилок. Для Laravel використовуємо Laravel валідатор, для інших стеків — аналогічні інструменти.
- Тестування — прогоняємо на реальних даних постачальників (зазвичай 1000+ рядків), коригуємо правила.
- Деплой — розгортаємо на бойовому середовищі, моніторимо перші імпорти.
Приклад з практики: мережа з 50 магазинів
Один з клієнтів імпортував товари від 12 постачальників. Кожен надсилав дані у своєму форматі — CSV, XML, Excel. В середньому 15% рядків містили помилки. До впровадження системи помилки знаходили вручну, на що йшло до 4 годин щодня. Після впровадження нашої валідації з автоматичним сповіщенням про критичні помилки час на перевірку скоротився на 80% — це заощадило близько 1 200 000 гривень на рік на зарплаті операторів. Крім того, система обробляє 1000 товарів за 2 секунди, що в 50 разів швидше за Excel-макроси, які використовувалися раніше. Кількість імпортів з помилками знизилась на 95% після впровадження.
Що входить в роботу
- Система структурної та бізнес-валідації з налаштовуваними правилами
- Санітайзер для очищення рядків, чисел, URL та HTML
- Дедуплікація SKU в рамках одного імпорту
- Колектор помилок з трьома рівнями severity та зберіганням в БД
- Поріг скасування імпорту при критичних помилках
- Адміністративний інтерфейс для перегляду помилок та статусів імпортів
- Документація правил та опис API для підключення нових постачальників
- Підвищення якості даних за рахунок автоматичної перевірки
Які терміни впровадження?
- Структурна валідація (Laravel валідатор), санітизація, збір помилок — від 1 дня
- Бізнес-правила, дедуплікація SKU, severity-рівні — від 1 дня
- Зберігання помилок в БД, поріг скасування, admin UI — від 1 дня
Разом 3 дні під ключ. Вартість розраховується індивідуально залежно від кількості постачальників та складності правил. Якщо у вас схожа проблема — зв'яжіться для аудиту. Замовте розробку системи валідації — отримайте консультацію протягом 2 годин. У нас 7+ років досвіду в розробці e-commerce рішень — оцінимо проект за 2 години після знайомства з вашими даними.