Універсальний імпорт товарів із CSV, Excel, XML, JSON

Реалізація імпорту товарів з файлів постачальника (CSV/Excel/XML/JSON)

Ми стикаємося з тим, що постачальники надсилають прайс-листи у тому форматі, який зручний їм: хтось у Excel, хтось у XML, хтось у CSV з нестандартним роздільником. Ми вирішуємо задачу побудови універсального імпорту товарів, що працює з будь-яким форматом через єдиний інтерфейс без окремого коду під кожного постачальника. Ми пропонуємо гнучкий імпорт товарів із CSV, Excel, XML, JSON з автоматичним мапінгом колонок. На одному проєкті ми інтегрували прайси від 15 різних постачальників, кожен зі своєю структурою колонок. За зміну оброблялося до 500 000 рядків — ручне завантаження було неможливим. Рішення — універсальний парсер з фабрикою та мапінгом полів, який скоротив час розробки на 60% і дозволив підключати нового постачальника за 2 години. Правильна архітектура імпорту окупається вже на третьому постачальнику. Наша компанія має понад 5 років досвіду в автоматизації імпорту та реалізувала більше 30 подібних проектів.

Чому універсальний інтерфейс парсера — ключ до масштабування?

Єдиний інтерфейс FileParserInterface дозволяє підключати нові формати без зміни логіки імпорту. Універсальний імпорт на основі фабрики парсерів у 10 разів швидше за розробку окремого імпорту для кожного постачальника. Фабрика вибирає парсер за розширенням або MIME-типом. Наприклад, для CSV використовуємо налаштовуваний роздільник і кодування, для XML — потоковий XMLReader, який економить пам'ять у 10 разів краще, ніж SimpleXML. Додавання нового формату зводиться до написання одного класу та реєстрації у фабриці.

interface FileParserInterface
{
    /** @return iterable<array<string, mixed>> */
    public function parse(string $filePath): iterable;
    public function supports(string $mimeType, string $extension): bool;
}

class FileParserFactory
{
    private array $parsers;
    public function make(string $filePath): FileParserInterface
    {
        $ext = strtolower(pathinfo($filePath, PATHINFO_EXTENSION));
        $mime = mime_content_type($filePath);
        foreach ($this->parsers as $parser) {
            if ($parser->supports($mime, $ext)) return $parser;
        }
        throw new \RuntimeException("No parser for: {$ext} / {$mime}");
    }
}

Як обробляти CSV з нестандартними роздільниками та кодуваннями?

CSV — найнепередбачуваніший формат. Роздільники: кома, крапка з комою, табуляція. Кодування: UTF-8 з BOM або без, Windows-1251. Наш парсер налаштовується під кожне джерело: автоматично детектуємо BOM, конвертуємо Windows-1251 в UTF-8, а нестандартні роздільники обробляються через налаштування. Приклад:

class CsvParser implements FileParserInterface
{
    public function __construct(
        private string $delimiter = ',',
        private string $enclosure = '"',
        private bool   $hasHeader = true,
    ) {}
    public function parse(string $filePath): iterable
    {
        $handle = fopen($filePath, 'r');
        $bom = fread($handle, 3);
        fclose($handle);
        if ($bom === "\xEF\xBB\xBF") {
            $filePath = $this->removeBom($filePath);
        }
        $handle = fopen($filePath, 'r');
        $headers = $this->hasHeader ? fgetcsv($handle, 0, $this->delimiter, $this->enclosure) : null;
        while ($row = fgetcsv($handle, 0, $this->delimiter, $this->enclosure)) {
            if (!array_filter($row)) continue;
            yield $headers ? array_combine($headers, $row) : $row;
        }
        fclose($handle);
    }
    public function supports(string $mimeType, string $extension): bool
    {
        return in_array($extension, ['csv', 'txt']) || str_contains($mimeType, 'csv');
    }
}

Для файлів більше 10 МБ використовуємо потокове читання, що знижує споживання пам'яті в 3–5 разів. Як зазначається в документації PhpSpreadsheet, читання в потоковому режимі знижує споживання пам'яті до 70%. Excel-файл на 200 МБ із setReadDataOnly(true) обробляється за 40 секунд на типовому VPS.

Обробка великих Excel та XML файлів

Для Excel використовуємо PhpSpreadsheet з опціями зниження пам'яті. Для XML — потоковий XMLReader. Порівняння:

Потоковий XML-парсер обробляє файли в 10 разів швидше, ніж завантаження всього документа через SimpleXML. Це критично, коли постачальник надсилає прайс на 1 мільйон позицій. На тесті з файлом 500 МБ потоковий парсер обробив 1 млн записів за 90 секунд.

Забезпечення цілісності даних

Кожен рядок проходить валідацію перед записом у БД. Невалідні рядки (нестача обов'язкових полів, некоректний SKU) логуються і не переривають імпорт. Повторний імпорт не створює дублікатів — використовуємо upsert за ключем SKU. Для контролю цілісності зберігаємо хеш рядка та дату останнього оновлення.

Мапінг колонок усуває рутину

Кожен постачальник використовує свої назви колонок. Конфігурація мапінгу зберігається в БД і редагується через адмінку:

{
  "sku": "Артикул",
  "name": "Найменування",
  "price": "Ціна руб.",
  "qty": "Кіл-ть",
  "description": "Опис",
  "category": "Розділ"
}

Трансформатор застосовує мапінг перед передачею в імпортер. Завдяки конфігурації в БД налаштування нового постачальника займає 30 хвилин замість 4 годин. Підтримуються різні мапінги для різних постачальників.

Що входить в роботу

• Розробка парсерів під всі формати (CSV, Excel, XML, JSON).
• Налаштування мапінгу колонок для кожного постачальника.
• Створення UI для керування мапінгом та перегляду логів.
• Тестування на реальних файлах (до 1 млн рядків).
• Документація по архітектурі та додаванню нових форматів.
• Навчання операторів роботі з адмінкою.
• Технічна підтримка на етапі інтеграції.

Процес впровадження

1. Аналіз форматів файлів постачальників та вимог до мапінгу.
2. Розробка базових парсерів і pipeline імпорту.
3. Налаштування мапінгу та потокової обробки.
4. Інтеграційне тестування з вивантаженням постачальника.
5. Деплой на бойовий сервер і запуск в роботу.

Терміни реалізації

Разом: від 3 до 4 днів на базову інтеграцію. Термін варіюється від кількості форматів та складності мапінгу.

Зв'яжіться з нами для оцінки вашого проєкту — ми підготуємо комерційну пропозицію під ключ за один день. Замовте впровадження універсального імпорту і забудьте про ручне завантаження прайсів.

Розробка інтернет-магазинів

Ми знаємо: інтернет-магазин — це не просто «сайт з кошиком». Це розподілена система управління товарами, інвентарем, замовленнями, платежами, доставкою, поверненнями та комунікацією з клієнтами. Кожен блок має нетривіальну реалізацію, і більшість проблем в e-commerce виникає на стику цих підсистем. Наш досвід — понад 50 реалізованих проектів — показує, що правильна архітектура на старті економить до 40% бюджету на доробках.

Чому продуктивність каталогу деградує при зростанні SKU?

Найчастіша технічна проблема e-commerce — деградація сторінок категорій при збільшенні асортименту. Сторінка працює добре на 500 товарах і починає гальмувати на 10 000. Причини майже завжди одні й ті ж.

N+1 на атрибутах. Завантажуєте список товарів — 50 елементів. Для кожного потрібні категорія, головне фото, ціна з урахуванням знижки, наявність на складі, рейтинг. Без правильного eager loading це 250+ запитів на сторінку. В Laravel вирішується через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) та withAvg('reviews', 'rating'). Але варто з'явитися персональним цінам (b2b) або складським залишкам по регіонах — і одного with() недостатньо. Потрібні Query Object або виділений ReadModel.

Фасетна фільтрація без індексів. Фільтр за кольором + розміром + брендом + діапазоном цін на таблиці в 500 000 записів без складених індексів — це seq scan при кожному запиті. PostgreSQL з правильними індексами тримає фасетну фільтрацію до кількох мільйонів товарів. Для великих каталогів — Elasticsearch або OpenSearch з агрегаціями: вони рахують кількість товарів на фільтр (facet counts) значно швидше.

Пагінація через OFFSET. LIMIT 50 OFFSET 10000 на великій таблиці — погана ідея: PostgreSQL все одно читає перші 10 050 рядків. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 працює за постійний час незалежно від сторінки. Як зазначено в документації PostgreSQL, cursor-based pagination гарантує O(log n) при будь-якому зміщенні, що особливо важливо для каталогів із сотнями тисяч товарів.

Конкретний кейс: каталог будівельних матеріалів, 180 000 SKU, фасетна фільтрація по 12 атрибутах. Після переходу з OFFSET-пагінації на курсорну та додавання partial index по (category_id, is_active, price) час відповіді сторінки каталогу знизився з 4,2 с до 280 мс. Економія на серверних ресурсах склала близько 30 000 ₽ на місяць. В іншому проекті (ювелірний маркетплейс) впровадження агрегацій через Elasticsearch скоротило час фільтрації з 8 до 200 мс та заощадило 50 000 ₽ на місяць на інфраструктурі — ще один приклад, як правильна архітектура знижує TCO.

Що таке race condition у кошику та як його уникнути?

Checkout — місце, де гроші або потрапляють на рахунок, або ні. Технічні проблеми тут коштують дорого.

Race condition при резервуванні товару. Два покупці одночасно додають останній екземпляр у кошик і обоє натискають «Оплатити». Без песимістичного блокування або атомарного UPDATE з перевіркою залишку обидва замовлення проходять, інвентар іде в мінус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Якщо RETURNING повернув 0 рядків — товару немає, показуємо помилку до списання грошей.

Ідемпотентність платіжних вебхуків. payment.succeeded від Stripe або ЮКассы може прийти двічі через мережеві збої або retry-логіку на стороні шлюзу. Без перевірки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублювання замовлення або подвійне зарахування. Webhook idempotency — обов'язковий патерн для будь-якого платіжного інтегратора. Ми включаємо тест на ідемпотентність у стандартний чек-лист кожного проекту.

Checkout у кілька кроків. Multi-step checkout (адреса → доставка → оплата → підтвердження) vs single-page checkout. Дослідження показують, що single-page з прогрес-індикатором конвертує на 15–20% краще на мобільних. Стан між кроками — або localStorage + server-side сесія, або повністю server-side з проміжним збереженням. Ми гарантуємо, що кожне замовлення проходить аудит на ідемпотентність та блокування — це входить у стандартний чек-лист тестування.

Як інтегрувати 1С з інтернет-магазином?

1С — окрема глава. Три поширених способи інтеграції:

1. CommerceML через HTTP — 1С вивантажує XML за розкладом, сайт імпортує. Працює для невеликих каталогів, є затримка синхронізації.
2. REST API / OData від 1С — двостороння синхронізація в реальному часі. Вимагає налаштування на стороні 1С, примхлива до версій конфігурацій.
3. Проміжна шина (RabbitMQ / Kafka) — 1С публікує події, сайт підписується. Найнадійніший підхід для високонавантажених систем, але найдорожчий у розробці.

Служби доставки — СДЕК, Boxberry, Пошта Росії, DHL: всі надають REST API для розрахунку вартості та створення накладних. Агрегатори (Shiptor, Shipnow) дозволяють працювати з кількома службами через єдиний API.

Платіжні шлюзи

Для кожного шлюзу обов'язкова перевірка підпису вебхука — без цього будь-хто може відправити фейковий payment.succeeded.

CMS vs власна розробка

WooCommerce — виправданий для магазинів до ~5 000 SKU з типовою бізнес-логікою. Швидкий старт, величезна екосистема плагінів. Проблеми починаються при нестандартних цінових правилах, складних варіантах товарів або навантаженні від 10 000+ замовлень на місяць. Економія на ліцензії WooCommerce (безкоштовно) обертається витратами на плагіни та хостинг; для каталогу 50 000 SKU місячна вартість підтримки може перевищити 100 000 ₽.

OpenCart, Prestashop — аналогічна історія. Хороші для старту, обмежені при зростанні.

Власна розробка на Laravel — для:

• Нестандартної бізнес-логіки (підписки, оренда, b2b-прайси, конфігуратор);
• Високих вимог до продуктивності;
• Складних інтеграцій (кілька складів, ERP, маркетплейси);
• Унікального UX checkout.

Як ми розробляємо інтернет-магазин: покроковий процес

1. Аналітика та проектування. Збираємо вимоги, уточнюємо бізнес-процеси, моделюємо доменну логіку. На виході — технічне завдання та архітектурна схема.
2. Backend та API. Реалізуємо ядро (товари, кошик, замовлення), інтеграції з 1С/складами/платіжками. Використовуємо Laravel 11 з Repository pattern, чергами для асинхронних операцій.
3. Frontend та checkout. Налаштовуємо React 18 / Next.js 14 з оптимізованим рендерингом (SSR/SSG для каталогу), єдиний single-page checkout.
4. Тестування. Перевіряємо race condition, ідемпотентність вебхуків, навантажувальне тестування (k6), security-аудит.
5. Деплой та моніторинг. Розгортаємо на Vercel / Docker / виділеному сервері, підключаємо Sentry та Uptime.

SEO для e-commerce

Canonical та дублювання. Фасетна фільтрація генерує тисячі URL (?color=red&size=M&sort=price). Без canonical або noindex на фільтрованих сторінках краулінговий бюджет витрачається на дублі, а основні сторінки індексуються гірше.

Structured data. Product schema з offers, aggregateRating, availability — це rich snippets у видачі: зірочки рейтингу, ціна, наявність. Впливає на CTR.

Core Web Vitals на сторінках товарів. Hero image товару — це LCP element. fetchpriority="high" на першому зображенні, правильні srcset з WebP, width та height атрибути для запобігання CLS.

Що входить у результат роботи

Після завершення проекту ви отримуєте:

• Вихідний код та повну документацію (API, архітектура, інфраструктура);
• Доступи до репозиторію, хостингу, моніторингу (Sentry, Uptime);
• Навчання команди роботі з адмін-панеллю та кастомізаціями;
• Гарантійну підтримку 3 місяці (виправлення помилок, консультації);
• Детальний звіт по навантажувальному тестуванню та оптимізації.

Орієнтири за термінами

Вартість розраховується після аналізу вимог: кількість інтеграцій, складність ціноутворення, обсяг каталогу та унікальність UX — основні фактори. Оцінимо ваш проект безкоштовно — замовте консультацію.

Чек-лист перед запуском

• Race condition при оплаті останнього товару — покритий тестом
• Ідемпотентність вебхуків платіжного шлюзу
• Rate limiting на ендпоїнтах кошика та checkout
• Canonical на фільтрованих сторінках каталогу
• Фіскалізація чеків (ФЗ-54 для РФ або аналог)
• Стрес-тест checkout під навантаженням (k6 або Locust)
• Моніторинг помилок (Sentry) та алерти на payment errors
• Backup бази даних з перевіреним restore-процесом

Гарантуємо — кожен проект проходить цей чек-лист перед релізом. Зв'яжіться з нами — підберемо оптимальну архітектуру під ваш бюджет та терміни.