Автоматичне оновлення цін товарів із зовнішніх джерел

Реалізація автоматичного оновлення цін товарів із зовнішніх джерел

В інтернет-магазині з 50 000 товарів і більш ніж 10 постачальниками ручне оновлення цін забирає два повних робочих дні. При цьому до 5% цін містять помилки — від застарілих даних до описок. Одна така помилка може коштувати десятків тисяч гривень втраченої вигоди. Ми автоматизуємо цей процес, побудувавши pipeline, який завантажує актуальні ціни із зовнішніх джерел і оновлює базу даних без участі оператора. Ми реалізували понад 30 подібних проектів для клієнтів із СНД та Європи — гарантуємо надійність і прозорість кожного етапу. В одному з проектів з 200 000 товарів і 20 постачальниками ми скоротили час оновлення цін з 8 годин до 15 хвилин, а відсоток помилок знизився до нуля. Типове рішення з одним CSV-джерелом розгортається за 2–3 дні, а повна інтеграція з пріоритетами та моніторингом — за 3–7 днів.

Як працює автоматичне оновлення цін?

Система періодично опитує зовнішні джерела (прайс-листи, API, фіди), витягує ціни, зіставляє їх з товарами за SKU та оновлює записи в БД. Всі операції виконуються у фонових чергах, не сповільнюючи роботу сайту. Для кожного джерела використовується адаптер з єдиним інтерфейсом. В основі лежить Laravel Queues — вони обробляють тисячі завдань паралельно без просідання продуктивності. Згідно з документацією Laravel, черги дозволяють обробляти завдання асинхронно, що дає приріст швидкості до 70%.

Які джерела цін підтримуються?

Для кожного типу створюється окремий адаптер, що реалізує загальний інтерфейс. Приклад адаптера для CSV по HTTP:

class CsvHttpPriceSource implements PriceSourceInterface
{
    public function __construct(
        private string $url,
        private int    $skuColumn,
        private int    $priceColumn,
        private string $delimiter = ';',
    ) {}

    public function fetch(): array
    {
        $stream = fopen($this->url, 'r');
        $prices = [];
        $header = fgetcsv($stream, 0, $this->delimiter);

        while ($row = fgetcsv($stream, 0, $this->delimiter)) {
            $sku   = trim($row[$this->skuColumn]);
            $price = (float) str_replace(',', '.', $row[$this->priceColumn]);
            if ($sku && $price > 0) {
                $prices[$sku] = $price;
            }
        }
        fclose($stream);
        return $prices;
    }
}

Cron (кожні N хвилин)
  └─> SchedulePriceUpdateCommand
        └─> PriceUpdateJob (queued)
              └─> PriceSourceFactory::make($source)
              └─> PriceUpdater::apply($prices)

class SchedulePriceUpdateCommand extends Command
{
    protected $signature = 'prices:update {--source=all}';

    public function handle(PriceSourceRepository $repo): void
    {
        $sources = $this->option('source') === 'all'
            ? $repo->getActive()
            : [$repo->find($this->option('source'))];

        foreach ($sources as $source) {
            PriceUpdateJob::dispatch($source)->onQueue('prices');
        }
    }
}

Логіка оновлення із захистом від сміття

Не можна записувати будь-яку ціну з фіда. Застосовуємо перевірки:

Ці перевірки роблять нашу систему значно надійнішою за стандартні рішення без валідації. Економія часу на ручному оновленні сягає 80%.

class PriceUpdater
{
    private const MAX_CHANGE_RATIO = 0.5;

    public function apply(array $prices, PriceSource $source): UpdateResult
    {
        $updated = $skipped = $errors = 0;

        foreach ($prices as $sku => $newPrice) {
            $product = Product::where('sku', $sku)->first();
            if (!$product) { $skipped++; continue; }

            $oldPrice = $product->price;
            if ($oldPrice > 0) {
                $ratio = abs($newPrice - $oldPrice) / $oldPrice;
                if ($ratio > self::MAX_CHANGE_RATIO) {
                    Log::warning("Price anomaly: $sku $oldPrice -> $newPrice");
                    $errors++;
                    continue;
                }
            }

            $product->update([
                'price'            => $newPrice,
                'price_updated_at' => now(),
                'price_source_id'  => $source->id,
            ]);
            $updated++;
        }

        return new UpdateResult($updated, $skipped, $errors);
    }
}

Множинні джерела та пріоритети

Зазначимо: коли товар присутній у кількох фідах, використовуємо стратегію вирішення конфліктів:

• MIN — мінімальна ціна (агресивне ціноутворення)
• PRIMARY — перший за пріоритетом, решта fallback
• LAST_UPDATED — ціна з останнього оновленого фіда

Конфігурація джерела в БД включає тип, URL, мапінг колонок, пріоритет та стратегію.

Оновлення через API постачальника

Якщо постачальник надає REST API з пагінацією:

class ApiPriceSource implements PriceSourceInterface
{
    public function fetch(): array
    {
        $client = new \GuzzleHttp\Client(['base_uri' => $this->baseUrl]);
        $prices = [];
        $page   = 1;

        do {
            $response = $client->get('/v2/prices', [
                'headers' => ['Authorization' => 'Bearer ' . $this->token],
                'query'   => ['page' => $page, 'per_page' => 500],
            ]);
            $data = json_decode($response->getBody(), true);

            foreach ($data['items'] as $item) {
                $prices[$item['article']] = (float) $item['price_rub'];
            }

            $page++;
        } while ($data['has_more']);

        return $prices;
    }
}

Покроковий план впровадження

1. Аналітика — аудит ваших джерел, визначення форматів, частоти оновлення та пріоритетів.
2. Проектування — вибір архітектури адаптерів, налаштування черг і планувальника.
3. Реалізація — розробка адаптерів, інтеграція з БД, впровадження валідації та моніторингу.
4. Тестування — прогін на тестових даних, перевірка аномалій і навантаження.
5. Деплой — розгортання на продакшн, навчання персоналу, документація.

Типові помилки при інтеграції (і як їх уникнути)

• Очікування єдиного формату від усіх постачальників — на практиці кожен третій змінює структуру без попередження. Використовуйте адаптери з hot-swap.
• Ігнорування TTL фіда — старі дані призводять до невірних цін. Налаштовуйте TTL не більше 30 хвилин.
• Відсутність алертів на аномалії — одна помилка постачальника може зіпсувати тисячі цін. Наша система надсилає сповіщення в Telegram або email.

Що входить в роботу

• Адаптери для всіх типів джерел (CSV, API, YML, Google Feed, парсинг)
• Налаштування планувальника з довільним інтервалом
• Механізм захисту від аномалій та алерти
• Моніторинг і дашборд історії оновлень
• Документація та навчання персоналу
• Пост-релізна підтримка 1 місяць

Строки реалізації

• Базовий pipeline (одне CSV-джерело, scheduler, оновлення в БД) — 2–3 дні
• Підтримка кількох типів джерел + пріоритети — +2 дні
• Дашборд з історією оновлень та алармами на аномалії — +2 дні

Для вашого конкретного сценарію зв'яжіться з нами. Реалізуємо під ключ за 3–7 днів залежно від складності. Замовте консультацію — ми безкоштовно проаналізуємо ваші джерела та підготуємо пропозицію. Скоротіть час на оновлення цін на 80% та виключіть ручні помилки. Отримайте індивідуальну комерційну пропозицію вже сьогодні.

Розробка інтернет-магазинів

Ми знаємо: інтернет-магазин — це не просто «сайт з кошиком». Це розподілена система управління товарами, інвентарем, замовленнями, платежами, доставкою, поверненнями та комунікацією з клієнтами. Кожен блок має нетривіальну реалізацію, і більшість проблем в e-commerce виникає на стику цих підсистем. Наш досвід — понад 50 реалізованих проектів — показує, що правильна архітектура на старті економить до 40% бюджету на доробках.

Чому продуктивність каталогу деградує при зростанні SKU?

Найчастіша технічна проблема e-commerce — деградація сторінок категорій при збільшенні асортименту. Сторінка працює добре на 500 товарах і починає гальмувати на 10 000. Причини майже завжди одні й ті ж.

N+1 на атрибутах. Завантажуєте список товарів — 50 елементів. Для кожного потрібні категорія, головне фото, ціна з урахуванням знижки, наявність на складі, рейтинг. Без правильного eager loading це 250+ запитів на сторінку. В Laravel вирішується через with(['category', 'mainImage', 'currentPrice', 'stockStatus']) та withAvg('reviews', 'rating'). Але варто з'явитися персональним цінам (b2b) або складським залишкам по регіонах — і одного with() недостатньо. Потрібні Query Object або виділений ReadModel.

Фасетна фільтрація без індексів. Фільтр за кольором + розміром + брендом + діапазоном цін на таблиці в 500 000 записів без складених індексів — це seq scan при кожному запиті. PostgreSQL з правильними індексами тримає фасетну фільтрацію до кількох мільйонів товарів. Для великих каталогів — Elasticsearch або OpenSearch з агрегаціями: вони рахують кількість товарів на фільтр (facet counts) значно швидше.

Пагінація через OFFSET. LIMIT 50 OFFSET 10000 на великій таблиці — погана ідея: PostgreSQL все одно читає перші 10 050 рядків. Keyset pagination (cursor-based) через WHERE id > $last_id ORDER BY id LIMIT 50 працює за постійний час незалежно від сторінки. Як зазначено в документації PostgreSQL, cursor-based pagination гарантує O(log n) при будь-якому зміщенні, що особливо важливо для каталогів із сотнями тисяч товарів.

Конкретний кейс: каталог будівельних матеріалів, 180 000 SKU, фасетна фільтрація по 12 атрибутах. Після переходу з OFFSET-пагінації на курсорну та додавання partial index по (category_id, is_active, price) час відповіді сторінки каталогу знизився з 4,2 с до 280 мс. Економія на серверних ресурсах склала близько 30 000 ₽ на місяць. В іншому проекті (ювелірний маркетплейс) впровадження агрегацій через Elasticsearch скоротило час фільтрації з 8 до 200 мс та заощадило 50 000 ₽ на місяць на інфраструктурі — ще один приклад, як правильна архітектура знижує TCO.

Що таке race condition у кошику та як його уникнути?

Checkout — місце, де гроші або потрапляють на рахунок, або ні. Технічні проблеми тут коштують дорого.

Race condition при резервуванні товару. Два покупці одночасно додають останній екземпляр у кошик і обоє натискають «Оплатити». Без песимістичного блокування або атомарного UPDATE з перевіркою залишку обидва замовлення проходять, інвентар іде в мінус. В PostgreSQL:

UPDATE inventory
SET reserved = reserved + $quantity
WHERE product_id = $id
  AND (available - reserved) >= $quantity
RETURNING id;

Якщо RETURNING повернув 0 рядків — товару немає, показуємо помилку до списання грошей.

Ідемпотентність платіжних вебхуків. payment.succeeded від Stripe або ЮКассы може прийти двічі через мережеві збої або retry-логіку на стороні шлюзу. Без перевірки WHERE NOT EXISTS (SELECT 1 FROM processed_events WHERE event_id = $id) — дублювання замовлення або подвійне зарахування. Webhook idempotency — обов'язковий патерн для будь-якого платіжного інтегратора. Ми включаємо тест на ідемпотентність у стандартний чек-лист кожного проекту.

Checkout у кілька кроків. Multi-step checkout (адреса → доставка → оплата → підтвердження) vs single-page checkout. Дослідження показують, що single-page з прогрес-індикатором конвертує на 15–20% краще на мобільних. Стан між кроками — або localStorage + server-side сесія, або повністю server-side з проміжним збереженням. Ми гарантуємо, що кожне замовлення проходить аудит на ідемпотентність та блокування — це входить у стандартний чек-лист тестування.

Як інтегрувати 1С з інтернет-магазином?

1С — окрема глава. Три поширених способи інтеграції:

1. CommerceML через HTTP — 1С вивантажує XML за розкладом, сайт імпортує. Працює для невеликих каталогів, є затримка синхронізації.
2. REST API / OData від 1С — двостороння синхронізація в реальному часі. Вимагає налаштування на стороні 1С, примхлива до версій конфігурацій.
3. Проміжна шина (RabbitMQ / Kafka) — 1С публікує події, сайт підписується. Найнадійніший підхід для високонавантажених систем, але найдорожчий у розробці.

Служби доставки — СДЕК, Boxberry, Пошта Росії, DHL: всі надають REST API для розрахунку вартості та створення накладних. Агрегатори (Shiptor, Shipnow) дозволяють працювати з кількома службами через єдиний API.

Платіжні шлюзи

Для кожного шлюзу обов'язкова перевірка підпису вебхука — без цього будь-хто може відправити фейковий payment.succeeded.

CMS vs власна розробка

WooCommerce — виправданий для магазинів до ~5 000 SKU з типовою бізнес-логікою. Швидкий старт, величезна екосистема плагінів. Проблеми починаються при нестандартних цінових правилах, складних варіантах товарів або навантаженні від 10 000+ замовлень на місяць. Економія на ліцензії WooCommerce (безкоштовно) обертається витратами на плагіни та хостинг; для каталогу 50 000 SKU місячна вартість підтримки може перевищити 100 000 ₽.

OpenCart, Prestashop — аналогічна історія. Хороші для старту, обмежені при зростанні.

Власна розробка на Laravel — для:

• Нестандартної бізнес-логіки (підписки, оренда, b2b-прайси, конфігуратор);
• Високих вимог до продуктивності;
• Складних інтеграцій (кілька складів, ERP, маркетплейси);
• Унікального UX checkout.

Як ми розробляємо інтернет-магазин: покроковий процес

1. Аналітика та проектування. Збираємо вимоги, уточнюємо бізнес-процеси, моделюємо доменну логіку. На виході — технічне завдання та архітектурна схема.
2. Backend та API. Реалізуємо ядро (товари, кошик, замовлення), інтеграції з 1С/складами/платіжками. Використовуємо Laravel 11 з Repository pattern, чергами для асинхронних операцій.
3. Frontend та checkout. Налаштовуємо React 18 / Next.js 14 з оптимізованим рендерингом (SSR/SSG для каталогу), єдиний single-page checkout.
4. Тестування. Перевіряємо race condition, ідемпотентність вебхуків, навантажувальне тестування (k6), security-аудит.
5. Деплой та моніторинг. Розгортаємо на Vercel / Docker / виділеному сервері, підключаємо Sentry та Uptime.

SEO для e-commerce

Canonical та дублювання. Фасетна фільтрація генерує тисячі URL (?color=red&size=M&sort=price). Без canonical або noindex на фільтрованих сторінках краулінговий бюджет витрачається на дублі, а основні сторінки індексуються гірше.

Structured data. Product schema з offers, aggregateRating, availability — це rich snippets у видачі: зірочки рейтингу, ціна, наявність. Впливає на CTR.

Core Web Vitals на сторінках товарів. Hero image товару — це LCP element. fetchpriority="high" на першому зображенні, правильні srcset з WebP, width та height атрибути для запобігання CLS.

Що входить у результат роботи

Після завершення проекту ви отримуєте:

• Вихідний код та повну документацію (API, архітектура, інфраструктура);
• Доступи до репозиторію, хостингу, моніторингу (Sentry, Uptime);
• Навчання команди роботі з адмін-панеллю та кастомізаціями;
• Гарантійну підтримку 3 місяці (виправлення помилок, консультації);
• Детальний звіт по навантажувальному тестуванню та оптимізації.

Орієнтири за термінами

Вартість розраховується після аналізу вимог: кількість інтеграцій, складність ціноутворення, обсяг каталогу та унікальність UX — основні фактори. Оцінимо ваш проект безкоштовно — замовте консультацію.

Чек-лист перед запуском

• Race condition при оплаті останнього товару — покритий тестом
• Ідемпотентність вебхуків платіжного шлюзу
• Rate limiting на ендпоїнтах кошика та checkout
• Canonical на фільтрованих сторінках каталогу
• Фіскалізація чеків (ФЗ-54 для РФ або аналог)
• Стрес-тест checkout під навантаженням (k6 або Locust)
• Моніторинг помилок (Sentry) та алерти на payment errors
• Backup бази даних з перевіреним restore-процесом

Гарантуємо — кожен проект проходить цей чек-лист перед релізом. Зв'яжіться з нами — підберемо оптимальну архітектуру під ваш бюджет та терміни.