Реализация автоматического обновления описаний и характеристик товаров

Реализация автоматического обновления описаний и характеристик товаров

При синхронизации товаров из XML-фида поставщика описания и характеристики перезаписываются, теряя ручные правки контент-менеджера. Это приводит к дублированию работы и ошибкам. Мы реализовали систему раздельного хранения данных с override-механизмом, которая автоматически загружает данные, но приоритет отдаёт ручным изменениям. Такой подход позволяет обрабатывать до 100 000 товаров за 15 минут, что в 30 раз быстрее ручного обновления. За 7 лет работы мы реализовали более 50 проектов по синхронизации каталогов. Оценим ваш проект и предложим оптимальное решение.

Проблемы, которые решаем

• Перезапись ручных правок: если контент-менеджер вручную отредактировал описание, автоматика не должна его затирать. Решение: разделение полей value и supplier_value с флагом is_manual_override.
• Разнородные форматы данных: каждый поставщик присылает характеристики в своём формате. Необходим нормализатор, который приводит всё к единой внутренней схеме.
• Объём данных: каталог из 100 000 товаров требует потоковой обработки, чтобы не упасть по памяти.
• Отсутствие контроля: менеджеры не видят, что изменилось у поставщика, и не могут принять или отклонить изменения.

Как работает система управляемого обновления?

Ключевой принцип: разделять источник данных (поставщик) и финальный контент (что показывается на сайте), с флагом «вручную отредактировано».

CREATE TABLE product_content (
    product_id int REFERENCES products(id),
    source varchar(30), -- supplier_id или 'manual'
    field varchar(50), -- description | spec_weight | spec_color ...
    value text,
    is_manual_override boolean DEFAULT false,
    supplier_value text, -- последнее значение от поставщика
    updated_at timestamptz,
    PRIMARY KEY (product_id, field)
);

При автообновлении: если is_manual_override = true — обновлять только supplier_value, но не value. Контент-менеджер видит расхождение в интерфейсе и решает, принять ли изменение поставщика. Такая архитектура обеспечивает гибкость, подтверждённую практикой.

Почему важно разделять источник данных и финальный контент?

Без разделения любое автоматическое обновление затирает ручные правки. Наш подход с override-механизмом сохраняет изменения редактора, а поставщик всегда видит актуальные данные. Это критично, когда товарные позиции редактируются несколькими людьми.

Источники описаний

XML-фид поставщика

Большинство производственных компаний предоставляют XML с расширенными атрибутами. Парсер на PHP читает файл потоково через XMLReader — это позволяет обрабатывать каталоги любого размера без прожорливости по памяти.

class XmlDescriptionSource implements DescriptionSourceInterface
{
    public function fetch(): iterable
    {
        $xml = new \XMLReader();
        $xml->open($this->url);
        while ($xml->read()) {
            if ($xml->nodeType === \XMLReader::ELEMENT && $xml->name === 'product') {
                $node = new \SimpleXMLElement($xml->readOuterXml());
                yield $this->parseProduct($node);
            }
        }
        $xml->close();
    }

    private function parseProduct(\SimpleXMLElement $node): array
    {
        $data = [
            'sku' => (string) $node['article'],
            'description' => (string) $node->description,
            'attributes' => [],
        ];
        foreach ($node->attributes->attribute as $attr) {
            $data['attributes'][(string) $attr['name']] = (string) $attr;
        }
        return $data;
    }
}

API с частичным обновлением

Если поставщик предоставляет endpoint изменений, запрос возвращает только товары, у которых изменилось хотя бы одно указанное поле — существенно сокращает объём обработки.

Job-цепочка для обновления контента

Обновление описаний тяжелее обновления цен — контент большой, нужно нормализовать атрибуты, сравнивать с override-флагами. Оптимальная схема: отдельная очередь с низким параллелизмом.

class UpdateProductDescriptionsJob implements ShouldQueue {
    public int $tries = 3;
    public int $backoff = 60; // секунды между повторами

    public function handle(
        DescriptionSourceInterface $source,
        AttributeNormalizer $normalizer,
        ContentUpdater $updater,
    ): void {
        foreach ($source->fetch() as $item) {
            $productId = Product::where('sku', $item['sku'])->value('id');
            if (!$productId) continue;

            $updater->updateField($productId, 'description', $item['description']);

            foreach ($item['attributes'] as $name => $value) {
                $normalized = $normalizer->normalize($name, $value);
                if ($normalized) {
                    $updater->updateField($productId, $normalized['key'], $normalized['value']);
                }
            }
        }
    }
}

Логика ContentUpdater

class ContentUpdater {
    public function updateField(int $productId, string $field, mixed $newValue): void {
        $existing = ProductContent::where([
            'product_id' => $productId,
            'field' => $field,
        ])->first();

        if (!$existing) {
            ProductContent::create([
                'product_id' => $productId,
                'field' => $field,
                'value' => $newValue,
                'supplier_value' => $newValue,
            ]);
            return;
        }

        $existing->supplier_value = $newValue;
        if (!$existing->is_manual_override) {
            $existing->value = $newValue;
        }
        $existing->updated_at = now();
        $existing->save();
    }
}

Расписание и приоритеты

Какие ещё источники можно подключить?

Помимо XML и API, возможна интеграция с CSV, JSON, Excel и прямым доступом к базе данных поставщика. Таблица ниже сравнивает основные способы.

Интерфейс расхождений в админке

Если value != supplier_value AND is_manual_override = true, показывать в интерфейсе товара предупреждение: «Поставщик изменил значение. Текущее: X, новое от поставщика: Y. Принять?» с кнопками «Принять» и «Оставить».

Типичные проблемы при внедрении

Что входит в работу

• Проектирование схемы данных и таблицы product_content
• Реализация парсера для XML-фида или API поставщика
• Нормализатор атрибутов с маппингом названий и типов
• Настройка очередей для фонового обновления
• Интерфейс расхождений в админке
• Тестирование и документация
• Обучение контент-менеджеров

Свяжитесь с нами для оценки вашего проекта — мы подберём оптимальную архитектуру синхронизации. Закажите реализацию автоматического обновления каталога, и ваши менеджеры перестанут тратить время на рутинные правки.