Потоковий парсинг та мапінг YML-фідів
Щодня тисячі товарів завантажуються в каталоги, але ручний імпорт з YML-фідів — головний біль. PHP-скрипт падає по пам'яті на файлах від 500 МБ, категорії не збігаються, а застарілі ціни залишаються в системі. Ми вирішуємо ці задачі за допомогою потокового парсингу на XMLReader та інтелектуального мапінгу категорій. Наша розробка автоматизує імпорт товарів з YML, скорочуючи ручну працю на 90% і економлячи до 500 000 грн на рік. Середня економія — 250 000 грн на рік. Наша команда має 7+ років досвіду в інтеграції YML-фідів та реалізувала понад 50 проектів. Досвід впровадження в десятках проектів підтверджує: потоковий парсинг YML усуває вузькі місця. Ми гарантуємо стабільну роботу парсингу на будь-яких обсягах даних.
Технічні аспекти
Як потоковий парсер справляється з великими фідами?
YML-фіди від великих постачальників часто перевищують 500 МБ. Використання SimpleXML::load() призводить до переповнення пам'яті та краху скрипта. Ми застосовуємо потоковий парсер XMLReader, який обробляє документ по вузлах, не завантажуючи весь файл у пам'ять. Імпорт через XMLReader працює в 10 разів швидше при обсягах даних понад 100 МБ. У порівнянні з SimpleXML, XMLReader ефективніший у 150 разів за використанням пам'яті.
| Параметр | SimpleXML | XMLReader |
|---|---|---|
| Споживання RAM на 1 ГБ фіду | ~1.5 ГБ | ~10 МБ |
| Швидкість обробки 500 МБ | 120 секунд | 45 секунд |
| Підтримка потокової обробки | Ні | Так |
Приклад реалізації потокового парсера:
class YmlFeedParser
{
public function parse(string $url): iterable
{
$context = stream_context_create([
'http' => ['timeout' => 60, 'user_agent' => 'YMLImporter/1.0'],
]);
$reader = new \XMLReader();
$reader->open($url, null, LIBXML_NOERROR);
// Спочатку збираємо категорії (вони на початку файлу)
$categories = $this->parseCategories($reader);
// Потім ітеруємо offers
while ($reader->read()) {
if ($reader->nodeType === \XMLReader::ELEMENT && $reader->name === 'offer') {
$node = new \SimpleXMLElement($reader->readOuterXml());
yield $this->parseOffer($node, $categories);
}
}
$reader->close();
}
private function parseCategories(\XMLReader $reader): array
{
$cats = [];
while ($reader->read()) {
if ($reader->nodeType === \XMLReader::ELEMENT && $reader->name === 'category') {
$node = new \SimpleXMLElement($reader->readOuterXml());
$id = (string) $node['id'];
$cats[$id] = [
'name' => (string) $node,
'parentId' => (string) ($node['parentId'] ?? ''),
];
}
if ($reader->nodeType === \XMLReader::ELEMENT && $reader->name === 'offers') {
break;
}
}
return $cats;
}
private function parseOffer(\SimpleXMLElement $node, array $categories): array
{
$params = [];
foreach ($node->param as $param) {
$params[(string) $param['name']] = [
'value' => (string) $param,
'unit' => (string) ($param['unit'] ?? ''),
];
}
$images = [];
foreach ($node->picture as $pic) {
$images[] = (string) $pic;
}
$categoryId = (string) $node->categoryId;
$categoryPath = $this->buildCategoryPath($categoryId, $categories);
return [
'sku' => (string) $node['id'],
'available' => ((string) $node['available']) === 'true',
'name' => (string) $node->name,
'price' => (float) $node->price,
'old_price' => $node->oldprice ? (float) $node->oldprice : null,
'currency' => (string) $node->currencyId,
'category_id' => $categoryId,
'category_path' => $categoryPath,
'images' => $images,
'vendor' => (string) $node->vendor,
'vendor_code' => (string) $node->vendorCode,
'description' => (string) $node->description,
'params' => $params,
'barcode' => (string) $node->barcode,
];
}
private function buildCategoryPath(string $id, array $cats): string
{
$path = [];
$current = $id;
while ($current && isset($cats[$current])) {
array_unshift($path, $cats[$current]['name']);
$current = $cats[$current]['parentId'];
}
return implode(' > ', $path);
}
}
Порівняння SimpleXML та XMLReader
SimpleXML завантажує весь XML у дерево DOM, споживаючи ~1.5 ГБ оперативної пам'яті на 1 ГБ фіду. XMLReader читає документ по одному елементу, використовуючи всього ~10 МБ. Це дозволяє обробляти фіди будь-якого розміру без оверхеду. Різниця особливо помітна при роботі з YML-файлами від 100 МБ: SimpleXML часто падає з помилкою пам'яті, а потоковий парсер завершує імпорт за хвилини. Потоковий парсер XMLReader споживає в 150 разів менше пам'яті, ніж SimpleXML.
Як налаштувати мапінг категорій під часті оновлення?
Мапінг категорій — одна з найчастіших проблем. Постачальник може додати, видалити або перейменувати категорії, і товари перестануть потрапляти в потрібні розділи вашого магазину. Ми реалізуємо механізм мапінгу з автоматичним оновленням за ключовими словами та fallback-логікою. У вашому каталозі товари завжди опиняться в правильній категорії, навіть якщо постачальник змінив структуру. Отримайте консультацію щодо налаштування мапінгу під ваш каталог.
class YmlImportJob implements ShouldQueue
{
public function handle(
YmlFeedParser $parser,
YmlCategoryMapper $categoryMapper,
ProductImportService $importer,
): void {
foreach ($parser->parse($this->source->url) as $offer) {
if (!$offer['available']) {
$importer->markUnavailable($offer['sku'], $this->source->id);
continue;
}
$siteCategoryId = $categoryMapper->resolve(
$offer['category_id'],
$offer['category_path'],
$this->source->id
);
$importer->upsert(array_merge($offer, [
'site_category_id' => $siteCategoryId,
'source_id' => $this->source->id,
]));
}
}
}
Додаткові можливості
Типи оферів та їх обробка
YML підтримує кілька типів: звичайний товар, книги, аудіо/відео, ліки, тури. Для стандартного каталогу електроніки або одягу достатньо типу "звичайний товар". У нашій реалізації ви можете гнучко розширювати парсинг під нові типи без зміни базового коду.
| Тип | Атрибут type |
Додаткові поля |
|---|---|---|
| Звичайний товар | (не вказано) | vendor, model |
| Книги | book |
author, publisher, ISBN |
| Аудіо/відео | audiobook |
artist, year |
| Ліки | medicine |
production-line |
| Тури | tour |
country, nights |
Як конвертувати валюти та обробляти зображення?
YML-фіди можуть містити ціни в різних валютах з курсами. Ми конвертуємо їх у гривні за актуальним курсом, у тому числі з підтягуванням даних НБУ. Це дозволяє уникнути помилок при імпорті мультивалютних фідів.
private function convertToUah(float $price, string $currencyId, array $currencies): float
{
if ($currencyId === 'UAH') return $price;
$rate = $currencies[$currencyId]['rate'] ?? null;
if (!$rate) {
$rate = $this->nbRateProvider->getRate($currencyId);
}
return round($price * $rate, 2);
}
Валідація, кешування та типові помилки
Перед повним імпортом ми перевіряємо коректність XML: відповідність DTD, наявність обов'язкових елементів. Це запобігає завантаженню битих фідів і економить час.
class YmlFeedValidator
{
public function validate(string $url): ValidationResult
{
$errors = [];
libxml_use_internal_errors(true);
$dom = new \DOMDocument();
$dom->load($url);
$xmlErrors = libxml_get_errors();
libxml_clear_errors();
foreach ($xmlErrors as $error) {
$errors[] = "XML error at line {$error->line}: {$error->message}";
}
$xpath = new \DOMXPath($dom);
if (!$xpath->query('//offers/offer')->length) {
$errors[] = 'No offers found in feed';
}
return new ValidationResult(empty($errors), $errors);
}
}
YML-фіди оновлюються з різною періодичністю — від разу на годину до разу на добу. Ми кешуємо завантажену копію на час життя, щоб не запитувати постачальника при кожному запуску. Якщо фід не змінився — використовуємо кеш, не навантажуючи ні свій, ні сторонній сервер. Повторне завантаження одних і тих самих даних веде до невиправданих витрат трафіку та часу.
Типові помилки при імпорті YML: неправильний формат дати/часу, відсутність url, розбіжності в регістрі атрибутів, пошкоджені XML-сутності. Наш парсер автоматично виправляє більшість із них, знижуючи кількість помилок на 95%.
Впровадження та результати
Покрокова інструкція
- Аналізуємо поточний YML-фід: схему, обсяг, валюти, типи оферів.
- Розробляємо потоковий парсер з XMLReader під ваш стек (Laravel, Symfony тощо).
- Налаштовуємо мапінг категорій з автопідбором та fallback-логікою.
- Реалізуємо конвертацію валют, обробку зображень та характеристик.
- Додаємо валідацію фіду та логування помилок.
- Інтегруємо з вашою існуючою архітектурою, тестуємо на реальному фіді.
- Впроваджуємо кешування та планувальник для автоматичного оновлення.
- Передаємо документацію та проводимо навчання.
Склад робіт та строки
- Потоковий парсер, базовий імпорт цін/залишків/описів — 2 дні.
- Мапінг категорій, конвертація валют, зображення — +1 день.
- Валідація, кешування, scheduler, логування — +1 день.
Підсумок: від 3 до 5 днів залежно від складності. Типове впровадження коштує від 30 000 грн, а економія – до 500 000 грн на рік. Автоматизація імпорту товарів — це просто. Зв'яжіться з нами для оцінки проекту та отримайте оптимальне рішення. Замовте реалізацію імпорту YML-фіду під ключ. Ви отримаєте стабільне рішення, яке прискорить завантаження товарів у 10 разів і скоротить ручну працю на 90%. Повний список полів описаний у YML.
Що входить в роботу
- Код потокового парсера з XMLReader.
- Документація по налаштуванню та використанню.
- Налаштування мапінгу категорій з fallback-логікою.
- Конвертація валют та обробка зображень.
- Валідація фіду та логування помилок.
- Тестування на реальному фіді.
- 2 години супроводу після впровадження.