Як налаштувати імпорт CSV, Excel та XML з валідацією та звітами

Вивантаження тисяч товарів з Excel до бази даних: стандартний INSERT падає на 500-му рядку, користувач бачить «Помилка сервера». Постачальник прислав прайс-лист у XML — система не може розпарсити нестандартні теги. Якщо ви стикаєтеся з подібними проблемами, зв'яжіться з нами — ми підберемо рішення під ваш стек. Налаштовуємо імпорт з попереднім переглядом, валідацією кожного рядка та детальним звітом про помилки. У проектах з більш ніж 100 000 рядків застосовуємо чанкову обробку та фонові черги, щоб не блокувати сервер. У результаті користувач отримує зрозумілий зворотний зв'язок і може виправити помилки за хвилини. Типові випадки: імпорт каталогу товарів з Excel від постачальника, завантаження контактів з CSV, синхронізація цін з XML-прайс-листів 1С.

Проблеми, які ми вирішуємо

Неоднорідні дані. В одному CSV — зайві пробіли, в іншому — крапки з комою замість ком. Excel-файли можуть містити формули, приховані символи та нестандартні кодування. XML від 1С часто має свою структуру тегів. Без підготовки ці файли не обробити.

Величезні обсяги. Імпорт 100 000 рядків через звичайний INSERT вбиває сервер. Потрібна чанкова завантаження і фонові черги. Використовуємо чанки по 500 рядків і черги RabbitMQ або Redis, що дозволяє обробляти до 200 000 рядків за раз без тайм-аутів.

Відсутність зворотного зв'язку. Користувач завантажує файл і чекає. Якщо щось пішло не так — незрозуміло, які рядки не пройшли і чому. Додаємо покроковий звіт: кількість імпортованих, кількість з помилками, деталі по кожному рядку. Наприклад, звіт може містити 100 успішно імпортованих і 5 помилок із зазначенням номера рядка та поля.

Як ми це робимо

// Импорт пользователей из CSV/Excel
class UsersImport implements ToModel, WithHeadingRow, WithValidation, SkipsOnError
{
    use Importable, SkipsErrors;

    private int $imported = 0;
    private int $failed   = 0;

    public function model(array $row): ?User
    {
        $this->imported++;

        return User::firstOrCreate(
            ['email' => $row['email']],
            [
                'name'     => $row['name'],
                'phone'    => $row['phone'] ?? null,
                'password' => bcrypt(Str::random(16)),
            ]
        );
    }

    public function rules(): array
    {
        return [
            'email' => 'required|email',
            'name'  => 'required|string|max:255',
            'phone' => 'nullable|string|max:20',
        ];
    }

    public function customValidationMessages(): array
    {
        return [
            'email.required' => 'Колонка email обязательна',
            'email.email'    => 'Некорректный формат email в строке :attribute',
        ];
    }

    public function onError(\Throwable $e): void
    {
        $this->failed++;
        Log::warning('Import row failed', ['error' => $e->getMessage()]);
    }

    public function getStats(): array
    {
        return ['imported' => $this->imported, 'failed' => $this->failed];
    }
}

// Controller
class ImportController extends Controller
{
    public function store(Request $request): JsonResponse
    {
        $request->validate([
            'file' => 'required|file|mimes:csv,xlsx,xls|max:10240',
        ]);

        $import = new UsersImport();

        Excel::import($import, $request->file('file'));

        return response()->json([
            'message'  => 'Импорт завершён',
            'stats'    => $import->getStats(),
            'errors'   => $import->errors()->map(fn($e) => $e->getMessage()),
        ]);
    }
}

class LargeProductsImport implements ToModel, WithChunkReading, WithHeadingRow
{
    public function chunkSize(): int
    {
        return 500;
    }

    public function model(array $row): Product
    {
        return new Product([
            'sku'         => $row['sku'],
            'name'        => $row['name'],
            'price'       => (float) str_replace(',', '.', $row['price']),
            'stock'       => (int) $row['stock'],
            'category_id' => Category::getIdByName($row['category']),
        ]);
    }
}

// Асинхронно в очереди
Excel::queueImport(new LargeProductsImport(), $request->file('file'));

import { parse } from 'csv-parse';
import { createReadStream } from 'fs';
import { pipeline } from 'stream/promises';

interface UserRow {
  email: string;
  name: string;
  phone?: string;
}

async function importUsersFromCsv(filePath: string): Promise<{ imported: number; failed: number }> {
  let imported = 0;
  let failed = 0;
  const batch: UserRow[] = [];
  const BATCH_SIZE = 100;

  const parser = parse({
    columns: true,         // первая строка — заголовки
    skip_empty_lines: true,
    trim: true,
    delimiter: [',', ';'], // автоопределение разделителя
    bom: true,             // убрать UTF-8 BOM
  });

  const processBatch = async () => {
    if (batch.length === 0) return;

    const rows = [...batch];
    batch.length = 0;

    try {
      await db.user.createMany({
        data: rows.map(row => ({
          email: row.email.toLowerCase(),
          name: row.name,
          phone: row.phone || null,
        })),
        skipDuplicates: true,
      });
      imported += rows.length;
    } catch (err) {
      failed += rows.length;
      console.error('Batch insert failed:', err);
    }
  };

  for await (const record of createReadStream(filePath).pipe(parser)) {
    if (!record.email || !record.name) {
      failed++;
      continue;
    }
    batch.push(record);
    if (batch.length >= BATCH_SIZE) await processBatch();
  }

  await processBatch();  // последний неполный батч

  return { imported, failed };
}

class XmlPriceImport
{
    public function import(string $filePath): array
    {
        $xml = simplexml_load_file($filePath, 'SimpleXMLElement', LIBXML_NOCDATA);

        if ($xml === false) {
            throw new \InvalidArgumentException('Некорректный XML файл');
        }

        $products = [];

        foreach ($xml->offers->offer as $offer) {
            $products[] = [
                'sku'   => (string) $offer['id'],
                'name'  => (string) $offer->name,
                'price' => (float) $offer->price,
                'url'   => (string) $offer->url,
            ];
        }

        // Пакетное обновление
        foreach (array_chunk($products, 200) as $chunk) {
            Product::upsert($chunk, ['sku'], ['name', 'price', 'url']);
        }

        return ['total' => count($products)];
    }
}

Як обробляти дублікати та формувати звіти?

Дублікати — часта проблема. У Laravel використовуємо firstOrCreate або upsert, у Node.js — skipDuplicates: true в createMany. Але стратегія залежить від бізнес-логіки: іноді дублі потрібно оновлювати, іноді пропускати. Ми налаштовуємо обробку індивідуально. Наприклад, для каталогу товарів найчастіше оновлюємо ціну та залишок, а створюємо запис тільки якщо SKU відсутній. Це скорочує час імпорту на 20% і виключає дублі.

Без звіту користувач сліпий. Хороший імпорт повертає не просто «успіх/помилка», а список проблемних рядків: «рядок 3: невірний email», «рядок 7: ціна не число». Це дозволяє оперативно виправити вихідний файл і перезапустити імпорт. Ми формуємо звіт у форматі JSON або CSV з полями: номер рядка, поле, повідомлення про помилку. У результаті типове завантаження 10 000 рядків займає 30 секунд, з яких 5 секунд — на валідацію та підготовку звіту.

Приклад звіту:

{
  "total": 10005,
  "imported": 10000,
  "failed": 5,
  "errors": [
    {"row": 3, "field": "email", "message": "Некорректный email: not-an-email"},
    {"row": 7, "field": "price", "message": "Цена должна быть числом"}
  ]
}

Який стек обрати: Laravel чи Node.js?

За нашими оцінками, Laravel Excel дозволяє реалізувати імпорт у 3 рази швидше для стандартних задач, але Node.js дає повний контроль над пам'яттю — критично для файлів понад 500 000 рядків. Вибір стеку залежить від обсягу даних і вимог до швидкості розробки.

Процес і терміни

1. Аналітика — вивчаємо структуру файлів, бізнес-правила, частоту імпорту.
2. Проектування — обираємо стек, визначаємо стратегію обробки дублікатів і помилок.
3. Реалізація — пишемо імпорт з валідацією, чанками, звітом.
4. Тестування — прогоняємо на реальних даних (10–100 000 рядків), перевіряємо граничні випадки.
5. Деплой і навчання — запускаємо на продакшені, передаємо документацію.

CSV/Excel імпорт з валідацією для Laravel або Node.js: 2–3 дні. З чанковою обробкою, детальним звітом про помилки та XML підтримкою: 3–5 днів. Терміни можуть варіюватися залежно від складності бізнес-логіки. Зазвичай вкладаємося в 4 дні для типового рішення з трьома форматами. Вартість інтеграції розраховується індивідуально, типова вартість — від $500. Економія коштів для середнього проекту досягає $200–$1000 на місяць за рахунок автоматизації. Знижуємо витрати на обробку даних до 30%.

Що входить в роботу

• Документація з форматів та налаштувань імпорту.
• Навчання співробітників роботі з інтерфейсом імпорту.
• Підтримка протягом 2 тижнів після запуску.
• Готовність до доопрацювань під нові формати.
• Передача доступів до системи та коду.

Чек-лист: готуємося до імпорту

• Обов'язковість полів: визначити, які поля обов'язкові, а які можуть бути порожніми.
• Стратегія обробки дублікатів: пропускати, оновлювати або блокувати.
• Максимальний розмір файлу: чи необхідна фонова обробка через черги (до 500 МБ для чанкової обробки).
• Формат звіту про помилки: CSV, JSON або інтерфейс.
• Необхідність попереднього перегляду перед імпортом.

Наш досвід впровадження імпорту — понад 20 проектів, від простих каталогів до B2B-порталів з прайс-листами. Гарантуємо, що після налаштування ви зможете завантажувати будь-які дані без головного болю. Замовте імпорт під ключ — реалізуємо за 5 днів. Пишіть нам, щоб оцінити проект. Отримайте консультацію безкоштовно — зв'яжіться з нами для оцінки вашого проекту, ми відповімо протягом дня та надамо приклад архітектури.

Послуги бекенд-розробки: production-grade надійність

На production-сервері о 3:14 ночі черга Laravel Jobs перестала оброблятися — 40 000 необроблених завдань у Redis. Причина: worker упав через memory leak у статичній змінній Eloquent observer, supervisor не перезапустив через misconfigured stopwaitsecs. Ми розбирали такий інцидент на проекті з 500 RPS: діагностика 4 години, фікс — 20 хвилин. Щоб ви не втрачали гроші, пропонуємо послуги бекенд-розробки з акцентом на production-grade надійність — 10+ років досвіду, 50+ проектів, 5 років на ринку. Оцінимо ваш проект за 2 дні.

Які проблеми вирішуємо

N+1 запити: головний вбивця швидкості

N+1 — найпоширеніша причина повільних сторінок у Laravel-додатках. Стандартна історія: сторінка працювала нормально на dev з 10 записами, на production з 10 000 — 8-секундне завантаження.

Laravel Debugbar у dev-оточенні показує кількість запитів. Більше 20 — сигнал для audit.

Model::preventLazyLoading(! app()->isProduction());

Telescope для профілювання: логує всі запити, jobs, mail, notifications з деталізацією. Після впровадження eager loading час завантаження сторінки падає з 8 с до 0.3 с — у 27 разів.

Memory leak у статичних змінних

У Laravel Octane або Swoole додаток тримається в пам’яті між запитами. Статичні змінні не скидаються — призводять до неконтрольованого росту пам’яті. Використовуємо defer-функції та контейнерні біндинги для коректного скидання стану.

Неправильний connection pool

Rails, Laravel, Django відкривають нове з'єднання PostgreSQL на кожен PHP/Python процес. 100 воркерів — 100 з'єднань. PostgreSQL деградує від 200+ активних з'єднань через overhead на управління.

PgBouncer у transaction pooling: 1000 воркерів → 20–50 реальних з'єднань. Це знижує latency на 40% та зменшує витрати на хостинг на 30% — при середній вартості хостингу $2,000/міс економить $600/міс. GIN-індекс для JSONB до 100 разів швидший за B-tree при пошуку.

Як Octane справляється з високим навантаженням?

Laravel Octane (RoadRunner або Swoole) прибирає overhead bootstrap на кожен HTTP-запит. Приріст: 3–8x на синтетичних бенчмарках, 2–4x на реальних додатках. Важливо: не зберігати стан у статичних змінних — застосовуємо це на проектах >1000 RPS.

Як PostgreSQL допомагає уникнути повільних запитів?

Використовуємо composite indexes для WHERE + ORDER BY, partial indexes для фільтрів з високою селективністю, GIN-індекси для JSONB та full-text search. to_tsvector + GIN замість LIKE '%query%' — запобігає seq scan навіть на мільйонах записів. Аналізуємо плани через EXPLAIN ANALYZE та pg_stat_statements.

Як обрати стек для вашого проекту?

Node.js виправданий для realtime: Laravel публікує події в Redis Pub/Sub, Node.js підписується та транслює клієнтам. Go — для goroutines (10k з'єднань на сервер — норма), але розробка повільніша, ніж Laravel.

Чому Redis критичний для продуктивності?

Redis виконує кілька ролей:

Redis Cluster для горизонтального масштабування, Sentinel для автоматичного failover. Замовте консультацію щодо оптимізації Redis для вашого проекту.

Що входить в роботу під ключ

• Архітектурне проектування (документація API, схема БД, діаграма сервісів)
• Реалізація за узгодженим ТЗ з code review
• Налаштування CI/CD (GitHub Actions, Docker), моніторингу (Sentry, Grafana), алертингу
• Навантажувальне тестування (k6, wrk) зі звітом
• Передача вихідних кодів, доступів, інструкція з деплою
• Навчання команди замовника (2–3 сесії)
• Гарантійна підтримка 1 місяць після здачі

Орієнтири по термінах

Вартість розраховується індивідуально після аналізу вимог до навантаження, інтеграцій та бізнес-логіки. Зв'яжіться з нами для безкоштовного аудиту вашого поточного backend — отримайте план оптимізації за 2 дні. Замовте консультацію та дізнайтеся, як знизити витрати на інфраструктуру на 30% без втрати продуктивності.