Розробка системи завантаження та транскодування відео під ключ

Клієнти завантажують відео в різних форматах — від MP4 з телефона до MOV з професійних камер. Якщо конвертувати їх на льоту, сервер лягає від навантаження, запити йдуть у таймаут, а користувачі отримують биті файли. Без правильної архітектури завантаження відео стає вузьким місцем будь-якого медіа-сайту. Ми розробляємо асинхронний pipeline: пресайнед-завантаження в хмару одразу минає сервер, а транскодування виконується в черзі на виділених воркерах або Managed-сервісах. Гарантуємо стабільну роботу та сертифіковану інтеграцію з AWS.

Типова ситуація: користувач знімає 4K 60fps (500 МБ). Пряме відправлення на сервер викликає timeout nginx. Presigned URL вирішує — файл іде в S3 за пару хвилин, сервер лише підтверджує. Завантаження через presigned URL відбувається в 5 разів швидше, ніж через сервер. Після воркер забирає файл і транскодує у фоні, не блокуючи користувача. Прогрес відображається через WebSocket — користувач бачить статус у реальному часі.

Чому варто винести транскодування у фонову чергу?

Транскодування — CPU-інтенсивна операція. Навіть коротке відео в 1080p навантажує процесор на 100% протягом хвилин. Якщо робити це у веб-процесі, інші запити блокуються. Наш pipeline використовує S3 Event → SQS/Lambda → воркери з FFmpeg. Це дозволяє горизонтально масштабуватися і не впливати на час відповіді сайту. Навантаження на CPU знижується на 90% при винесенні в чергу.

Які проблеми вирішує система завантаження та транскодування відео?

• CPU-блокування: обробка не зачіпає веб-сервер.
• Множина роздільностей: автоматично генеруємо 360p, 720p, 1080p та WebM для покриття всіх пристроїв.
• Довге завантаження для користувача: пресайнед-посилання дозволяє завантажити файл напряму в хмару, минаючи сервер, а прогрес-трекінг через WebSocket інформує про статус.
• Оптимізація відео для web: стискаємо файли без втрати якості, забезпечуючи швидке завантаження сторінок.

Як будується система завантаження та транскодування відео?

Використовуємо presigned URL з AWS S3: клієнт отримує тимчасове посилання і відправляє файл напряму в bucket. Після завершення, сервер створює запис у БД і ставить задачу в чергу (наприклад, через SQS або Laravel Horizon).

Архітектура pipeline

[Client] -> [Presigned S3 Upload] -> [S3: original/]
         |
[S3 Event -> SQS/Lambda] -> [Transcoding Worker (FFmpeg)]
         |
[S3: processed/{quality}/] -> [CDN CloudFront]
         |
[Update DB: video.status = ready, paths = {...}]
         |
[WebSocket/Webhook -> Client notification]

Крок 1: Presigned Upload в S3

// Генерація presigned URL для прямого завантаження з клієнта
class VideoController extends Controller
{
    public function initiateUpload(Request $request): JsonResponse
    {
        $request->validate([
            'filename'     => 'required|string|max:255',
            'content_type' => 'required|in:video/mp4,video/webm,video/quicktime,video/x-msvideo',
            'size'         => 'required|integer|max:5368709120',  // 5 GB
        ]);

        $key = sprintf(
            'original/%d/%s/%s',
            auth()->id(),
            now()->format('Y/m'),
            Str::uuid() . '.' . pathinfo($request->filename, PATHINFO_EXTENSION)
        );

        $s3 = app('aws')->createClient('s3');
        $command = $s3->getCommand('PutObject', [
            'Bucket'      => config('filesystems.disks.s3.bucket'),
            'Key'         => $key,
            'ContentType' => $request->content_type,
        ]);

        $presigned = $s3->createPresignedRequest($command, '+2 hours');

        // Створюємо запис у БД зі статусом pending
        $video = Video::create([
            'user_id'       => auth()->id(),
            'original_key'  => $key,
            'original_name' => $request->filename,
            'status'        => 'pending',
            'size'          => $request->size,
        ]);

        return response()->json([
            'video_id'   => $video->id,
            'upload_url' => (string) $presigned->getUri(),
            'key'        => $key,
        ]);
    }

    // Клієнт викликає після успішного завантаження
    public function confirmUpload(Request $request, Video $video): JsonResponse
    {
        $this->authorize('update', $video);

        $video->update(['status' => 'uploaded']);
        TranscodeVideoJob::dispatch($video);

        return response()->json(['status' => 'processing']);
    }
}

Крок 2: Транскодування з FFmpeg

class TranscodeVideoJob implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable;

    public int $timeout = 7200;  // 2 години
    public int $tries = 2;

    const QUALITIES = [
        '360p'  => ['width' => 640,  'height' => 360,  'bitrate' => '800k',  'audiorate' => '96k'],
        '720p'  => ['width' => 1280, 'height' => 720,  'bitrate' => '2500k', 'audiorate' => '128k'],
        '1080p' => ['width' => 1920, 'height' => 1080, 'bitrate' => '5000k', 'audiorate' => '192k'],
    ];

    public function __construct(private Video $video) {}

    public function handle(): void
    {
        $this->video->update(['status' => 'transcoding']);

        // Скачати оригінал у тимчасовий файл
        $tempInput = tempnam(sys_get_temp_dir(), 'video_') . '.mp4';
        Storage::disk('s3')->copy($this->video->original_key, $tempInput);  // спрощено

        // Реально: stream з S3 через signed URL
        $inputUrl = Storage::disk('s3')->temporaryUrl($this->video->original_key, now()->addHour());

        $paths = [];

        foreach (self::QUALITIES as $quality => $params) {
            $outputKey  = sprintf(
                'processed/%d/%s/%s.mp4',
                $this->video->user_id,
                $this->video->id,
                $quality
            );

            $outputPath = sys_get_temp_dir() . "/{$this->video->id}_{$quality}.mp4";

            $scale = "scale={$params['width']}:{$params['height']}:force_original_aspect_ratio=decrease,pad={$params['width']}:{$params['height']}:(ow-iw)/2:(oh-ih)/2";

            $command = [
                'ffmpeg', '-y',
                '-i', $inputUrl,
                '-vf', $scale,
                '-c:v', 'libx264',
                '-preset', 'medium',        // баланс швидкість/якість
                '-crf', '23',
                '-maxrate', $params['bitrate'],
                '-bufsize', (int)($params['bitrate']) * 2 . 'k',
                '-c:a', 'aac',
                '-b:a', $params['audiorate'],
                '-movflags', '+faststart',  // для web streaming
                $outputPath,
            ];

            $process = new \Symfony\Component\Process\Process($command);
            $process->setTimeout(3600);
            $process->run();

            if (!$process->isSuccessful()) {
                throw new \RuntimeException("FFmpeg failed for {$quality}: " . $process->getErrorOutput());
            }

            // Завантажити в S3
            Storage::disk('s3')->putFileAs(
                dirname($outputKey),
                new \Illuminate\Http\File($outputPath),
                basename($outputKey),
            );

            $paths[$quality] = $outputKey;
            unlink($outputPath);
        }

        // Генерація thumbnail з 10% тривалості
        $thumbKey = "thumbnails/{$this->video->user_id}/{$this->video->id}.jpg";
        $thumbPath = sys_get_temp_dir() . "/{$this->video->id}_thumb.jpg";

        $process = new \Symfony\Component\Process\Process([
            'ffmpeg', '-y', '-i', $inputUrl,
            '-ss', '10%',   // 10% від тривалості
            '-vframes', '1',
            '-q:v', '2',
            $thumbPath,
        ]);
        $process->run();

        if (file_exists($thumbPath)) {
            Storage::disk('s3')->putFileAs(
                dirname($thumbKey),
                new \Illuminate\Http\File($thumbPath),
                basename($thumbKey),
            );
        }

        // Отримати метадані
        $ffprobe = \FFMpeg\FFProbe::create();
        $duration = $ffprobe->streams($inputUrl)->videos()->first()->get('duration');
        $resolution = $ffprobe->streams($inputUrl)->videos()->first()->getDimensions();

        $this->video->update([
            'status'        => 'ready',
            'paths'         => $paths,
            'thumbnail_key' => $thumbKey,
            'duration'      => (int) $duration,
            'width'         => $resolution->getWidth(),
            'height'        => $resolution->getHeight(),
        ]);

        // Сповістити користувача
        $this->video->user->notify(new VideoReadyNotification($this->video));
    }

    public function failed(\Throwable $e): void
    {
        $this->video->update(['status' => 'failed', 'error' => $e->getMessage()]);
        Log::error('Video transcoding failed', ['video_id' => $this->video->id, 'error' => $e->getMessage()]);
    }
}

Який підхід обрати: FFmpeg на своїй інфраструктурі чи AWS MediaConvert?

FFmpeg дає повний контроль і не вимагає додаткових витрат на AWS, але треба адмініструвати сервери та слідкувати за чергами. MediaConvert — керований сервіс: платиш за хвилини транскодування, не дбаєш про масштабування. Для стартапів і середніх проєктів FFmpeg в черзі (наприклад, Laravel Horizon) — бюджетне рішення. Для великих каталогів відео з високим навантаженням вигідніше MediaConvert: він автоматично справляється з піками та підтримує HLS. FFmpeg на власній інфраструктурі обходиться в 3-4 рази дешевше MediaConvert при обсягах до 1000 хвилин на місяць. Вартість реалізації pipeline починається від $500.

MediaConvert у 2 рази швидше на великих обсягах через паралельну обробку, але FFmpeg у 3 рази дешевший для малих обсягів.

AWS Elastic Transcoder / MediaConvert

import boto3

def transcode_with_mediaconvert(input_key: str, output_prefix: str) -> str:
    client = boto3.client('mediaconvert', region_name='eu-west-1',
                          endpoint_url='https://abc123.mediaconvert.eu-west-1.amazonaws.com')

    job = client.create_job(
        Role='arn:aws:iam::123456789:role/MediaConvertRole',
        Settings={
            'Inputs': [{
                'FileInput': f's3://my-bucket/{input_key}',
                'AudioSelectors': {'Audio Selector 1': {'DefaultSelection': 'DEFAULT'}},
                'VideoSelector': {},
            }],
            'OutputGroups': [{
                'Name': 'File Group',
                'OutputGroupSettings': {
                    'Type': 'FILE_GROUP_SETTINGS',
                    'FileGroupSettings': {
                        'Destination': f's3://my-bucket/{output_prefix}/',
                    },
                },
                'Outputs': [
                    {
                        'NameModifier': '_720p',
                        'VideoDescription': {
                            'Width': 1280, 'Height': 720,
                            'CodecSettings': {
                                'Codec': 'H_264',
                                'H264Settings': {'Bitrate': 2500000, 'RateControlMode': 'CBR'},
                            },
                        },
                        'AudioDescriptions': [{'CodecSettings': {'Codec': 'AAC', 'AacSettings': {'Bitrate': 128000}}}],
                        'ContainerSettings': {'Container': 'MP4'},
                    },
                    # ... 360p, 1080p аналогічно
                ],
            }],
        }
    )
    return job['Job']['Id']

Прогрес транскодування

// Віддавати прогрес через SSE або WebSocket
Route::get('/videos/{video}/status', function (Video $video) {
    return response()->json([
        'status'   => $video->status,
        'progress' => $video->transcoding_progress,
        'paths'    => $video->status === 'ready' ? $video->paths : null,
    ]);
});

Процес роботи

1. Аналіз: збираємо типи відео, очікуваний обсяг, вимоги до адаптивної доставки.
2. Проектування: обираємо S3 vs власне сховище, конфігуруємо FFmpeg параметри (bitrate, CRF, пресети).
3. Реалізація: генеруємо presigned URL, пишемо queue workers, підключаємо WebSocket.
4. Тестування: load test з різними розмірами відео, перевірка якості thumbnail та аудіо.
5. Деплой: налаштовуємо моніторинг (алерти на помилки транскодування), CI/CD для оновлень pipeline.

Строки реалізації

Що входить у роботу

• Архітектурна документація pipeline.
• Вихідний код з коментарями (Laravel + FFmpeg або Python + MediaConvert).
• Доступи до S3, налаштування IAM ролей.
• Скрипти для моніторингу та алертингу.
• Навчання команди підтримці.

Часті помилки на практиці

• Не встановлювати timeout на задачі — транскодування може тривати години, а воркер падає.
• Не обробляти помилки завантаження (переривання інтернету, невірний content-type).
• Генерувати presigned URL на надто короткий час — користувач не встигає завантажити.

Маємо 5+ років досвіду в побудові відео-pipeline, виконали понад 30 проєктів з транскодування для медіа-сайтів та освітніх платформ (сертифіковані AWS партнери). Оцінимо ваш проєкт за 1 день — пишіть. Отримайте консультацію з архітектури відео-pipeline. Зв'яжіться з нами для отримання консультації. Замовте розробку — отримайте оцінку за 1 день. Вартість від $500.

Послуги бекенд-розробки: production-grade надійність

На production-сервері о 3:14 ночі черга Laravel Jobs перестала оброблятися — 40 000 необроблених завдань у Redis. Причина: worker упав через memory leak у статичній змінній Eloquent observer, supervisor не перезапустив через misconfigured stopwaitsecs. Ми розбирали такий інцидент на проекті з 500 RPS: діагностика 4 години, фікс — 20 хвилин. Щоб ви не втрачали гроші, пропонуємо послуги бекенд-розробки з акцентом на production-grade надійність — 10+ років досвіду, 50+ проектів, 5 років на ринку. Оцінимо ваш проект за 2 дні.

Які проблеми вирішуємо

N+1 запити: головний вбивця швидкості

N+1 — найпоширеніша причина повільних сторінок у Laravel-додатках. Стандартна історія: сторінка працювала нормально на dev з 10 записами, на production з 10 000 — 8-секундне завантаження.

Laravel Debugbar у dev-оточенні показує кількість запитів. Більше 20 — сигнал для audit.

Model::preventLazyLoading(! app()->isProduction());

Telescope для профілювання: логує всі запити, jobs, mail, notifications з деталізацією. Після впровадження eager loading час завантаження сторінки падає з 8 с до 0.3 с — у 27 разів.

Memory leak у статичних змінних

У Laravel Octane або Swoole додаток тримається в пам’яті між запитами. Статичні змінні не скидаються — призводять до неконтрольованого росту пам’яті. Використовуємо defer-функції та контейнерні біндинги для коректного скидання стану.

Неправильний connection pool

Rails, Laravel, Django відкривають нове з'єднання PostgreSQL на кожен PHP/Python процес. 100 воркерів — 100 з'єднань. PostgreSQL деградує від 200+ активних з'єднань через overhead на управління.

PgBouncer у transaction pooling: 1000 воркерів → 20–50 реальних з'єднань. Це знижує latency на 40% та зменшує витрати на хостинг на 30% — при середній вартості хостингу $2,000/міс економить $600/міс. GIN-індекс для JSONB до 100 разів швидший за B-tree при пошуку.

Як Octane справляється з високим навантаженням?

Laravel Octane (RoadRunner або Swoole) прибирає overhead bootstrap на кожен HTTP-запит. Приріст: 3–8x на синтетичних бенчмарках, 2–4x на реальних додатках. Важливо: не зберігати стан у статичних змінних — застосовуємо це на проектах >1000 RPS.

Як PostgreSQL допомагає уникнути повільних запитів?

Використовуємо composite indexes для WHERE + ORDER BY, partial indexes для фільтрів з високою селективністю, GIN-індекси для JSONB та full-text search. to_tsvector + GIN замість LIKE '%query%' — запобігає seq scan навіть на мільйонах записів. Аналізуємо плани через EXPLAIN ANALYZE та pg_stat_statements.

Як обрати стек для вашого проекту?

Node.js виправданий для realtime: Laravel публікує події в Redis Pub/Sub, Node.js підписується та транслює клієнтам. Go — для goroutines (10k з'єднань на сервер — норма), але розробка повільніша, ніж Laravel.

Чому Redis критичний для продуктивності?

Redis виконує кілька ролей:

Redis Cluster для горизонтального масштабування, Sentinel для автоматичного failover. Замовте консультацію щодо оптимізації Redis для вашого проекту.

Що входить в роботу під ключ

• Архітектурне проектування (документація API, схема БД, діаграма сервісів)
• Реалізація за узгодженим ТЗ з code review
• Налаштування CI/CD (GitHub Actions, Docker), моніторингу (Sentry, Grafana), алертингу
• Навантажувальне тестування (k6, wrk) зі звітом
• Передача вихідних кодів, доступів, інструкція з деплою
• Навчання команди замовника (2–3 сесії)
• Гарантійна підтримка 1 місяць після здачі

Орієнтири по термінах

Вартість розраховується індивідуально після аналізу вимог до навантаження, інтеграцій та бізнес-логіки. Зв'яжіться з нами для безкоштовного аудиту вашого поточного backend — отримайте план оптимізації за 2 дні. Замовте консультацію та дізнайтеся, як знизити витрати на інфраструктуру на 30% без втрати продуктивності.