MusicGen (Meta): відкрита генерація музики з інтеграцією

Ви пишете промпт «ембієнт із повільним бітом і педами» — модель видає 30 секунд музики. MusicGen від Meta робить це з нульовою затримкою. Open-source, MIT-ліцензія, комерційне використання без роялті. Економія на ліцензіях значна: відмова від пропрієтарних сервісів окупає витрати на GPU протягом кількох місяців. Типова економія для середнього проєкту становить $3000–$5000 на місяць.

Як працює MusicGen?

MusicGen — це авторегресивний трансформер, навчений на 20 000 годин ліцензованої музики. Аудіо кодується в токени через EnCodec (32 кГц), потім модель передбачає послідовність токенів за текстом або мелодією. Під капотом — T5-encoder для кондиціонування. Для оптимізації інференсу ми використовуємо ONNX Runtime з INT8-quantization, що прискорює генерацію в 1.5–2 рази без значної втрати якості.

У продакшені ми використовуємо facebook/musicgen-large (3.3B параметрів) або facebook/musicgen-medium (1.5B) для швидких відповідей. Вибір залежить від ваших вимог до quality/latency.

Які проблеми вирішує інтеграція MusicGen?

Основна проблема — latency. Без оптимізації генерація на high-end GPU може займати до хвилини на трек. Ми вирішуємо це через INT8-quantization (ONNX Runtime) і динамічний батчинг. Друга проблема — довгі треки: модель обмежена 30 секундами. Метод chunking з перекриттям і кросфейдом дозволяє отримувати композиції будь-якої довжини без втрати якості. Третя проблема — інтеграція в наявний стек. Ми даємо готовий REST API з моніторингом і масштабуванням.

Чому MusicGen вигідніший за альтернативи?

Ліцензія MIT дозволяє вбудовувати модель у комерційні продукти без відрахувань. Це єдина open-source модель такого класу з підтримкою генерації за текстом і мелодією. Альтернативи, такі як Jukebox або Riffusion, або повільніші (Jukebox у 2–3 рази), або мають обмеження за тривалістю та якістю. Наприклад, small-версія на RTX 3090 генерує 30 секунд за 45 секунд — це швидше, ніж будь-яка аналогічна модель за порівнянної якості. Ви також можете донавчити модель на своїх даних через LoRA, адаптуючи під конкретний жанр або стиль.

Що входить в інтеграцію?

Ми передаємо повний комплект для запуску та експлуатації:

• Документація з API та архітектури рішення
• Docker-образ з оптимізованою моделлю (INT8, batch)
• Helm-чарти для Kubernetes
• Скрипти для донавчання (LoRA) на ваших даних
• Моніторинг через Prometheus метрики (latency, throughput)
• Підтримка протягом 3 місяців після деплою

Як проходить інтеграція MusicGen?

Ми не просто запускаємо модель. Враховуємо latency, throughput і вартість GPU. Процес включає:

1. Аналітика: оцінка навантаження (RPS) і цільових latency (p95 < 3 секунди).
2. Проектування: вибір моделі (medium/large) і схеми деплою (CPU/GPU).
3. Реалізація: API, кешування, моніторинг (Prometheus + Grafana).
4. Тестування: навантажувальні тести, A/B порівняння з baseline.
5. Деплой: Kubernetes Helm-чарти або Docker Compose + CI/CD.

Приклад: REST API на FastAPI і Triton

from fastapi import FastAPI from pydantic import BaseModel import numpy as np import tritonclient.http as triton_http app = FastAPI() client = triton_http.InferenceServerClient(url="triton:8000") class GenerateRequest(BaseModel): prompt: str duration: int = 30 cfg_scale: float = 3.0 @app.post("/generate") async def generate(req: GenerateRequest): inputs = [triton_http.InferInput("TEXT", [1, 1], "BYTES")] inputs[0].set_data_from_numpy(np.array([req.prompt.encode()], dtype=np.object_)) result = client.infer("musicgen_ensemble", inputs) audio = result.as_numpy("AUDIO")[0] return {"url": upload_to_s3(audio, req.prompt)} 

Code: MusicGen Melody — генерація за мотивами

melody_model = MusicGen.get_pretrained("facebook/musicgen-melody") def generate_variation(reference_audio: bytes, style_description: str) -> bytes: melody_wav, sr = torchaudio.load(io.BytesIO(reference_audio)) melody_model.set_generation_params(duration=30) wav = melody_model.generate_with_chroma( descriptions=[style_description], melody_wavs=melody_wav.unsqueeze(0), melody_sample_rate=sr, progress=True ) buf = io.BytesIO() torchaudio.save(buf, wav[0].cpu(), sample_rate=32000, format="mp3") return buf.getvalue() 

Промпти за жанрами

MUSICGEN_STYLE_PROMPTS = { "corporate": "uplifting corporate background, piano, strings, positive mood, no drums", "lofi": "lofi hip hop, relaxing, vinyl crackle, mellow piano, slow beat", "epic": "epic orchestral, cinematic, strings, brass, powerful drums, intense", "ambient": "ambient electronic, atmospheric, pads, soft synths, meditative", "jazz": "smooth jazz, saxophone, double bass, brushed drums, relaxed", "acoustic": "acoustic guitar, warm, folk style, fingerpicking, natural reverb", } 

Довгі треки через chunking

def generate_long_music(description: str, total_duration: int = 120) -> bytes: chunk_duration = 30 overlap = 5 chunks = [] model.set_generation_params(duration=chunk_duration) wav = model.generate([description]).cpu() chunks.append(wav[0]) while sum(w.shape[-1] for w in chunks) / 32000 < total_duration - overlap: continuation = model.generate_continuation( chunks[-1][:, :, -int(overlap * 32000):], prompt_sample_rate=32000, descriptions=[description] ) chunks.append(continuation[0].cpu()) full_wav = torch.cat(chunks, dim=-1)[:, :int(total_duration * 32000)] buf = io.BytesIO() torchaudio.save(buf, full_wav, sample_rate=32000, format="mp3") return buf.getvalue()