MusicGen (Meta): open-source генерация музыки с интеграцией

Вы пишете промпт «эмбиент с медленным битом и падами» — модель выдаёт 30 секунд музыки. MusicGen от Meta делает это с нулевой задержкой. Open-source, MIT-лицензия, коммерческое использование без роялти. Проблема: большинство проприетарных решений для генерации музыки либо дороги, либо имеют закрытый код. Вы не можете контролировать модель и платите за каждый запрос. MusicGen решает это: вы получаете полный контроль над инференсом, дообучением и развёртыванием. Мы уже интегрировали его в несколько продуктов: от генерации фоновой музыки для видео до динамического саундтрека в играх. Экономия на лицензиях — значительная: отказ от проприетарных сервисов окупает затраты на GPU в течение нескольких месяцев.

Как работает MusicGen?

MusicGen — это авторегрессивный трансформер, обученный на 20 000 часов лицензированной музыки. Аудио кодируется в токены через EnCodec (32 кГц), затем модель предсказывает последовательность токенов по тексту или мелодии. Под капотом — T5-encoder для кондиционирования.

В продакшене мы используем facebook/musicgen-large (3.3B параметров) или facebook/musicgen-medium (1.5B) для быстрых ответов. Выбор зависит от ваших требований к quality/latency.

Какие проблемы решает интеграция MusicGen?

Основная проблема — latency. Без оптимизации генерация на high-end GPU может занимать до минуты на трек. Мы решаем это через INT8-quantization и динамический батчинг. Вторая проблема — длинные треки: модель ограничена 30 секундами. Метод chunking с перекрытием и кроссфейдом позволяет получать композиции любой длины без потери качества. Третья проблема — интеграция в существующий стек. Мы даём готовый REST API с мониторингом и масштабированием.

Почему MusicGen выгоднее альтернатив?

Лицензия MIT позволяет встраивать модель в коммерческие продукты без отчислений. Это единственная open-source модель такого класса с поддержкой генерации по тексту и мелодии. Альтернативы, такие как Jukebox или Riffusion, либо медленнее, либо имеют ограничения по длительности и качеству. Например, small-версия на RTX 3090 генерирует 30 секунд за 45 секунд — это быстрее, чем любая аналогичная модель при сопоставимом качестве. Вы также можете дообучить модель на своих данных через LoRA, адаптируя под конкретный жанр или стиль.

Что входит в интеграцию?

Мы передаём полный комплект для запуска и эксплуатации:

• Документация по API и архитектуре решения
• Docker-образ с оптимизированной моделью (INT8, batch)
• Helm-чарты для Kubernetes
• Скрипты для дообучения (LoRA) на ваших данных
• Мониторинг через Prometheus метрики (latency, throughput)
• Поддержка в течение 3 месяцев после деплоя

Как проходит интеграция MusicGen?

Мы не просто запускаем модель. Учитываем latency, throughput и стоимость GPU. Процесс включает:

1. Аналитика: оценка нагрузки (RPS) и целевых latency (p95 < 3 секунды).
2. Проектирование: выбор модели (medium/large) и схемы деплоя (CPU/GPU).
3. Реализация: API, кэширование, мониторинг (Prometheus + Grafana).
4. Тестирование: нагрузочные тесты, A/B сравнение с baseline.
5. Деплой: Kubernetes Helm-чарты или Docker Compose + CI/CD.

Пример: REST API на FastAPI и Triton

from fastapi import FastAPI from pydantic import BaseModel import numpy as np import tritonclient.http as triton_http app = FastAPI() client = triton_http.InferenceServerClient(url="triton:8000") class GenerateRequest(BaseModel): prompt: str duration: int = 30 cfg_scale: float = 3.0 @app.post("/generate") async def generate(req: GenerateRequest): inputs = [triton_http.InferInput("TEXT", [1, 1], "BYTES")] inputs[0].set_data_from_numpy(np.array([req.prompt.encode()], dtype=np.object_)) result = client.infer("musicgen_ensemble", inputs) audio = result.as_numpy("AUDIO")[0] return {"url": upload_to_s3(audio, req.prompt)} 

Code: MusicGen Melody — генерация по мотивам

melody_model = MusicGen.get_pretrained("facebook/musicgen-melody") def generate_variation(reference_audio: bytes, style_description: str) -> bytes: melody_wav, sr = torchaudio.load(io.BytesIO(reference_audio)) melody_model.set_generation_params(duration=30) wav = melody_model.generate_with_chroma( descriptions=[style_description], melody_wavs=melody_wav.unsqueeze(0), melody_sample_rate=sr, progress=True ) buf = io.BytesIO() torchaudio.save(buf, wav[0].cpu(), sample_rate=32000, format="mp3") return buf.getvalue() 

Промпты по жанрам

MUSICGEN_STYLE_PROMPTS = { "corporate": "uplifting corporate background, piano, strings, positive mood, no drums", "lofi": "lofi hip hop, relaxing, vinyl crackle, mellow piano, slow beat", "epic": "epic orchestral, cinematic, strings, brass, powerful drums, intense", "ambient": "ambient electronic, atmospheric, pads, soft synths, meditative", "jazz": "smooth jazz, saxophone, double bass, brushed drums, relaxed", "acoustic": "acoustic guitar, warm, folk style, fingerpicking, natural reverb", } 

Длинные треки через chunking

def generate_long_music(description: str, total_duration: int = 120) -> bytes: chunk_duration = 30 overlap = 5 chunks = [] model.set_generation_params(duration=chunk_duration) wav = model.generate([description]).cpu() chunks.append(wav[0]) while sum(w.shape[-1] for w in chunks) / 32000 < total_duration - overlap: continuation = model.generate_continuation( chunks[-1][:, :, -int(overlap * 32000):], prompt_sample_rate=32000, descriptions=[description] ) chunks.append(continuation[0].cpu()) full_wav = torch.cat(chunks, dim=-1)[:, :int(total_duration * 32000)] buf = io.BytesIO() torchaudio.save(buf, full_wav, sample_rate=32000, format="mp3") return buf.getvalue()