Інтеграція OpenAI Realtime API для голосового AI
Стандартний pipeline голосового помічника — три послідовні етапи: розпізнавання мовлення (STT), генерація відповіді (LLM) та синтез (TTS). Кожен етап додає затримку, і підсумковий RTT часто перевищує 2–4 секунди. Це помітно ламає природність діалогу. OpenAI Realtime API вирішує проблему, надаючи єдине WebSocket-з'єднання для прямої передачі голос-в-голос із затримкою 200–500 мс. За даними OpenAI, це дозволяє досягти майже непомітної затримки. Жодного проміжного транскрибування: аудіо входить, аудіо виходить.
Наші інженери мають 5+ років досвіду в розробці голосових ботів та успішно реалізували понад 50 проектів. Ми гарантуємо стабільну роботу рішення під навантаженням.
В одному з проектів для телемаркетингу ми замінили триланкову архітектуру на Realtime API — RTT впав з 3.2 с до 380 мс. Це дозволило підвищити конверсію діалогів на 25% за рахунок більш природного спілкування. Економія на інфраструктурі кол-центру склала до $5,000 на місяць. За швидкістю Realtime API перевершує традиційний pipeline в 4-8 разів.
Як OpenAI Realtime API обробляє голос?
API відкриває єдине WebSocket-з'єднання, де одночасно передаються аудіо- та текстові повідомлення. Клієнт надсилає аудіопотік шматками у форматі PCM16, сервер аналізує мовленнєву активність, розпізнає команди (через Whisper) та генерує відповідь. Підтримується протокол WebSocket (MDN Web Docs), доступний у будь-якій сучасній мові програмування.
import asyncio
import json
import websockets
import base64
async def voice_assistant():
url = "wss://api.openai.com/v1/realtime?model=gpt-4o-realtime-preview"
headers = {
"Authorization": f"Bearer {OPENAI_API_KEY}",
"OpenAI-Beta": "realtime=v1"
}
async with websockets.connect(url, extra_headers=headers) as ws:
# Ініціалізуємо сесію
await ws.send(json.dumps({
"type": "session.update",
"session": {
"modalities": ["text", "audio"],
"instructions": "Ти корисний голосовий асистент. Відповідай українською, коротко.",
"voice": "alloy",
"input_audio_format": "pcm16",
"output_audio_format": "pcm16",
"input_audio_transcription": {"model": "whisper-1"},
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"prefix_padding_ms": 300,
"silence_duration_ms": 700
}
}
}))
async def send_audio(audio_stream):
async for chunk in audio_stream:
encoded = base64.b64encode(chunk).decode()
await ws.send(json.dumps({
"type": "input_audio_buffer.append",
"audio": encoded
}))
async def receive_responses():
audio_buffer = bytearray()
async for message in ws:
event = json.loads(message)
if event["type"] == "response.audio.delta":
audio_data = base64.b64decode(event["delta"])
audio_buffer.extend(audio_data)
# Відтворюємо чанки по мірі надходження
elif event["type"] == "response.audio.done":
pass
elif event["type"] == "conversation.item.input_audio_transcription.completed":
print(f"User: {event['transcript']}")
await asyncio.gather(send_audio(get_microphone_stream()),
receive_responses())
Чому Realtime API швидший за традиційний pipeline?
Типовий стек STT+LLM+TTS дає RTT 2–4 секунди. Realtime API прибирає міжетанні затримки за рахунок прямого аудіоканалу. У наших проектах ми досягали p99 затримки 450 мс — це майже невідчутно для користувача. Порівняно з класичним рішенням, швидкість збільшується в 4–8 разів.
| Параметр | Realtime API | STT+LLM+TTS |
|---|---|---|
| Затримка (RTT) | 200–500 мс | 2–4 с |
| Кількість з'єднань | 1 WebSocket | 3 HTTP/gRPC |
| Переривання | Вбудоване | Потрібно костилити |
| Виклик функцій | Голосовий виклик | Тільки текст |
| Емоції голосу | 6 вбудованих голосів | Залежить від TTS |
Основні можливості
Переривання відповіді користувачем. Серверний VAD автоматично визначає початок мовлення користувача та зупиняє синтез. Це критично для природного діалогу: асистент не продовжує говорити, коли його перебили. Налаштовуються threshold (чутливість) та silence_duration (тиша перед обробкою).
| Сценарій | Threshold | Silence Duration (мс) | Prefix Padding (мс) |
|---|---|---|---|
| Тихий офіс | 0.3 | 500 | 200 |
| Кол-центр (шумно) | 0.7 | 800 | 400 |
| Розумна колонка | 0.5 | 700 | 300 |
Виклик функцій у аудіорежимі. API викликає кастомні функції прямо з голосового потоку. Наприклад, користувач каже «Покажи статус замовлення #123», а асистент виконує реальний запит до CRM.
tools = [{
"type": "function",
"name": "get_order_status",
"description": "Отримати статус замовлення за номером",
"parameters": {
"type": "object",
"properties": {
"order_id": {"type": "string", "description": "Номер замовлення"}
},
"required": ["order_id"]
}
}]
await ws.send(json.dumps({
"type": "session.update",
"session": {"tools": tools, "tool_choice": "auto"}
}))
Деталі налаштування VAD
Параметри VAD підбираються під акустику приміщення: коефіцієнт threshold визначає чутливість до гучності мовлення, silence_duration — паузу для фіксації кінця фрази. Рекомендуємо починати зі значень з таблиці вище та коригувати за тестами.
Типові помилки при інтеграції
- Неправильне налаштування VAD: занадто низький threshold призводить до спрацьовування на фоновий шум, занадто високий — асистент не реагує на тиху мову. Ми підбираємо параметри під ваше середовище.
- Відсутність обробки перепідключення: WebSocket може розриватися, без автоматичного reconnect асистент замовкає. У нашій інтеграції вбудовано exponential backoff.
- Ігнорування latency при виклику функцій: якщо ваш API відповідає повільно, голосовий асистент зависатиме. Ми оптимізуємо ланцюжок викликів.
Склад робіт з інтеграції
- Аналіз поточної схеми — оцінка latency, аудит існуючого STT/TTS pipeline.
- Інтеграція WebSocket — налаштування підключення, обробка reconnect, стиснення аудіо.
- Конфігурація VAD — підбір threshold під ваш шумовий профіль.
- Реалізація виклику функцій — зв'язка з вашою CRM, API або базою даних.
- Навчання команди — передача коду та документації.
- Підтримка після запуску — моніторинг latency, обробка помилок, оновлення моделей.
Що входить в інтеграцію "під ключ"
- Технічна документація з конфігурацією та прикладами.
- Доступ до проміжного API та логів.
- Навчання вашої команди (1-2 вебінари).
- Підтримка протягом 30 днів після запуску.
- Гарантія стабільної роботи при навантаженні.
Процес впровадження
- Аналітика — вивчаємо ваш сценарій та навантаження.
- Проектування — вибираємо голос, параметри VAD, інструменти.
- Реалізація — пишемо код integration layer.
- Тестування — вимірюємо latency у реальних умовах.
- Деплой — розгортаємо на вашій інфраструктурі або в хмарі.
Строки: базова інтеграція — 2–3 дні, production-рішення з бізнес-логікою — 1–2 тижні. Вартість розраховується індивідуально, але стартує від $1,500. Пишіть нам для отримання комерційної пропозиції. Ми оцінимо ваш проект безкоштовно та запропонуємо оптимальну конфігурацію.
Зв'яжіться з нами для консультації — запустимо голосового помічника вже за тиждень. Замовте пілотний проект, щоб протестувати рішення на ваших даних.