Реализация совместного AR-опыта (Collaborative AR)
Collaborative Session в ARKit — это Apple-специфичный механизм, который позволяет нескольким устройствам в одной локальной сети обмениваться AR-данными: feature points, якорями, трансформациями. В отличие от Cloud Anchors, здесь нет внешнего сервера — устройства строят общую карту вместе, в реальном времени.
Включается одной строчкой в конфигурации и оказывается значительно сложнее, чем кажется.
Как устроена Collaborative Session
let config = ARWorldTrackingConfiguration()
config.isCollaborationEnabled = true
arView.session.run(config)
После этого ARKit начинает генерировать ARSession.CollaborationData — пакеты с информацией об окружении данного устройства. Их нужно отправлять другим участникам через любой транспорт (MultipeerConnectivity, WebSocket, GameKit):
func session(_ session: ARSession, didOutputCollaborationData data: ARSession.CollaborationData) {
let encoded = try? NSKeyedArchiver.archivedData(withRootObject: data, requiringSecureCoding: true)
// отправляем encoded всем пирам
}
// На принимающей стороне:
let data = try? NSKeyedUnarchiver.unarchivedObject(ofClass: ARSession.CollaborationData.self, from: received)
session.update(with: data)
Устройства начинают строить общую карту — каждое добавляет свои feature points. Через 10–30 секунд карты сливаются, и все участники видят одинаковую систему координат.
Что идёт не так
MultipeerConnectivity — ненадёжный транспорт. MCSession периодически дропает пиров без внятных ошибок. Устройство остаётся в списке connectedPeers, но данные не доходят. Решение: heartbeat каждые 2 секунды + автоматическое переподключение при пропущенных трёх пингах.
Размер пакетов CollaborationData. При активном движении камеры — до 50–100 КБ/с на устройство. На 5 участников — 250–500 КБ/с исходящего трафика. MCSession с надёжной доставкой (.reliable) создаёт очередь и лагает. Переключаемся на .unreliable для CollaborationData — потеря отдельных пакетов некритична, ARKit восстанавливается. Критичные данные (размещение объектов) отправляем .reliable отдельным каналом.
Момент слияния карт. До слияния устройства работают в своих локальных системах координат. Якоря, добавленные до слияния, могут прыгнуть при синхронизации. Нужно отслеживать ARParticipantAnchor — когда другой участник появляется в сцене, значит карты объединились:
func session(_ session: ARSession, didAdd anchors: [ARAnchor]) {
let participants = anchors.compactMap { $0 as? ARParticipantAnchor }
if !participants.isEmpty {
// Карты объединились — можно размещать объекты
enableObjectPlacement()
}
}
Размещать объекты до ARParticipantAnchor — значит получать рассинхронизацию между участниками.
iOS-only ограничение. Collaborative Session работает только между Apple-устройствами. Для Android — только ARCore Cloud Anchors.
Практический кейс
Корпоративное AR-приложение для совместного планирования офиса. 4 участника с iPad Pro в одном помещении. Collaborative Session через MultipeerConnectivity. Каждый мог перетаскивать виртуальную мебель, остальные видели изменения с задержкой ~100 мс.
Главная проблема: при выходе одного участника из комнаты MCSession его дропала, но ARKit продолжал слать данные в пустоту и накапливал очередь. При возвращении — лавина накопленных пакетов зависала UI. Решение: при потере пира — немедленная очистка буфера и реконнект с нуля.
Что входит в работу
- Настройка ARWorldTrackingConfiguration с
isCollaborationEnabled - Реализация транспортного слоя через MultipeerConnectivity или GameKit
- Обработка жизненного цикла сессии: обнаружение участников, слияние карт, выход пиров
- Синхронизация пользовательских данных поверх AR-пространства
- Тестирование на реальных устройствах в разных сетевых условиях
Сроки
Базовая Collaborative Session с MultipeerConnectivity — 2–3 недели. С полноценной обработкой edge-кейсов, синхронизацией состояния и UI — 4–7 недель. Стоимость рассчитывается индивидуально.