Розробка мобільного AR-додатку для освіти

Уявіть: вчитель біології дістає картку із зображенням серця, учні наводять камери планшетів — і на партах з'являється тривимірне серце, яке можна обертати, розбирати на камери, слухати його звук. Це не фантастика, а наш досвід. Ми створюємо освітні AR-додатки, які перетворюють абстрактні концепції на відчутні об'єкти. Замовте розробку під ключ — і ваші учні побачать математику в 3D.

Наша компанія має 10+ років досвіду в мобільній розробці, 50+ реалізованих проєктів та 5 років на ринку AR-рішень.

Переваги AR в освіті

Чому AR? Дослідження показують, що інтерактивна візуалізація підвищує засвоєння матеріалу на 40% порівняно з традиційними підручниками. Крім того, AR у 3 рази швидше пояснює складні концепції, ніж стандартні 2D-ілюстрації, та забезпечує у 3 рази вищу залученість учнів порівняно з відеоуроками. AR-додатки коштують у 2-3 рази дешевше за фізичне лабораторне обладнання. Ми впроваджуємо гейміфікацію, миттєвий зворотний зв'язок та прогресію складності — усе це технічно реалізовано при правильній архітектурі.

Наша команда — 10+ років у мобільній розробці, 50+ реалізованих проєктів, 5 років на ринку AR-рішень. Ми пройшли шлях від простих 2D-анімацій до складних AR-сценаріїв з багатокористувацьким режимом. Кожен проєкт починається з аудиту навчальної програми та вибору оптимального стеку: iOS (ARKit + RealityKit) або крос-платформа (Unity AR Foundation). Результат — додаток, який працює офлайн, не потребує потужного заліза та легко масштабується.

Як AR знижує когнітивне навантаження?

Освітній AR працює, коли абстрактне стає видимим. Молекула води в руках дитини, дріб у вигляді 3D-піци, кровообіг навколо живого серця на столі. Правильно спроєктований AR-контент знижує когнітивне навантаження на абстрактні концепції, прискорюючи розуміння. Ми використовуємо механіки розбирання/складання, голосові відповіді та миттєвий зворотний зв'язок.

Архітектура освітнього AR-додатку

Типова структура: предмети → теми → уроки → AR-активності. Кожна AR-активність прив'язана до конкретної навчальної мети та містить:

• 3D-об'єкт або сцену
• Скрипт взаємодії (що відбувається при tap, swipe, voice command)
• Оціночний компонент (правильно/неправильно, прогрес)
• Аудіо-супровід (дикторський голос, звукові ефекти)

Стек для iOS: ARKit + RealityKit + AVFoundation (аудіо) + Combine (реактивний стан уроку). Для крос-платформи: Unity AR Foundation — один кодбаза для iOS та Android, важливо при роботі зі школами з різними пристроями.

Ключові механіки взаємодії

Розбирання та складання об'єктів

Найефективніша механіка для механіки, хімії, біології. Атом розбирається на протони/нейтрони/електрони. Двигун показує всі частини. Клітина ділиться.

Анімація «вибуху» через FromToByAnimation в RealityKit для кожної частини. Зворотня задача — складання: користувач перетягує частини на правильні позиції. Детектування правильного розміщення через колізійні зони:

// Snap-zone для правильної позиції частини
let snapZone = Entity()
snapZone.components[CollisionComponent.self] = CollisionComponent(
    shapes: [.generateSphere(radius: 0.05)],
    mode: .trigger
)
// onCollisionBegan — перевіряємо, чи правильна частина потрапила в зону

AR-квест за підручником

Маркери на сторінках підручника — кожна сторінка оживає. ARImageTrackingConfiguration з maximumNumberOfTrackedImages = 4 (обмеження): відстежуємо лише сторінки в полі зору.

Проблема: користувач перевертає сторінку — старий маркер зникає, ARKit прибирає анкор. Анімація переривається. Рішення: не прив'язуємо AR-контент жорстко до анкору. При втраті анкора — контент «вилітає» у світовий простір (перехід до ARWorldAnchor), користувач може продовжувати взаємодію.

Голосові відповіді

Speech Recognition через SFSpeechRecognizer — дитина називає елемент таблиці Менделєєва, AR показує його структуру:

let recognizer = SFSpeechRecognizer(locale: Locale(identifier: "ru-RU"))
let request = SFSpeechAudioBufferRecognitionRequest()
recognitionTask = recognizer?.recognitionTask(with: request) { result, error in
    if let text = result?.bestTranscription.formattedString {
        handleVoiceCommand(text)
    }
}

Працює офлайн через SFSpeechRecognizer.supportsOnDeviceRecognition — важливо для шкіл без стабільного інтернету.

Педагогічні вимоги та їхня технічна реалізація

Прогресія складності. Починаємо з простого (2D-анімація, загальний вигляд), ускладнюємо по мірі взаємодії. Технічно: state machine уроку з рівнями складності, розблокований контент.

Миттєвий зворотний зв'язок. Помилився — одразу візуальна реакція (об'єкт червоніє, трясеться), не після тесту. PhysicsSimulationComponent в RealityKit для bounce-ефекту при неправильному розміщенні.

Відстеження прогресу. Вчитель має бачити, хто з учнів пройшов тему. Backend з обліковими записами (Google Sign-In для шкіл через Google Workspace) + Firestore для зберігання прогресу. Спеціальна вчительська панель у web (React) або окремий режим у додатку.

Робота без інтернету. Урок у класі — не завжди є Wi-Fi. Контент кешується при першому завантаженні. Прогрес зберігається локально (CoreData / Room), синхронізується при появі мережі.

Чому важливий офлайн-режим?

Шкільний Wi-Fi часто не витримує навантаження 30 одночасних AR-сесій. Наше рішення — весь контент на пристрої. Прогрес синхронізується фоново при підключенні до інтернету. Для спільних завдань використовуємо MultipeerConnectivity через Bluetooth, оминаючи Wi-Fi.

Вікова адаптація

Для аудиторії 6–10 років: великі touch-targets (мінімум 60×60 поінтів), яскраві кольори, прості жести (тільки tap і drag, без pinch і rotation), голосові підказки, мінімум тексту.

Для 11–16 років: складніша механіка допустима, текстові анотації, завдання з кількома кроками.

Для вищої школи / професійної освіти: повний стек взаємодій, технічні терміни, інтеграція з LMS (Moodle, Canvas) через xAPI/SCORM.

Робота в класі: багатокористувацький сценарій

Клас з 30 учнів, всі запускають AR одночасно. Навантаження на шкільний Wi-Fi — нульове (офлайн-контент). Але синхронізація прогресу на сервер — 30 одночасних запитів при завершенні завдання. Firebase Firestore справляється, але потрібна exponential backoff стратегія при retry.

Для спільних AR-завдань (два учні разом збирають молекулу) — MultipeerConnectivity через Bluetooth, без Wi-Fi.

Покроковий план впровадження AR в школу

1. Аудит навчальної програми — визначаємо предмети та теми, де AR дасть найбільший ефект.
2. Проєктування сценаріїв — створюємо storyboard взаємодій для кожного уроку.
3. Розробка 3D-моделей — створюємо реалістичні об'єкти з урахуванням педагогічних вимог.
4. Програмування — реалізуємо логіку взаємодії під обрану платформу.
5. Тестування — проводимо пілотні заняття в реальних класах.
6. Інтеграція з LMS — налаштовуємо відстеження прогресу через xAPI/SCORM.
7. Навчання вчителів — проводимо вебінар та надаємо методичні матеріали.
8. Запуск та підтримка — технічна підтримка 3 місяці, далі за потребою.

Кейс з нашої практики

Додаток з біології для 7–9 класу, 12 тем з анатомії людини. AR-розбирання кожного органу системи + вікторина після. Маркери на картках (роздатковий матеріал до підручника). Офлайн-робота, прогрес у Firestore, вчительська панель на React.

Найскладніший момент: 3D-моделі органів від медичного ілюстратора прийшли у ZBrush форматі з 5 мільйонами полігонів. Автоматичною ретопологією не обійшлися — кожен орган ретопологізували вручну до 20 000–40 000 полігонів зі збереженням медичної точності деталей. Це 40 годин роботи 3D-художника.

Що входить у роботу

• Аудит навчальної програми та цільової аудиторії
• Проєктування архітектури та сценаріїв взаємодії
• Розробка 3D-моделей з урахуванням педагогічних вимог
• Програмування під вибрані платформи (iOS/Android/Unity)
• Інтеграція з LMS та системою обліку
• Тестування на реальних пристроях та в класах
• Документація, вихідний код, доступ до репозиторію
• Навчання вчителів та технічна підтримка 3 місяці

Терміни та вартість

Вартість розраховується індивідуально після обговорення навчальної програми, цільової аудиторії та вимог до платформ. Завдяки AR школи можуть заощадити до 200 000 грн на рік на закупівлі наочних матеріалів.

Наші сертифікати та гарантії: команда має сертифікати ARKit та ARCore, досвід роботи з державними навчальними закладами. Гарантуємо відповідність санітарним нормам для AR-додатків та безперебійну роботу на пристроях середнього сегмента.

Джерело: Національний центр біотехнологічної інформації США (NCBI), дослідження щодо AR в освіті, 2022.

Зв'яжіться з нами для обговорення вашого навчального курсу — оцінимо проєкт безкоштовно. Або отримайте консультацію щодо вибору технології прямо зараз.

Ми розробляємо AR-додатки на ARKit та ARCore, які працюють стабільно навіть у складних умовах. Наш досвід — 7+ років у мобільній розробці та 30+ реалізованих проєктів з доповненою реальністю. Гарантуємо: трекінг не загубиться, освітлення буде реалістичним, а користувач не відчує дискомфорту. Сертифіковані розробники Apple та Google.

Чому трекінг втрачається і як це виправити?

ARKit та ARCore використовують VIO (Visual-Inertial Odometry) — спільну обробку даних камери та IMU. Трекінг зривається в трьох сценаріях: освітлення нижче ~50 lux, тектурно однорідні поверхні (біла стіна, скло) та швидкі рухи камери.

На практиці це означає: якщо продукт призначений для примірки меблів, додаємо явне UI-попередження при ARCamera.TrackingState.limited(.insufficientFeatures). Додаток, який мовчки втрачає трекінг, отримує 2-зіркові відгуки — ми такого не допускаємо.

Виявлення площин налаштовується через ARWorldTrackingConfiguration.planeDetection = [.horizontal, .vertical]. Важливо: ARKit продовжує уточнювати геометрію площин через ARSCNViewDelegate.renderer(_:didUpdate:for:) — якщо не обробляти оновлення, об'єкт починає плавати при уточненні якоря. Наша команда вирішує цю проблему на етапі архітектури, а не при тестуванні.

AR Foundation: кроссплатформа з нюансами

Unity AR Foundation — шар абстракції поверх ARKit та ARCore. Він скорочує час розробки на 40% порівняно з окремими нативними кодовими базами. Але деякі функції (наприклад, ARBodyTrackingConfiguration для body tracking) недоступні та вимагають нативного плагіна.

Для React Native та Flutter прямого AR Foundation немає. Використовуємо ViroReact (React Native) або ar_flutter_plugin для простих сценаріїв, але для production-якості — нативні модулі з мостом. Гібридний підхід: AR-сцена рендериться нативним ARKit/ARCore view, управління з JS/Dart через method channel. Входить у нашу стандартну поставку.

Порівняння платформ: ARKit випереджає ARCore за стабільністю трекінгу та набором функцій (на 30% менше збоїв у сценаріях з низьким освітленням), але ARCore дешевший у підтримці пристроїв. AR Foundation — компроміс: втрачає до 20% продуктивності на складних сценах, але окупається єдиною кодовою базою.

Try-on: примірка товарів через AR

Примірка окулярів, прикрас, косметики — окремий клас задач. Тут потрібен face tracking, а не plane detection.

ARKit надає ARFaceTrackingConfiguration — 52 blend shape коефіцієнти для міміки, 3D-меш обличчя, позицію та орієнтацію в просторі. Працює лише на пристроях з TrueDepth-камерою (iPhone з Face ID).

Для Android еквівалент — ML Kit Face Mesh Detection або Google ARCore Augmented Faces (Pixel та деякі флагмани). Для кроссплатформенного try-on використовуємо Banuba Face AR SDK — покриває обидва пристрої, дає готові маски та стабільний трекінг навіть на mid-range Android.

Якість try-on критично залежить від 3D-моделей товарів. Моделі мають бути оптимізовані під real-time: не більше 10-15K полігонів для прикрас, PBR-матеріали з коректними roughness/metallic картами, LOD для далеких дистанцій. В рамках нашого підряду ми надаємо готові гайди з оптимізації моделей.

Як досягти реалістичного освітлення в AR?

ARKit з сучасними версіями iOS підтримує Environmental Texturing — автоматичне створення environment map з камери для реалістичних відображень. Вмикається через ARWorldTrackingConfiguration.environmentTexturing = .automatic. Без цього металеві та скляні матеріали виглядають пластиково.

ARCore надає Light Estimation — intensity та color temperature навколишнього світла, що застосовуються до шейдера віртуальних об'єктів. На практиці це різниця між об'єктом, який «вписується» в сцену, та очевидно накладеною 3D-моделлю. Ми гарантуємо, що фінальне зображення не видає віртуальності.

Що входить в роботу

• Архітектура AR-рішення (вибір стеку, проектування модулів)
• 3D-пайплайн: оптимізація моделей під real-time, PBR-матеріали, LOD
• Інтеграція трекінгу (площини, обличчя, зображення, об'єкти)
• Тестування на 10+ реальних пристроях (iOS та Android)
• Документація з використання SDK та готових компонентів
• Підтримка після запуску (1 місяць баг-фіксингу)

Строки та оцінка

Проста AR-сцена з розміщенням однієї 3D-моделі на площині — 1–2 тижні. Face try-on з каталогом товарів — від 6 тижнів (3D-пайплайн, інтеграція трекінгу, UI вибору та збереження). Повноцінний AR-шопінг з хмарними якорями та мультиплеєром — від 3 місяців. Оцінимо проєкт за 1 день — пишіть, обговоримо вашу AR-ідею.