AI-распознавание сцен для умного дома: мобильная автоматизация

Реализация AI-распознавания сцен для автоматизации умного дома в мобильном приложении

Типичная ситуация: вы запускаете умный дом с камерой, и автоматизация срабатывает только когда пользователь заходит в комнату, но не реагирует на более тонкие сцены — например, приглушение света при просмотре кино. Ошибка в том, что облачные ML-сервисы добавляют латентность 200–500ms и рискуют приватностью. Локальная классификация на устройстве — единственный путь для сценариев реального времени. Это снижает операционные затраты на облачные вычисления, особенно при работе с несколькими камерами. Мы реализовали более 10 таких интеграций и знаем все грабли: от ложных срабатываний при плохом освещении до конфликтов с App Store Review Guidelines. Опыт показывает, что правильная архитектура экономит ресурсы и время.

Почему локальная обработка критична для умного дома?

Отправлять кадры с камеры на сервер для классификации — плохая идея для домашней автоматизации. Латентность неприемлема, плюс пользователь теряет контроль над данными. Всё должно работать локально. Например, на iOS мы используем Apple Vision и CoreML, которые выполняют классификацию на чипе A14+ за <30ms.

iOS: CoreML + Vision framework

Apple Vision Scene Classification — встроенная модель VNClassifyImageRequest. Работает офлайн, выдаёт VNClassificationObservation с confidence score. Для умного дома достаточно ~20 категорий из 3000+ встроенных. Документация Apple (Apple Vision Scene Classification) рекомендует такой подход.

import Vision import CoreML class SceneClassifier { private lazy var request: VNClassifyImageRequest = { let r = VNClassifyImageRequest { [weak self] request, error in self?.handleResults(request.results as? [VNClassificationObservation]) } return r }() func classify(pixelBuffer: CVPixelBuffer) { let handler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer, options: [:]) try? handler.perform([request]) } private func handleResults(_ results: [VNClassificationObservation]?) { guard let top = results?.filter({ $0.confidence > 0.6 }).first else { return } // top.identifier: "bedroom", "kitchen", "living_room", "bathroom" SmartHomeAutomation.shared.triggerScene(top.identifier) } } 

Фильтруем по confidence > 0.6 и по списку релевантных идентификаторов. Не трогать кадры чаще чем раз в 2–3 секунды — так экономим батарею и процессор. Для кастомных сценариев используем Create ML с MobileNetV3, экспорт в .mlpackage, размер ~4 МБ.

Android: ML Kit Scene Detection + TFLite

ML Kit Subject Segmentation и Scene Detection работают офлайн на устройстве:

val image = InputImage.fromMediaImage(mediaImage, rotation) val labeler = ImageLabeling.getClient( ImageLabelerOptions.Builder() .setConfidenceThreshold(0.65f) .build() ) labeler.process(image) .addOnSuccessListener { labels -> val sceneLabel = labels.firstOrNull { it.text in SMART_HOME_SCENES } sceneLabel?.let { automationEngine.trigger(it.text, it.confidence) } } 

SMART_HOME_SCENES — множество из "bedroom", "kitchen", "living room", "bathroom", "office". Для кастомных моделей — TFLite Interpreter с .tflite файлом, оптимизированным через TensorFlow Model Maker. Персонализированная модель на 500–1000 фото на класс, Fine-tuning MobileNetV2, Export в INT8 quantized — размер модели ~2 МБ, inference <50ms на Snapdragon 778G.

Как реализовать debounce для смены сцены?

Распознавание сцены — это только триггер. Дальше нужна логика автоматизации без ложных срабатываний. Паттерн: изменение сцены засчитывается только если одна категория доминирует 3 секунды подряд с confidence > 0.7.

class SceneDebouncer(private val windowMs: Long = 3000) { private var currentScene: String? = null private var firstSeenAt: Long = 0 fun process(scene: String, confidence: Float): String? { if (confidence < 0.7f) return null val now = System.currentTimeMillis() if (scene != currentScene) { currentScene = scene firstSeenAt = now return null } return if (now - firstSeenAt >= windowMs) scene else null } } 

Как управлять IoT через MQTT или Matter?

После подтверждения сцены публикуем команду в MQTT-брокер или отправляем через Matter controller:

// MQTT mqttClient.publish( "home/automation/scene", MqttMessage("""{\"scene\":\"bedroom\",\"timestamp\":${System.currentTimeMillis()}}""".toByteArray()), qos = 1, retained = false ) // Matter SDK (через Google Home Mobile SDK) val deviceController = ChipDeviceController() deviceController.sendCommand( nodeId = lightbulbNodeId, endpointId = 1, clusterId = OnOffCluster.CLUSTER_ID, commandId = OnOffCluster.Commands.On.ID, tlvData = byteArrayOf() ) 

Расписание и контекст

Автоматизация по сцене должна учитывать время суток: "bedroom" в 23:00 → приглушить свет, "bedroom" в 7:00 → разбудить шторы. Контекст добавляется через TimeOfDay фильтр в правилах на уровне приложения.

Сравнение CoreML vs TFLite

CoreML на 40% быстрее на сопоставимых устройствах, но TFLite даёт большую гибкость при кросс-платформенной разработке.

Пошаговая инструкция по интеграции распознавания сцен

1. Определите целевые сцены (например, "bedroom", "kitchen") и IoT-устройства.
2. Выберите платформу: CoreML для iOS, TFLite для Android или общий Flutter/RN.
3. Интегрируйте ML-модель и настройте локальный классификатор.
4. Реализуйте debounce-логику для избежания ложных срабатываний.
5. Подключите MQTT или Matter для отправки команд.
6. Протестируйте при разных условиях освещения и углах камеры.

Почему приватность важна при использовании камеры умного дома?

Приложение с постоянным доступом к камере — красный флаг для пользователей и модераторов App Store/Google Play. Правила:

• Классификация только когда пользователь явно включил режим «Scene Detection»
• Никакие кадры не сохраняются и не покидают устройство
• На iOS — NSCameraUsageDescription с явным объяснением локальной обработки
• Privacy manifest в iOS 17+ с декларацией NSPrivacyAccessedAPICategoryCamera

App Store reject по 4.3 Spam или privacy violations — реальный риск. Описание в App Privacy Report должно быть честным.

Что входит в разработку

• Аудит требований: целевые устройства, IoT-протоколы (MQTT, Matter, Zigbee через хаб, HomeKit), набор триггерных сцен.
• Разработка модели классификации: встроенная или кастомная с дообучением.
• Интеграция с MQTT-брокером или Matter SDK.
• Реализация логики debounce и автоматизации.
• Тестирование в реальных условиях — разное освещение, углы камеры, смешанные сцены.
• Документация и передача исходного кода.
• Поддержка после запуска.

Гарантируем надежность и стабильность решения, основанную на многолетнем опыте. Стоимость рассчитывается индивидуально, но мы гарантируем прозрачный бюджет без скрытых платежей.

Этапы и сроки

Базовое распознавание с 5–10 сценами и MQTT-командами: 2–4 недели. Кастомная ML-модель с дообучением + полная интеграция с Matter/HomeKit: 2–3 месяца. Стоимость рассчитывается индивидуально, в зависимости от количества поддерживаемых IoT-протоколов и сложности логики автоматизации.

Закажите разработку под ключ — мы оценим ваш проект за 1 день и предложим оптимальное решение. Свяжитесь с нами, чтобы обсудить детали.