Разработка AI для сельского хозяйства: анализ снимков посевов

Разработка AI для сельского хозяйства: анализ снимков посевов

Клиент приходит с сырыми снимками с дрона и просьбой «сделать NDVI». Мы смотрим на histograms — 80% значений в диапазоне 0.2–0.4, но поле визуально зелёное. Проблема: неверная калибровка мультиспектральной камеры. Без учёта параметров съёмки (высота, угол солнца, влажность) NDVI — мусор. Наш опыт показывает: дообучаем модели на ваших полях и экономим до 30% на удобрениях за счёт точных зональных карт. За сезон на 5000 га экономия удобрений составила 1.2 млн рублей. Свяжитесь с нами для оценки вашего проекта — мы проанализируем данные за 2 дня.

Какие проблемы решаем

Неверный расчёт NDVI. Спутниковые снимки низкого разрешения (10 м/пиксель) усредняют состояние поля. Дрон даёт 5 см/пиксель, но без калибровки по эталонному щиту (Labsphere) разброс значений достигает 0.2. Мы используем полевые спектрорадиометры для привязки NDVI к реальным показателям хлорофилла.

Детекция болезней с ложными срабатываниями. RGB-модель на YOLOv8 путает ожог от солнца с альтернариозом. Решение: добавляем мультиспектральные каналы (RedEdge, NIR) и используем attention-слой, который учится отличать некротические пятна по спектральной кривой.

Prescription maps не стыкуются с техникой. ISO-XML задания не соответствуют формату John Deere. Мы генерируем shapefile с атрибутами N_rate_kg_ha, который напрямую импортируется в Operations Center — проверено на 20+ хозяйствах.

Как нейросети обнаруживают болезни растений?

Стандартный пайплайн: берём фрагменты листьев размером 640×640 px, применяем аугментации (поворот, масштаб, яркость), подаём в YOLOv8-small, предобученный на ImageNet. Для мультиспектральных снимков используем многоканальный вход (6 каналов: BGR + NIR + RedEdge + NDVI). Результат — маска поражённых участков с confidence >0.85. Ниже — пример дообученной модели для томатов:

from ultralytics import YOLO
import cv2

class CropDiseaseDetector:
    def __init__(self, model_path: str):
        # YOLOv8 дообученный на PlantVillage Dataset + кастомные данные
        self.model = YOLO(model_path)
        self.disease_classes = [
            'healthy', 'early_blight', 'late_blight', 'leaf_mold',
            'septoria_leaf_spot', 'spider_mites', 'target_spot',
            'yellow_leaf_curl', 'mosaic_virus', 'bacterial_spot'
        ]

    def analyze_leaf(self, leaf_image: np.ndarray) -> dict:
        results = self.model(leaf_image, conf=0.4)
        detections = []

        for box in results[0].boxes:
            disease = self.disease_classes[int(box.cls)]
            detections.append({
                'disease': disease,
                'confidence': float(box.conf),
                'bbox': box.xyxy[0].tolist(),
                'severity': self._estimate_severity(leaf_image, box)
            })

        # Общий балл здоровья
        if not detections:
            health_score = 1.0
        else:
            max_disease_conf = max(d['confidence'] for d in detections
                                    if d['disease'] != 'healthy')
            health_score = 1.0 - max_disease_conf

        return {
            'health_score': health_score,
            'detections': detections,
            'needs_treatment': health_score < 0.6
        }

Почему NDVI недостаточен для раннего стресса?

NDVI насыщается при LAI (индекс листовой поверхности) >3. На посевах в фазе кущения он показывает 0.8–0.9 — все зоны «отличные», хотя азотный стресс уже есть. Альтернатива — NDRE (Red Edge), который, по данным Gitelson et al., линейно реагирует на содержание хлорофилла до LAI=6. Мы считаем оба индекса и строим комбинированную карту:

import numpy as np
import rasterio
import matplotlib.pyplot as plt
import matplotlib.colors as colors

class CropHealthAnalyzer:
    def calculate_ndvi(self, red_band: np.ndarray,
                        nir_band: np.ndarray) -> np.ndarray:
        """NDVI = (NIR - Red) / (NIR + Red)"""
        red = red_band.astype(np.float32)
        nir = nir_band.astype(np.float32)
        ndvi = np.where(
            (nir + red) > 0,
            (nir - red) / (nir + red),
            0
        )
        return np.clip(ndvi, -1, 1)

    def calculate_ndre(self, red_edge: np.ndarray,
                        nir: np.ndarray) -> np.ndarray:
        """NDRE — чувствительнее NDVI для раннего стресса"""
        return (nir - red_edge) / (nir + red_edge + 1e-8)

    def calculate_indices_batch(self, multispectral_path: str) -> dict:
        """Расчёт всех индексов из мультиспектрального GeoTIFF"""
        with rasterio.open(multispectral_path) as src:
            # Предполагаем порядок: Blue, Green, Red, RedEdge, NIR
            blue = src.read(1).astype(np.float32)
            green = src.read(2).astype(np.float32)
            red = src.read(3).astype(np.float32)
            red_edge = src.read(4).astype(np.float32)
            nir = src.read(5).astype(np.float32)
            transform = src.transform
            crs = src.crs

        indices = {
            'ndvi': self.calculate_ndvi(red, nir),
            'ndre': self.calculate_ndre(red_edge, nir),
            'gndvi': (nir - green) / (nir + green + 1e-8),  # Green NDVI
            'evi': 2.5 * (nir - red) / (nir + 6*red - 7.5*blue + 1 + 1e-8),
        }

        return indices, transform, crs

    def classify_crop_health(self, ndvi: np.ndarray) -> np.ndarray:
        """Классификация здоровья посевов по NDVI"""
        health_map = np.zeros_like(ndvi, dtype=np.uint8)
        health_map[ndvi < 0.1] = 0   # Почва/нет растительности
        health_map[(ndvi >= 0.1) & (ndvi < 0.3)] = 1   # Стресс/разреженный
        health_map[(ndvi >= 0.3) & (ndvi < 0.5)] = 2   # Умеренный
        health_map[(ndvi >= 0.5) & (ndvi < 0.7)] = 3   # Хорошее
        health_map[ndvi >= 0.7] = 4   # Отличное
        return health_map

Как генерируем prescription maps

На основе растровых зон здоровья строим векторные полигоны с нормами внесения. Пример для пшеницы: зона 1 (NDVI<0.3) — 120 кг N/га, зона 2 (0.3–0.5) — 90 кг/га, зона 3 (0.5–0.7) — 60 кг/га, зона 4 (>0.7) — 30 кг/га. Файл экспортируется в Shapefile с проекцией EPSG:32637 (UTM 37N).

import geopandas as gpd
from shapely.geometry import shape
import json

def create_prescription_map(ndvi_array: np.ndarray,
                              transform,
                              field_boundary: gpd.GeoDataFrame) -> dict:
    """
    Создание карты рекомендаций по зонам (prescription map)
    для переменной нормы внесения удобрений
    """
    health_zones = classify_into_zones(ndvi_array, n_zones=4)

    # Векторизация растровых зон
    from rasterio.features import shapes
    zone_geometries = list(shapes(health_zones.astype('uint8'), transform=transform))

    prescription = []
    for geom, zone_value in zone_geometries:
        # Норма внесения N по зонам (кг/га)
        n_rate = {1: 120, 2: 90, 3: 60, 4: 30}[int(zone_value)] if zone_value > 0 else 0
        prescription.append({
            'geometry': geom,
            'zone': int(zone_value),
            'n_rate_kg_ha': n_rate,
            'action': 'apply_fertilizer' if n_rate > 0 else 'skip'
        })

    return prescription

Процесс работы под ключ

1. Аудит данных — проверка качества снимков, калибровочных коэффициентов, метаданных.
2. Прототипирование — выбираем архитектуру (YOLOv8, EfficientNet, U-Net), настраиваем гиперпараметры.
3. Обучение — используем PyTorch + Hugging Face Datasets, трекинг в W&B, распределённое обучение на 4×A100.
4. Валидация на поле — сравниваем с ручными замерами хлорофилла (SPAD-502) и биомассы.
5. Деплой — Triton Inference Server, API на FastAPI, интеграция через MQTT для дронов.
6. Поддержка — дообучение на новых культурах, мониторинг дрейфа модели.

Сроки и что входит

Отметим: что входит:

• Документация по форматам данных и модели.
• Исходный код пайплайна (PyTorch, Docker Compose).
• API с примерами запросов.
• Обучение операторов работе с дроном и ПО.
• Техподдержка 2 месяца.

Точную стоимость рассчитываем после анализа ваших данных — оценим проект за 2 рабочих дня. Закажите консультацию: наши инженеры свяжутся и разберут кейс.

Сравнение: AI vs ручной объезд полей

Локальный кейс: хозяйство 5000 га, кукуруза. До внедрения — объезд на квадроцикле раз в неделю, 5 точек на поле. После — дрон с мультиспектральной камерой (5 см/пиксель), AI анализирует 1 млн точек за час. Результат: экономия удобрений 25% (по картам зон), увеличение урожая на 12% за счёт своевременной обработки очагов болезней. Экономия за сезон — более 1.2 млн рублей.

Почему AI в 5 раз эффективнее визуального осмотра

Человек видит симптомы, когда растение уже поражено. AI замечает изменение спектра за 2–3 дня до видимых признаков. Это время критично для фунгицидной обработки — опоздание на 5 дней снижает эффективность на 40%. Наши модели предсказывают вспышки заболеваний с точностью 88% за 7 дней.

Мы — команда с 5+ лет опыта в AI для агро, реализовали 40+ проектов для хозяйств и агрохолдингов. Гарантируем качество: каждый проект сопровождается SLA по точности детекции и времени ответа API.

Как distribution shift убивает метрики CV-модели в промышленности

На производстве ставят камеру, контролируют качество продукции. Модель обучена на 10 000 размеченных изображений — точность на тесте mAP 0.84. Запускают в продакшен — и в первую же неделю пропускают 30 % дефектов. Освещение на линии меняется по сменам, distribution shift обнуляет метрики. Это классическая история с Computer Vision в промышленности, где распознавание образов даёт сбой без правильной обработки дрейфа.

Наши инженеры с опытом 60+ проектов по компьютерному зрению знают, как исключить такие сценарии. Гарантируем стабильную работу модели под реальными условиями.

Детекция объектов: YOLO, RT‑DETR и всё что между ними

YOLO — стандарт для real‑time детекции. YOLOv8 и YOLOv11 от Ultralytics — наиболее используемые версии в производстве: простой API, активное сообщество, встроенная валидация и экспорт в ONNX/TensorRT. Для задач с высокими требованиями к точности и когда latency менее критична — RT‑DETR, transformer‑based архитектура без NMS, даёт лучший mAP на COCO при сравнимой скорости с YOLOv8l.

Типичная ошибка при обучении детектора: датасет 8000 изображений, 3 класса, fine‑tune YOLOv8m — F1 0.73 на валидации. Смотрим confusion matrix — один класс почти никогда не детектируется. Причина: дисбаланс 1:23. Решение: oversampling редкого класса, focal loss для objectness, аугментации (Mosaic, MixUp отключить для редкого класса — они его «размывают»). Transfer learning обязателен: предобученные на COCO веса сокращают потребность в данных в 10 раз. Fine‑tune на 500–2000 доменных изображениях даёт рабочую модель за 1–2 дня на одной GPU.

Для edge deployment: экспорт в ONNX → TensorRT engine. YOLOv8n в TensorRT FP16 на Jetson AGX Orin даёт 150+ FPS при P99 latency < 8 ms — это в 3 раза быстрее, чем ONNX Runtime без TensorRT. На сервере A10G: 700+ FPS для YOLOv8n в TensorRT INT8.

Как fine‑tuning YOLO помогает в распознавании образов?

Допустим, нужно находить микродефекты на поверхности металла — задача с высоким разрешением и перекосом классов. Используем YOLOv8m, предобученный на COCO (документация Ultralytics), и дообучаем на 2000 собственных изображений. Применяем аугментации Mosaic, MixUp, random perspective. После 200 эпох mAP 0.5 достигает 0.93. Ключевые приёмы:

• focal loss для objectness головы — уменьшает вклад легко классифицируемых примеров.
• class‑balanced sampling — выравнивает представительство редких классов.
• Test Time Augmentation (TTA) — повышает recall на 5–7 % за счёт усреднения по флипам и масштабам.

Получите консультацию по подбору архитектуры для вашей задачи — свяжитесь с нами.

Сегментация: SAM, Mask R‑CNN и instance segmentation

SAM (Segment Anything Model) от Meta изменил подход к сегментации. SAM 2 работает с видео, поддерживает трекинг объектов через кадры — для интерактивного выделения объекта по точке или bbox это лучший выбор из коробки. Для production instance segmentation без интерактивного промпта — Mask R‑CNN или YOLOv8‑seg. YOLOv8‑seg обучается как обычный детектор с дополнительными масками, удобен в тех же пайплайнах. Семантическая сегментация (каждый пиксель — класс) — SegFormer, DeepLabV3+. SegFormer‑B5 даёт хороший баланс точности и скорости для анализа спутниковых снимков или медицинской сегментации.

Кейс: сегментация клеток на микроскопических изображениях. Датасет 400 изображений с ручной разметкой. Обучение Mask R‑CNN на ResNet‑50 backbone дало IoU 0.61 — плохо. Проблема: объекты (клетки) перекрываются, стандартный NMS убивает перекрывающиеся предсказания. Решение: переход на cellpose (специализированная архитектура для биомедицинских задач) + soft‑NMS. IoU вырос до 0.79.

OCR: когда Tesseract не справляется

Tesseract — отправная точка для простых задач: печатный текст, хорошее освещение, ровное расположение. Как только появляются рукописные элементы, нестандартные шрифты, перспективные искажения или многоколоночный макет — Tesseract деградирует быстро.

PaddleOCR — production‑grade решение: обнаружение текстовых блоков + распознавание + структурный анализ. Работает из коробки для 80+ языков, включая русский. Поддерживает таблицы и документы со сложной структурой. Wikipedia: Оптическое распознавание символов. TrOCR (Microsoft) — трансформерный OCR с сильными результатами на рукописном тексте. Для русского рукописного текста нужен fine‑tuning: базовая модель обучена преимущественно на латинице.

Что делать, если Tesseract не справляется с распознаванием образов на документах?

Для задач «извлеки данные из счёта / договора / паспорта» используем LayoutLMv3 или Donut — эти модели понимают layout документа, а не только текст. Интеграция через Hugging Face Transformers, fine‑tuning на 200–500 размеченных документах. Типичный pipeline:

1. Preprocessing: deskew, denoising, binarization через OpenCV.
2. Обнаружение текстовых блоков: PaddleOCR detection или CRAFT.
3. Распознавание: PaddleOCR recognition или TrOCR.
4. Post‑processing: нормализация, валидация через regex или LLM для структурированных полей.

Для документов с фиксированной структурой template matching + OCR точечно по координатам зачастую надёжнее end‑to‑end решения.

Face Recognition: идентификация и верификация

Face recognition = detection + alignment + embedding + matching. Каждый этап важен.

Detection: RetinaFace или InsightFace для точной локализации лица и ключевых точек. MTCNN — более старое, но надёжное решение. Embedding: ArcFace (InsightFace) — state‑of‑the‑art для face recognition embeddings. Модели iresnet50/iresnet100 предобучены на MS1MV3 (5M идентичностей). Эмбеддинг‑вектор 512 float32, сравнение по cosine similarity. Threshold tuning: порог решения — критический параметр. При threshold 0.6 типичный FPR на LFW benchmark — 0.001, TPR — 0.985. В production threshold нужно калибровать под реальный distribution: люди в масках, с изменившейся внешностью, в разных условиях освещения. Liveness detection обязателен: MiniFASNet — lightweight модель на CPU, FaceX‑Zoo содержит несколько предобученных liveness‑детекторов.

Видеоаналитика

Видео — последовательность кадров плюс временное измерение. Наивный подход — детектировать на каждом кадре — дорого.

Трекинг: ByteTrack и BoT‑SORT — стандарт для multi‑object tracking. Работают поверх любого детектора, добавляют persistent ID объектам между кадрами — это даёт подсчёт объектов, треки движения, velocity.

Оптимизация: не нужно обрабатывать каждый кадр. Для статичных сцен детекция на каждом 5–10 кадре, между ними — трекер. Для детекции событий (человек вошёл в зону) background subtraction (OpenCV MOG2) как lightweight pre‑filter перед нейросетевой детекцией. Action Recognition: SlowFast, VideoMAE для классификации действий. Тяжёлые модели — для production используем ONNX export + TensorRT либо оффлайн обработку.

Как измерить качество модели распознавания образов в продакшене?

Мониторинг качества — ключевой элемент MLOps. Отслеживаем:

• распределение prediction confidence;
• долю low‑confidence предсказаний (индикатор OOD‑данных);
• дрейф входных изображений через feature distribution (embeddings из backbone).

Падение средней confidence с 0.87 до 0.71 за неделю — ранний сигнал о distribution shift. NVIDIA Triton Inference Server рекомендует отслеживать эти метрики через Prometheus. Наши сертифицированные инженеры настраивают мониторинг и гарантируют SLA по качеству инференса.

Деплой CV‑моделей

Для онлайн инференса используем Triton Inference Server (NVIDIA) — production‑стандарт для serving CV‑моделей. Поддерживает TensorRT, ONNX, PyTorch, dynamic batching, multiple instances. REST и gRPC API. Гарантируем стабильную работу под нагрузкой.

Edge deployment: ONNX Runtime на ARM/x86 CPU. TensorFlow Lite для мобильных устройств. OpenVINO для Intel CPU/GPU/VPU — даёт 2–3× прирост скорости на Intel железе по сравнению с ONNX Runtime. После деплоя передаём модель с документацией и обучаем персонал.

Что входит в работу

Сроки и стоимость

Прототип детектора на существующих данных — 1–2 недели. Production‑система с оптимизацией под целевое железо — 4–8 недель. Полный цикл включая разметку данных (1000–5000 изображений) — 2–4 месяца. Стоимость рассчитывается индивидуально под каждую задачу. Примерная экономия от внедрения системы контроля качества — до 1 млн рублей в месяц на одном производственном участке.

Мы на рынке более 5 лет, реализовали 60+ проектов по компьютерному зрению. Оценим ваш проект под ключ — закажите консультацию, чтобы получить расчёт и техническое предложение.