Чому прогнозування улову зривається на неповних даних
Прогнозування улову зривається не на алгоритмі, а на вході. Три потоки даних про один промисел — суднові звіти, супутниковий моніторинг та океанографічні шари — розходяться за частотою, точністю й затримкою. Доки їх не звели в спільну шкалу, модель бачить не океан, а мозаїку з неповних промислових даних.
Промислові звіти заповнюють вручну, часто після повернення в порт, а не в момент лову.
Улов, прилов і час тралення відновлюють із пам'яті та суднового журналу, тому пропуски в суднових звітах — норма, а не збій: частина рейсів надходить із затримкою на тижні, частина — з координатами, округленими до цілого градуса.
Супутниковий моніторинг дає положення та швидкість судна кожні кілька годин, але про улов мовчить: за треком видно, де працював флот, і не видно, скільки він узяв.
Океанографічні шари — температура поверхні, хлорофіл, течії — надходять окремими наборами з власним кроком за часом і за просторовою сіткою, і зістикувати їх із треками нічим.
Звідси розсинхрон джерел: годинні треки, добові звіти й декадні поля живуть у різних часових осях. Модель на такій вибірці в місцях пропусків підставляє середнє по району, і похибка прогнозування улову зростає саме там, де рішення коштує найдорожче — на межі промислових скупчень. Флот іде в квадрати, де «має клювати», спалює паливо й втрачає дні.
Розбираємо, як це закривається: приведенням потоків до спільних координатно-часових комірок, відновленням пропусків за непрямими ознаками та чесною оцінкою невизначеності — щоб прогноз показував не лише де шукати, а й наскільки йому можна вірити.
Що змінюється на промислі після впровадження моделі
До моделі рішення про постановку трималося на досвіді капітана та листуванні із сусідніми суднами. Океанографічна картина надходила із затримкою на добу, позиції флоту розбирали вже після рейсу, а CPUE рахували за фактом вилову і в моменті ні на що не впливав.
Ціна такої схеми — холості переходи по 6–10 годин і розкид результативних постановок між суднами однієї групи в рази.
Модель зводить океанографію з Copernicus, позиції суден із суднового моніторингу та накопичений CPUE в одну шкалу часу і дає оцінку по кожному квадрату на найближчу добу.
Частка результативних постановок у цільових квадратах піднімається з 40–45% до 65–70%, холості переходи скорочуються приблизно на третину: судно рідше йде «про всяк випадок» туди, де фронт уже змістився.
На містку це одне зведення по району, яке оновлюється за розкладом і після кожної постановки. Час від зведення до рішення капітана вимірюється хвилинами — не потрібно звіряти три джерела й обдзвонювати сусідів, а порядок обходу квадратів видно одразу.
Окремо закривається клас відмов «прогноз є, даних під ним немає»: перед видачею оцінка проходить перевірку повноти вхідних полів і свіжості супутникового зрізу. Якщо покриття діряве, квадрат чесно позначається непрогнозованим замість цифри з низькою достовірністю.
Завдяки цьому точність прогнозу промислу не просідає на переходах між сезонами, а простій флоту скорочується — менше годин на переходи без постановки.
Порівняння підходів: статистика, фізична модель, навчання
Підхід обирають не за ступенем сучасності, а за доступними даними та стійкістю промислу. Доки судна працюють у звичних квадратах, статистичні моделі улову на звітності минулих сезонів тримають прийнятну точність. Їхнє обмеження — непереносність на зміщений запас: ряд відстає на сезон-два.
Океанографічні дані — температура поверхні, течії, висота рівня — описують середовище, але не розподіл риби.
Тому навчання на об'єднаних шарах пов'язує середовище з виловом і промисловим зусиллям, а супутникові ряди Copernicus закривають пропуски там, де власних спостережень мало.
| Підхід | Коли підходить | Обмеження |
|---|---|---|
| Звітність за минулими сезонами | Стабільний район, довгі ряди, рівномірне промислове зусилля | Не переноситься в нові квадрати, відстає від зміщення запасу |
| Фізична модель перенесення вод | Мало промислових спостережень, потрібна механіка течій і перенесення | Потребує калібрування, промислового прогнозу напряму не дає |
| Машинне навчання на об'єднаних шарах | Є і океанографічні ряди, і дані суднового моніторингу | Чутливе до пропусків і витоків між навчальною та перевірковою вибірками |
| Гібридна схема | Потрібен прогноз там, де запас зміщується | Дорожча в підтримці: потрібні обидві компетенції та регулярне перекалібрування |
Чистих варіантів майже не буває: фізика задає межі можливого, статистика й навчання уточнюють усередині них. Далі — як перевіряється, що модель тримає точність на новому сезоні.
Порядок робіт: аудит даних, схема, налаштування, перевірка
Починаємо не з моделі, а з даних: без розбору джерел будь-яка точність на демонстрації не переживе перший реальний сезон. Нижче — шість етапів, які проходять від аудиту промислових даних до передачі регламентів супроводу.
- Аудит промислових даних. Зводимо суднові журнали, CPUE за видами, треки VMS та океанографічні поля, перевіряємо повноту за сезонами і промисловими квадратами.
- Схема даних. Єдине сховище з гранулярністю «судно — доба — квадрат», прив'язкою координат і явно позначеними пропусками, щоб інтерполяція не видавала себе за факт.
- Складання ознак. Термічні фронти, сезонні зсуви, історія за конкретним судном і районом — лише те, що справді пов'язане з уловом.
- Налаштування моделі. Навчання на промислових сезонах із розділенням вибірки за часом, а не випадковим: інакше точність виявиться завищеною, а на нових даних просяде.
- Валідація прогнозу. Перевірка на сезонах, яких модель не бачила: звірка з фактом за CPUE, похибка окремо за районами та за рідкісними видами.
- Передача. Схема, конфігурації, регламент донавчання та метрики моніторингу — оновлювати прогноз команда зможе власними силами.
Кожен етап закінчується артефактом, який можна перевірити: перелік джерел з оцінкою повноти, схема зберігання, звіт про похибку на минулих сезонах.
Що замовник отримує на руки: моделі, схеми, регламенти
Модель прогнозу улову цінна разом з обв'язкою: без опису припущень, схеми потоків і регламенту оновлення її не можна ні супроводжувати, ні захистити перед регулятором.
Тому проєкт передаємо комплектом артефактів — від параметрів навченої моделі до порядку розбору розбіжностей із фактичним виловом.
- Навчена модель із карткою: цільова змінна (CPUE за промисловими зонами), горизонт прогнозу, припущення, межі застосовності та поведінка на рідкісних сценаріях.
- Схема потоків даних: джерела океанографічних полів і суднових позицій (VMS), частота надходження, вікна агрегації, точки контролю якості та правила відновлення пропусків.
- Правила доступу: ролі для флоту, аналітиків і диспетчерів, розмежування за зонами та суднами, журнал звернень до прогнозів.
- Регламент оновлення: періодичність перенавчання, тригери за деградацією точності та поріг, після якого версія виводиться з експлуатації.
- Інструкції з експлуатації: запуск розрахунку, перевірка свіжості даних, дії за недоступності джерела, відкат на попередню версію.
- Порядок розбору розбіжностей: як фіксується фактичний вилов, як обчислюється похибка, хто і в який строк розбирає систематичне відхилення.
- Протокол приймання: контрольні періоди, на яких замовник відтворює метрики власними силами, без нашої допомоги.
Документація моделі живе в контурі замовника й оновлюється разом із кодом — за зміни підрядника чи складу команди рішення залишається працездатним.
Кейс промислу: точність і простої до та після впровадження
Два промислові сезони однієї й тієї самої групи суден — база для порівняння.
У першому прогноз будували на історичних суднових журналах і зведеннях капітанів: скупчення шукали «за досвідом», переходи займали до половини промислового часу, а розбіжність прогнозу з фактичним виловом розбирали вже на березі.
До налаштування моделі
Частка результативних діб трималася близько 40%: решту днів флот працював на слабких скупченнях або повертався на перевірені квадрати. Середній перехід до точки промислу — 45 морських миль, частина рейсів ішла на пошук наосліп. Кожне четверте зведення оспорювалося: у судна й на березі були різні дані по тих самих квадратах.
Після впровадження
Модель зводить океанографічні поля з Copernicus Marine, позиції суден за системою моніторингу та улов на зусилля в одну картину й оновлює прогноз щодо скупчень на кілька діб уперед.
Частка результативних діб зросла з 40% до 68%, середня довжина переходу скоротилася до 25 миль — вивільнений час пішов у промисел. Спірних зведень стало втричі менше: розбіжність видно заздалегідь, а не постфактум.
Прогноз перенавчається на даних кожного рейсу: свіжі улови повертаються у вибірку, тому сезонні зсуви за температурою та кормовою базою не «старіють» модель. Капітани отримують одне зведення замість кількох суперечливих, а спірні квадрати позначені прямо на карті.
Чим прогнозування улову відрізняється від звітів за зусиллям
Звіт за зусиллям описує минуле: вилов на одиницю промислового зусилля (CPUE) у квадраті за період. Метрика коректна заднім числом, але несе вбудоване зміщення — зусилля розподіляється туди, де рибу вже знаходили.
Квадрати, куди судна не заходили, в даних просто відсутні. Це не означає, що там порожньо: туди не йшли. Модель, навчена на такому матеріалі, відтворює маршрути флоту, а не розподіл ресурсу, і на нових ділянках поводиться невпевнено.
Прогноз формулюється інакше. Цільова змінна — оцінка щільності в кожній точці акваторії, включно з незадіяними ділянками. Предиктори — океанографічні поля: температура поверхні та за глибиною, солоність, градієнти, положення фронтів і вихорів. Вони вимірюються незалежно від того, чи працював там флот.
Звідси й межа методик. Облік оцінює роботу флоту й залежить від його поведінки. Прогноз оцінює середовище та його придатність для виду, тому переноситься на райони без промислу.
Супутниковий моніторинг позицій суден (VMS) і дані про зусилля залишаються в системі, але як контекст і контроль якості, а не як джерело відповіді.
Перевіряємо це на часових вікнах: навчання на минулих періодах, перевірка на майбутніх, а не на випадковій вибірці рядків — сусідні за часом спостереження майже завжди корелюють.
Окремо стежимо, щоб ознака не збиралася з відомостей про походи суден: такий витік із цільової змінної дає гарну, але марну метрику.
На виході — карта ймовірності з горизонтом, за якою планують район промислу. Різниця не в точності цифр: облік відповідає про минуле, прогноз — про місце, де судна ще не було.
Технічні сумніви: дані, точність, оновлення моделі
Сумніви інженерів зазвичай стосуються не самої моделі, а входу: чим її годувати, якщо журнали ведуться вручну, а частина даних надходить із затримкою. Нижче — заперечення, які спливають на кожному розборі, і те, як вони закриваються.
У нас усе в паперових журналах і врозбрід
Ручний журнал промислу — не перешкода: він залишається контрольним джерелом, а прогноз будується на зв'язці «улов на зусилля (CPUE) + океанографія».
Розбіжності журналу із судновим моніторингом не замовчуємо — вони самі стають ознакою (пропуск у треку, помилка запису), і за ними видно, яким рядкам довіряти.
Сезон зміниться — модель застаріє
Прогноз навчається не на середньому за рік, а на ковзному вікні всередині сезону та району промислу: за зміни путини чи зміщення межі району працює свій сегмент, а не екстраполяція.
Перескладання йде за розкладом і за сигналом — розбіжність факту з прогнозом вище порогу запускає його поза графіком.
У нас уже розгорнуто судновий моніторинг
Судновий моніторинг (VMS) підключаємо окремим потоком, не переписуючи наявний: важливі частота позицій і доступ до історичних вивантажень. На борту канал зв'язку рветься — розрахунок іде на берег і підтягується після відновлення, екіпаж без видачі не залишається.
Відкриті океанографічні джерела йдуть із явною датою знімка: якщо дані відстають, це видно прямо в картці прогнозу.
Обговоримо задачу: склад даних і план робіт
Оцінка за такою задачею тримається на двох речах: повноті історичних даних і горизонті прогнозу. Чим менше пропусків у суднових звітах і чим регулярніше надходять координати моніторингу, тим стійкіші ознаки для моделі.
Для обговорення задачі достатньо переліченого нижче — попереднє чищення не потрібне, розберемося самі.
- Вивантаження суднових звітів за два-три сезони: час постановки та вибірки знаряддя, координати, вид, маса улову — CSV, як віддає облікова система.
- Доступ до даних моніторингу суден: координати з інтервалом опитування та ідентифікатори суден — файлом або вивантаженням за запитом.
- Океанографічні шари за той самий період: температура поверхні, течії, вміст хлорофілу, глибини за потрібними районами.
- Список промислових районів і сезонів, за якими будується прогноз, з межами в координатах.
- Очікуваний горизонт прогнозу: доба, тиждень або декада — від нього залежать набір ознак і допустима затримка даних.
- Метрика якості, якій ви довіряєте: CPUE на зусилля, потрапляння в район або факт «промисел / не промисел».
- Хто на вашому боці приймає результат — людина, що підтверджує склад полів і приймання моделі.
За цими даними зберемо план робіт: які ознаки рахуємо з океанографії, які з моніторингу, де ставимо заглушки на пропуски і як перевіряємо модель на утриманих сезонах. Опишіть задачу — повернемося з оцінкою та планом.
