Чому передбачення ADMET у лабораторії дає збої
Оцінювання токсичності сполук і прогноз властивостей молекул у більшості лабораторій живуть у різних місцях: результати аналізів — у таблицях, структури — у файлах опису молекул, історичні звіти — у документах і листуванні.
Коли потрібно вирішити долю наступної серії, хімік збирає вибірку вручну й витрачає на це дні, а частина сполук випадає з розгляду просто тому, що за ними немає повного набору вимірювань.
Друга точка відмови — неузгодженість представлень. Одна й та сама молекула в різних файлах описана різними нотаціями, сіль і основа записані як різні записи, частина структур надходить зображеннями без машинозчитуваного опису.
Під час зшивання розрізнених даних лабораторій дублікати й втрачені зв’язки накопичуються непомітно — модель навчається на зміщеній вибірці, і передбачення ADMET розходиться з експериментом саме там, де помилка коштує найдорожче.
Третя — сам процес рішення. Сполуку відсіюють за одним показником, без інтервалу невизначеності прогнозу й без перевірки, чи застосовна модель до нового хімічного класу.
У кошик потрапляють перспективні кандидати, а ресурс лабораторії витрачається на молекули, які завідомо не пройдуть далі.
Розбираємо, як це закривається: від єдиного представлення структур і розмітки даних до оцінювання невизначеності на кожному кроці раннього відбору кандидатів.
Що дає передбачення ADMET на етапі раннього відбору
Ранній відбір визначає, скільки сполук узагалі дійде до синтезу. Бар'єр першого ступеня — розчинність і проникність: за структурною формулою модель відносить кандидата до класу «пройде / не пройде» за секунди, і до лабораторії доходить лише те, що потрапляє в цільовий профіль. З сотні заявлених структур після цього фільтра залишається 10–15.
Другий ступінь — оцінювання метаболічної стабільності: швидкість розкладання, внесок основних ферментів, ризик швидкого виведення.
Моделі навчаються на публічних масивах біоактивностей, таких як ChEMBL, і на даних замовника — тому відсів іде за механізмом, а не за одним жорстким порогом. Тут зникає клас помилок «модель упевнена, а лабораторія не підтверджує».
Пріоритизація сполук перетворює розрізнені прогнози на чергу синтезу: кандидатів ранжують за ймовірністю пройти всі перевірки одразу, а не за окремим показником.
Це і є скорочення числа синтезів — у лабораторію надходить вибірка замість усього ряду, а цикл відбору стискається з тижнів до днів.
Відтворюваність прогнозів тримається на фіксації версії моделі, розбиття вибірки, гіперпараметрів і способу опису структур, плюс контрольні суми навчальних даних.
Повторний прогін через пів року дає ті самі числа, а розходження стає приводом розібрати дані, а не перенавчити модель заново.
Порівняння підходів: готові сервіси, донавчання, власна модель
Три реальні шляхи: зовнішній сервіс прогнозу властивостей, донавчання відкритої моделі на своїх вимірюваннях і власна модель на закритих даних замовника.
Різниця між ними не в «середній точності», а в тому, де проходить межа застосовності й хто відповідає за помилку на новому хемотипі.
| Варіант | Коли підходить | Обмеження |
|---|---|---|
| Зовнішній сервіс прогнозу властивостей | Швидке оцінювання на ранньому відборі, своїх даних мало | Логіка закрита, область застосовності не перевірити, на своїх вимірюваннях модель не навчити |
| Донавчання на своїх даних поверх відкритих наборів на кшталт ChEMBL | Є від сотень до тисяч власних вимірювань, структури близькі до публічних | Якість упирається в обсяг вимірювань за потрібною властивістю, обов'язкове чищення й розмітка |
| Власна модель на закритих даних | Дані не можна виносити за периметр, хемотипи унікальні | Довше виведення в роботу, потрібна відтворювана валідація й підтримка версій моделей |
Донавчання майже завжди виграє за часом запуску: публічні набори дають загальну хімію, а свої вимірювання зсувають прогноз у потрібну серію. Власна модель потрібна, коли дані становлять комерційну таємницю або коли публічні набори систематично не покривають робочі структури.
Окремо фіксуємо область застосовності: діапазон структур і властивостей, усередині якого прогноз підтверджено валідацією, а поза його межами модель видає попередження, а не впевнене число.
Цю межу ми задаємо до навчання, а не підганяємо після, — інакше сервіс перетворюється на генератор правдоподібних відповідей.
Тому вибір підходу починаємо з аудиту даних: скільки вимірювань, за якими властивостями, наскільки вони однорідні й чи можна їх розкривати. Відповіді на ці питання й визначають, який із трьох варіантів дасть прогноз, якому можна довіряти у відборі.
Як ми будуємо систему: етапи інженерної роботи
ADMET-прогноз ламається не на виборі алгоритму, а на неоднорідних даних і розмитій постановці. Тому порядок робіт фіксуємо заздалегідь — на кожному кроці видно, що саме перевіряємо і який результат вважаємо прийнятним.
- Постановка задачі прогнозування. Визначаємо, які властивості потрібні — розчинність, проникність, метаболічна стабільність, токсичність — і в якій формі потрібна відповідь: число, клас або ймовірність із порогом. Домовляємося про метрику якості та допустимий рівень помилки для відсіву сполук.
- Уніфікація хімічних структур. Джерела дають ту саму молекулу по-різному: солі, заряди, таутомери, дублікати. Приводимо все до канонічного запису, перевіряємо валентності й відсікаємо биті структури — інакше модель вчиться на шумі.
- Формування ознак молекули. Рахуємо дескриптори й відбитки, додаємо ознаки оточення. Окремо контролюємо розбиття: сполуки однієї серії не повинні потрапляти і в навчання, і в перевірку.
- Перевірка моделі на відкладених даних. Тестуємо не на випадковій вибірці, а на несхожих сполуках — за хімічними серіями й каркасами. Дивимося помилку за підгрупами й поведінку на межах застосовності: де модель незастосовна, вона повертає відмову, а не число.
- Вбудовування моделі в конвеєр розрахунків. Обгортаємо її в сервіс із валідацією входу, версіонуванням і журналом передбачень і підключаємо до поточного процесу відбору — результат надходить туди, де ним користуються, без ручного перенесення файлів.
- Передача команді. Віддаємо конфігурації, схему ознак, скрипти перенавчання й регламент оновлення моделі на нових даних.
Конфігурації, схеми й регламенти: що передаємо за підсумками
Передача не зводиться до архіву з вагами моделі. Без опису ознак, схеми потоку даних і правил перевірки ваша команда не зможе перенавчити модель на нових даних і підтвердити відтворюваність прогнозів.
Тому комплект збираємо так, щоб його можна було прийняти за формальним списком і запустити без нашої участі.
- Код і середовище — репозиторій із навчанням і виведенням прогнозів, зафіксовані залежності та інструкція розгортання: збірка відтворюється на чистій машині вашої інфраструктури.
- Документація щодо моделі — архітектура, гіперпараметри, схема валідації та межі застосовності: для яких класів сполук прогноз стійкий, а де недостовірний.
- Карта даних і ознак — джерела наборів, правила очищення, дескриптори, обробка пропусків і викидів; за нею відновлюється походження будь-якого прогнозу.
- Схеми потоку даних — шлях від завантаження сполук до результату, точки зберігання й оновлення, поведінка під час збою.
- Контроль якості прогнозів — відкладені вибірки, пороги за помилкою, перевірка на зсув розподілу; у разі виходу за поріг перенавчання зупиняється.
- Регламент перенавчання — тригери, періодичність, порядок приймання нової версії та відкат до попередньої.
- Навчання команди — розбір коду й даних, перший самостійний цикл оновлення моделі під нашим супроводом.
Кейс: як скоротили частку хибних кандидатів удвічі
Відбір вели вручну: хіміки переглядали видачу докінгу й за досвідом вирішували, які молекули відправляти на синтез. На цикл ішли тижні, а значна частина сполук відпадала не на активності, а на перевірці властивостей — розчинності, проникності, токсичності. Це й була основна стаття втрат.
Що було до впровадження
Знімали три метрики: частка хибних кандидатів (пройшли відбір, але провалили лабораторну перевірку), число перевірок на один підтверджений кандидат і час циклу відбору. Базова лінія — 62% хибних кандидатів: дві з трьох синтезованих молекул не доходили до мети.
Дані лежали в розрізнених таблицях, частина властивостей не моделювалася взагалі, а рішення ухвалювалися за одним показником активності.
Що змінили
Зібрали єдиний корпус із відкритих джерел — за основу взяли ChEMBL — і внутрішніх архівів замовника.
Навчили окремі моделі на кожну властивість ADMET замість однієї узагальненої: змішана задача розмивала внесок ознак, і помилка щодо токсичності тягнула за собою прогноз розчинності.
Додали оцінювання домену застосовності — якщо молекула далеко від навчальної вибірки, модель не видає впевнену відповідь, а позначає його як ненадійний і відправляє на ручний розбір.
Поріг відсікання підібрали на історичних даних так, щоб максимізувати підтверджуваність, а не повноту.
Змінили й процес: до лабораторії надходить лише те, що пройшло поріг за всіма властивостями одразу, а не за однією. Ранжування тепер дворівневе — спочатку прогноз, потім перевірка на хімічну реалізовність.
Результат
Частка хибних кандидатів упала з 62% до 29% — удвічі. Число лабораторних перевірок на один підтверджений кандидат скоротилося у 2,3 раза за того самого обсягу синтезу.
Цикл відбору стиснувся з трьох тижнів до кількох днів, тому що основна фільтрація відбувається до лабораторії, а не після. Моделі, правила відбору й журнал рішень зафіксовані — результат відтворюється на нових серіях сполук.
Що робити, якщо вже є власний конвеєр розрахунків?
Власний конвеєр розрахунків — не перешкода, а готова опора: у ньому вже є перевірені дескриптори, відлагоджена валідація й накопичені правила відбракування.
Тому ми не переписуємо все з нуля, а починаємо з інвентаризації: які скрипти що рахують, де лежать історичні набори й які обмеження накладені експертами вручну.
Вбудовування йде збоку, а не замість: нова модель ставиться за тим самим інтерфейсом, що й поточні розрахунки, — ті самі формати структур на вході й той самий формат відповіді, тому код, що викликає, залишається незмінним.
Перший прогін робимо на історичних наборах і звіряємо з журналами минулих розрахунків: так видно, де модель виграє, а де розходиться зі старою.
Перевикористовувати варто майже все — пораховані дескриптори, проміжні результати, розмітку й експертні правила: вони йдуть і в ознаки, і в еталон для порівняння.
Старі моделі не викидаємо: вони залишаються арбітром на спірних класах сполук, поки нова не покаже стійко кращу якість.
Окрема задача — зберегти накопичені правила: пороги, обмеження за підструктурами, винятки за серіями. Переносимо їх у явний шар постобробки й описуємо як код із тестами, інакше знання тримається на одному інженері й втрачається за першої зміни.
Плавний перехід іде поетапно: спочатку тіньовий режим, де рахує нова модель, а рішення ухвалює стара; потім увімкнення на окремих групах сполук; і лише потім — основний шлях із можливістю відкату до попереднього розрахунку.
Технічні сумніви: дані, точність, застосовність
На розборі задачі технічні сумніви зазвичай одні й ті самі: чи вистачить даних, чи немає витоку між навчанням і перевіркою, як звести вимірювання різних лабораторій і що робити з незнайомими сполуками. Деталі розбираємо вже на вашому наборі.
Скільки даних потрібно, щоб передбачення було надійним?
Дивимося не на загальне число записів, а на кількість серій і різноманіття хімічного простору. Тисячі сполук із узгодженими вимірюваннями дають стійкий прогноз за однією властивістю, а сотні однотипних аналогів його не замінять.
Як перевіряєте модель на перенавчання та витоки?
Ділимо вибірку за хімічними серіями, а не випадково, і прибираємо з ознак непрямі підказки про відповідь. Якщо якість на відкладених серіях різко падає, модель у роботу не йде.
Дані зібрані різними методиками вимірювань — що з цим робити?
Кожну методику позначаємо як окреме джерело й перевіряємо перенесення між лабораторіями. Розходження не розмиваємо усередненням, а показуємо як інтервал: видно, де прогноз стійкий, а де залежить від джерела.
Що зі сполуками поза навчальним набором?
Для кожної молекули рахуємо віддаленість від навчальних даних. Якщо вона поза областю застосовності, модель віддає не число, а прапорець — сполука йде на експеримент або в окремий цикл донавчання.
Чи може модель оновлюватися самостійно?
Повного автоматизму не робимо: зсув у даних може тихо зламати прогноз. Нові вимірювання накопичуються, перенавчання йде за регламентом, а в роботу надходить версія лише з метриками не гіршими за попередню.
Обговоримо задачу й повернемося з оцінкою та планом
Перший розбір задачі займає близько години й проходить по суті: що саме потрібно передбачати, на якому хімічному просторі й яке рішення ви ухвалюєте за результатом.
Ми не починаємо з вибору моделі — спочатку фіксуємо, де прогноз ADMET вбудовується у ваш процес відбору сполук і яку рутину він знімає. Нижче — те, що на цій зустрічі корисно мати під рукою з боку замовника.
- Масиви даних: структури з відомими значеннями властивостей, у якому вигляді вони лежать і наскільки покриті потрібні кінцеві точки.
- Перелік властивостей ADMET, критичних для вашого відбору: розчинність, проникність, метаболічна стабільність, токсичність — пріоритети розставляєте ви.
- Вимоги до виходу: таблиця зі значеннями та довірчими інтервалами, ранжування бібліотек або бінарне відбракування кандидатів.
- Обмеження щодо даних: де зберігаються, що допустимо передавати, чи потрібна робота всередині вашого контуру.
- Метрика успіху у ваших термінах: частка відсіяних завідомо непридатних кандидатів, згода прогнозу з результатами лабораторії.
- Приклади сполук, на яких поточний відбір помиляється, — вони задають межі застосовності майбутньої моделі.
Після розбору ми повертаємося з оцінкою та планом робіт: етапи, що перевіряємо на відкладеній вибірці, які властивості закриваємо в першу чергу.
Окремим пунктом у плані йдуть межі застосовності рішення — для якого класу сполук прогноз стійкий, де модель виходить за межі навчального розподілу й результат потрібно підтверджувати лабораторно. Оплата й обсяг етапів фіксуються до старту.
Опишіть задачу прогнозування — повернемося з оцінкою та планом.
