теория
Софт, который не трогают, продолжает работать. Модель, которую не трогают, — портится: она заморожена в мире дня своего обучения, а мир уезжает. Это не гипотеза, а расписание — как ревизии.
Дрейф приходит двумя дорогами. : входы сместились — на платформу пришёл новый регион, изменилась структура категорий, поставщик поменял гранулярность. Модель получает вопросы из распределения, которого не видела. : связь между входом и ответом изменилась — после скачка ставки спрос реагирует на цены иначе, чем в обучающие годы. Входы те же, мир другой.
Что с этим делает фабрика:
Мерит непрерывно. Прогноз против наступившего факта — это экзамен, который прод сдаёт каждый день сам, — та же планка из тридцать шестого модуля, но во времени. Отдельно мониторятся входы: расстояние между распределением признака сейчас и на обучении (индустрия любит PSI — индекс стабильности популяции — с житейскими порогами «шум / присмотреться / дрейф»).
Не путает сигналы. Дрейф признака — не приговор: вход может сместиться, а качество — устоять. Алерт по входам — повод присмотреться; решение о переобучении принимается по метрике качества. Обратное тоже верно: качество упало, а входы стабильны — ищи дрейф смысла или сломанный источник (карантин из тридцать третьего модуля ловит и это).
Переобучается по петле, а не по вдохновению. Переобучение — это конвейер: собрать датасет (винтажно! — свежие данные тоже будут пересмотрены), прогнать катящийся бэктест, сравнить с работающей версией, канарейка, раскатка. Узнаёшь? Это CI для промптов из тридцатого модуля, только вместо золотого набора — катящийся экзамен. Недетерминированные компоненты — что LLM, что градиентный бустинг — выкатываются одной и той же дисциплиной.
И правило гигиены, оплаченное этой субботой: датасет обучения — тоже производный документ. У него есть винтаж, код сборки и воспроизводимость. «Я собрал таблицу запросом в июне» — так больше не бывает.