MLOps и эксплуатация моделей
Все объяснения, задачи и лабораторная в одном месте.
Можно сохранить страницу в PDF через печать браузера. Для печати разборы ответов раскрываются автоматически.
1. Reproducible environments и data versioning
Объяснение
ML-артефакт зависит от данных, признаков, кода и параметров. Версионирование только модели не объясняет её происхождение. Experiment tracking связывает результат с воспроизводимой конфигурацией.
Задача для самостоятельного решения
Какие сведения нужны для повторения метрики?
Показать разбор ответа
Dataset version, split, preprocessing, seed, параметры, код и среда. Без разделения данных совпадение модели не гарантирует совпадение оценки.
2. Feature pipelines и experiment tracking
Объяснение
Pipeline разбивает обучение на проверяемые этапы. Кеш этапа корректен только при полном ключе зависимостей. Изменившаяся схема данных должна останавливать неподходящий downstream.
Задача для самостоятельного решения
Почему кеш по имени файла ненадёжен?
Показать разбор ответа
Содержимое файла может измениться при прежнем имени. Используйте версию или digest данных и параметры преобразования.
3. Model registry и approval workflow
Объяснение
Registry хранит версии модели и переходы статуса. Promotion должен зависеть от проверок, а не только высокого train score. Метрики качества, стоимости и безопасности могут конфликтовать.
Задача для самостоятельного решения
Нужно ли автоматически выпускать модель с лучшим средним score?
Показать разбор ответа
Нет: проверьте важные сегменты, latency, ресурсы и регрессии. Средний рост может скрыть ухудшение для критичной группы.
4. Batch, online и streaming inference
Объяснение
Serving бывает batch, online и streaming. Feature skew возникает при разной обработке в обучении и production. Контракт запроса должен фиксировать имена, типы и значения по умолчанию.
Задача для самостоятельного решения
Почему offline-качество хорошее, а online плохое?
Показать разбор ответа
Проверьте порядок признаков, timezone, пропуски и версии preprocessing. Ошибка интеграции может быть сильнее изменения самой модели.
5. Monitoring quality, drift и bias
Объяснение
Drift данных не всегда означает ухудшение модели, а ухудшение возможно без заметного drift входов. Нужны метрики бизнеса и качества по поздним меткам. Feedback loop может менять будущую выборку.
Задача для самостоятельного решения
Достаточно ли мониторить среднее значение каждого признака?
Показать разбор ответа
Нет: меняются зависимости и условное распределение цели. Добавьте сегменты, качество по меткам и долю отказов схемы.
6. Rollback, retraining и governance
Объяснение
Canary ограничивает охват новой модели, rollback возвращает проверенную версию. Откат должен включать совместимые признаки и конфигурацию. Переобучение по расписанию не гарантирует улучшения.
Задача для самостоятельного решения
Что должно быть в runbook отката?
Показать разбор ответа
Версия модели, совместимый preprocessing, переключение трафика, проверка метрик и сохранение проблемных входов без раскрытия чувствительных данных.
Лабораторная работа
Подготовка
Текстовый manifest и локальное хранилище артефактов; облачный аккаунт не обязателен.
Учебный пример
model_version: 2
dataset_version: synthetic-v1
split: by_time
preprocessing_version: 3
metric: precision
validation_value: 0.82
serving_schema: features-v3
previous_model: 1Как работает пример и что ожидать
Manifest связывает модель с данными и обработкой. Число 0.82 — учебное значение, не измерение готовой модели. Смена preprocessing без смены совместимой модели может испортить inference даже при том же формате весов.
Итоговая работа
Организуйте pipeline train/evaluate/register/serve, проверку схемы и rollback. Сымитируйте пропавший признак и drift, убедитесь, что плохая модель не проходит promotion. Воспроизведите эксперимент по manifest в чистой среде.
Проверка результата
1. Опишите исходные данные и условия запуска, чтобы другой человек мог повторить работу.
2. Приложите результат обычного сценария и сравните его с ожидаемым.
3. Проверьте неверный вход, граничный случай и отказ зависимости, если она есть.
4. Объясните выбранное решение и известное ограничение.
5. Сохраните исправления после самопроверки вместе с примером, который раньше не работал.
Как оценить работу
По каждому пункту поставьте 0 (не выполнено), 1 (выполнено с пробелами) или 2 (результат воспроизводим и объяснён). Если обязательный сценарий не работает, вернитесь к нему независимо от общей суммы. Это рубрика самопроверки: сайт не исполняет присланный код и не выдаёт автоматическую оценку проекта.