Объяснение
Стоимость пайплайна зависит от сканируемых данных, частоты пересчёта и хранения. Доступ выдаётся по роли и чувствительности полей. Runbook описывает восстановление задержки и проверку полноты.
Задача для самостоятельного решения
Как понять, что pipeline работает, но данные устарели?
Показать разбор ответа
Измерять freshness по времени последнего события/партиции и lag, а не только успешный exit code задачи. Успешная загрузка пустого файла не доказывает свежесть.