Объяснение
Dropout и weight decay уменьшают переобучение разными способами. Режимы train/eval влияют на некоторые слои. Validation без переключения режима может давать нестабильные или смещённые результаты.
Задача для самостоятельного решения
Почему при оценке отключают dropout?
Показать разбор ответа
Нужен определённый режим вывода, согласованный с обучением. Случайное выключение нейронов при обычной оценке меняет предсказания.