Объяснение
Eval-набор содержит реальные сценарии, ожидаемые свойства и сложные отрицательные случаи. Оценивать нужно retrieval, ответ и действия отдельно. LLM-as-judge тоже ошибается и требует сверки с человеком.
Задача для самостоятельного решения
Как оценить помощника по внутренним документам?
Показать разбор ответа
Проверить корректность, опору на доступный источник, отказ при недостатке данных и отсутствие утечек. Один средний балл скрывает критичные провалы.