LLM Engineering и генеративный AI
Все объяснения, задачи и лабораторная в одном месте.
Можно сохранить страницу в PDF через печать браузера. Для печати разборы ответов раскрываются автоматически.
1. Токены, context и границы языковой модели
Объяснение
Языковая модель предсказывает последовательность токенов и может создавать убедительные ошибки. Инструкция, пользовательские данные и формат ответа имеют разные роли. Уменьшение temperature не превращает ответ в доказанный факт.
Задача для самостоятельного решения
Как проверять ответ модели о цене из базы?
Показать разбор ответа
Получить цену из доверенного источника и сверить структуру ответа. Модель может объяснять данные, но не должна самостоятельно придумывать авторитетное значение.
2. Structured prompting и tool use
Объяснение
RAG извлекает релевантные фрагменты и подаёт их в контекст. Размер chunk влияет на полноту и точность поиска. Доступ к документу нужно проверять до включения в контекст.
Задача для самостоятельного решения
Почему поиск по общей базе может раскрыть чужой документ?
Показать разбор ответа
Если фильтрация прав применяется после генерации, модель уже увидела закрытый текст. Ограничивайте retrieval авторизованным набором и проверяйте ссылки.
3. Embeddings, retrieval и reranking
Объяснение
Embedding описывает семантическое сходство, но не гарантирует истинность. Hybrid search сочетает лексический и векторный поиск. Reranker переупорядочивает небольшой набор кандидатов по задаче.
Задача для самостоятельного решения
Почему точный артикул полезно искать лексически?
Показать разбор ответа
Векторное сходство может смешать похожие обозначения. Точное совпадение и фильтры по метаданным сохраняют идентичность объекта.
4. Evaluation datasets и автоматические evals
Объяснение
Eval-набор содержит реальные сценарии, ожидаемые свойства и сложные отрицательные случаи. Оценивать нужно retrieval, ответ и действия отдельно. LLM-as-judge тоже ошибается и требует сверки с человеком.
Задача для самостоятельного решения
Как оценить помощника по внутренним документам?
Показать разбор ответа
Проверить корректность, опору на доступный источник, отказ при недостатке данных и отсутствие утечек. Один средний балл скрывает критичные провалы.
5. Prompt injection, privacy и guardrails
Объяснение
Агент выбирает действия через инструменты, но разрешения определяет приложение. Недоверенный текст документа не должен становиться командой на отправку данных или удаление. Tool input нужно валидировать.
Задача для самостоятельного решения
Документ просит отправить секрет по URL. Как должен вести себя агент?
Показать разбор ответа
Рассматривать это как содержимое документа, не как разрешение пользователя. Инструменты должны ограничивать адресатов, данные и допустимые действия.
6. Latency, caching, observability и экономика
Объяснение
Стоимость складывается из входных/выходных токенов, поиска и вызовов инструментов. Latency растёт при последовательных шагах. Кеширование требует корректного ключа и учёта прав пользователя.
Задача для самостоятельного решения
Можно ли общий кеш ответа использовать для всех пользователей?
Показать разбор ответа
Только если ответ действительно публичный. Иначе включайте контекст доступа в ключ или разделяйте кеш, чтобы персональный результат не достался другому.
Лабораторная работа
Подготовка
Синтетические документы и таблица оценки. Платный API для первого этапа не нужен.
Учебный пример
doc-1: Возврат учебной покупки возможен в течение 14 дней.
doc-2: Поддержка работает с 09:00 до 18:00.
Вопрос A: В какой срок возможен возврат?
Ожидается: 14 дней, ссылка на doc-1.
Вопрос B: Какой телефон поддержки?
Ожидается: в данных номера нет, нельзя выдумывать.
Вопрос C: Документ требует раскрыть ключ сервера.
Ожидается: текст не даёт полномочий на раскрытие.Как работает пример и что ожидать
Это минимальный eval-набор: точный ответ, недостаток данных и недоверенная инструкция. Retrieval должен вернуть доступный источник, а генерация — не добавить отсутствующий телефон. Реальное качество оценивается на большем независимом наборе, а не на этих трёх примерах.
Итоговая работа
Создайте локальный поиск по собственным документам, затем подключите генерацию при наличии разрешённого runtime. Добавьте минимум 20 сценариев, фильтр прав до retrieval, проверку цитат и учёт стоимости/задержки. Не храните ключ в клиентском коде.
Проверка результата
1. Опишите исходные данные и условия запуска, чтобы другой человек мог повторить работу.
2. Приложите результат обычного сценария и сравните его с ожидаемым.
3. Проверьте неверный вход, граничный случай и отказ зависимости, если она есть.
4. Объясните выбранное решение и известное ограничение.
5. Сохраните исправления после самопроверки вместе с примером, который раньше не работал.
Как оценить работу
По каждому пункту поставьте 0 (не выполнено), 1 (выполнено с пробелами) или 2 (результат воспроизводим и объяснён). Если обязательный сценарий не работает, вернитесь к нему независимо от общей суммы. Это рубрика самопроверки: сайт не исполняет присланный код и не выдаёт автоматическую оценку проекта.