Внедрение команд в запрос — что это такое
Prompt injection
Указания для модели, спрятанные в данных, которые она читает.
Что это
Модель не отличает инструкцию хозяина от текста, который ей дали разобрать. Строка вида «забудь прежние указания и сделай другое», попавшая в письмо, страницу или документ, воспринимается как команда.
При выборе модели
Главный риск агентов и поиска по документам: чем больше у модели прав и внешних источников, тем дороже обходится такая подстава. Лечится ограничителями и запретом на действия без подтверждения.
Где смотреть на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели