Потерянная середина — что это такое
Lost in the middle
Модель хуже помнит то, что оказалось в середине длинного текста.
Что это
При работе с большим документом модели устойчиво находят факты в начале и в конце, а середину теряют. Эффект воспроизводится на всех известных моделях и не лечится простым увеличением окна.
Зачем это знать при выборе модели
Большое контекстное окно не означает, что модель одинаково внимательна ко всему тексту. Важное лучше класть в начало запроса, а не в середину приложенного файла.
Где эта величина видна на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Поиск по своим документам · Выдумка модели · Режим рассуждения