Кэширование запроса — что это такое
Prompt caching
Повторяющаяся часть запроса считается дешевле.
Что это
Если в каждом обращении повторяется одно и то же — инструкция, документ, история разговора — это можно закэшировать. Первая запись в кэш стоит чуть дороже обычных входных токенов, зато последующие чтения дешевле в несколько раз.
Зачем это знать при выборе модели
На длинных диалогах и работе с одним документом экономия измеряется разами, а не процентами. При сравнении цен это часто важнее ставки за миллион.
Где эта величина видна на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели · Режим рассуждения