Пакетная обработка — что это такое

Batch API

Большая пачка запросов со скидкой в обмен на ожидание.

Что это

Задания отправляются одним файлом и выполняются в течение нескольких часов, когда у поставщика освобождаются мощности. Результат забирают тоже файлом. Скидка обычно около половины обычной цены, а лимиты частоты запросов на такую очередь не распространяются.

При выборе модели

Подходит для разметки, перевода и разбора архивов, где ответ не нужен сейчас. Для чата и агентов не годится.

Где смотреть на сайте

Термин встречается в объяснениях к таблицам и в методике проекта.

Другие термины

Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели