Агрегатор моделей — что это такое
AI gateway
Один ключ и один адрес для доступа к сотням моделей.
Что это
Посредник принимает запрос и передаёт его нужному поставщику, а вам выставляет общий счёт. Даёт единый формат обращения, запасной маршрут при сбое поставщика и общую статистику расходов.
Зачем это знать при выборе модели
Удобно, когда моделей много или нужно быстро их менять. Плата за удобство — наценка посредника и ещё одно звено, которое может отказать.
Где эта величина видна на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели