Словарь терминов
В рейтингах нейросетей стоят слова «токен», «контекстное окно», «Elo», «квантизация», и почти нигде не сказано, что за ними стоит. Здесь 31 термин: что означает каждый и как он влияет на выбор модели.
А
1 термин- Агрегатор моделейAI gatewayОдин ключ и один адрес для доступа к сотням моделей.
Б
1 термин- БенчмаркBenchmarkНабор заданий с известными ответами, одинаковый для всех моделей.
В
4 термина- Время до первого токенаTime to first tokenПауза между запросом и началом ответа.
- Входные и выходные токеныInput and output tokensДве разные цены: за ваш запрос и за ответ модели.
- Выдумка моделиHallucinationУверенный ответ, не имеющий отношения к действительности.
- Вызов инструментовTool callingМодель умеет сама обращаться к программам и сервисам.
Д
3 термина- ДистилляцияDistillationМаленькую модель учат повторять ответы большой.
- Доля ошибок в словахWord Error RateМетрика качества распознавания речи.
- ДообучениеFine-tuningНастройка готовой модели на своих примерах.
И
2 термина- ИИ-агентAI agentПрограмма, которая сама выполняет цепочку действий ради цели.
- Индекс интеллектаIntelligence IndexСводная оценка по нескольким независимым тестам.
К
3 термина- КвантизацияQuantizationСжатие модели ради экономии памяти и скорости.
- Контекстное окноContext windowСколько текста модель удерживает за один раз.
- Кэширование запросаPrompt cachingПовторяющаяся часть запроса считается дешевле.
Л
1 термин- Лицензия моделиModel licenseУсловия, на которых модель разрешено использовать.
М
1 термин- МультимодальностьMultimodalityМодель принимает не только текст.
О
3 термина- Ограничение частотыRate limitСколько запросов в минуту вам разрешено.
- Открытые весаOpen weightsМодель можно скачать и запустить у себя.
- Оценка EloElo ratingРейтинг из парных сравнений, как в шахматах.
П
4 термина- Поиск по своим документамRAGМодель отвечает, опираясь на найденные куски ваших документов.
- Потерянная серединаLost in the middleМодель хуже помнит то, что оказалось в середине длинного текста.
- Провайдер APIAPI providerКомпания, через которую вы обращаетесь к модели.
- ПромптPromptТекст запроса, который получает модель.
Р
1 термин- Режим рассужденияReasoningМодель сначала думает про себя, потом отвечает.
С
3 термина- Системная инструкцияSystem promptПостоянное указание, которое модель получает перед каждым запросом.
- Стоимость задачиCost per taskЦена одного реального прогона, а не ставка за миллион токенов.
- Структурированный выводStructured outputОтвет строго в заданном формате, а не свободным текстом.
Т
3 термина- ТемператураTemperatureНасколько модель склонна выбирать неожиданные продолжения.
- ТокенTokenКусочек текста, которым модель меряет объём работы.
- Токенов в секундуTokens per secondСкорость, с которой модель печатает ответ.
Ф
1 термин- Файл правил для агентаAgent rules fileТекстовый файл, который агент читает перед работой.