Предобучение — что это такое
Pretraining
Первый и самый дорогой этап: модель читает большой массив текстов.
Что это
На этом этапе модель учится предсказывать продолжение текста и набирает знания о языке и мире. Считается месяцами на тысячах ускорителей. Всё, что делают после — дообучение, выравнивание, режимы рассуждения, — правит уже готовую основу.
При выборе модели
Дата окончания предобучения задаёт границу знаний модели. Модель, вышедшая в этом году, может ничего не знать о событиях последних месяцев.
Где смотреть на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели