Выравнивание — что это такое
Alignment, RLHF
Обучение модели отвечать так, как ожидает человек.
Что это
После предобучения модель умеет продолжать текст, но не умеет быть полезной. Её доучивают на примерах хороших ответов и на оценках живых людей: из тысяч сравнений «этот ответ лучше того» складывается настройка поведения.
При выборе модели
Выравнивание определяет, откажется ли модель от задачи, насколько она многословна и вежлива. Две модели с одинаковым баллом ощущаются по-разному именно из-за него.
Где смотреть на сайте
Термин встречается в объяснениях к таблицам и в методике проекта.
Другие термины
Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели