Выравнивание — что это такое

Alignment, RLHF

Обучение модели отвечать так, как ожидает человек.

Описание

После предобучения модель умеет продолжать текст, но не умеет быть полезной. Её доучивают на примерах хороших ответов и на оценках живых людей: из тысяч сравнений «этот ответ лучше того» складывается настройка поведения.

Что учесть при выборе

Выравнивание определяет, откажется ли модель от задачи, насколько она многословна и вежлива. Две модели с одинаковым баллом ощущаются по-разному именно из-за него.

Где смотреть на сайте

Термин встречается в объяснениях к таблицам и в методике проекта.

Другие термины

Токен · Входные и выходные токены · Кэширование запроса · Стоимость задачи · Контекстное окно · Потерянная середина · Поиск по своим документам · Выдумка модели