Предпосылки
gpt-oss-20b и gpt-oss-120b по-умолчанию всегда думают только на английском языке.
Официальный Cookbook OpenAI предлагает сделать файн-тюн gpt-oss-20b на основе датасета HuggingFaceH4/Multilingual-Thinking(синтетический датасет из 1к примеров, полученных путём перевода prompt-reasoning-answer на 4 языка с английского).
Этот подход позволяет задать 'Reasoning language' в системном промте и заставить модель думтаь на требуемом языке, что в теории должно повысить качество ответов.
Во время файнтюна модель выявляет новые закономерности и учится думать на запрашиваемом языке.
При разработке данной модели мы поставили цель исключить явное указание языка ризонинга, а также добавить два новых режима ризонинга: автоматический(auto) и без ризонинга(none).
Обучение
Для обучения модели был составлен датасет NotEvilAI/ru-reasoning_effort-sft_dpo_think_gpt.
Модель обучалась на собственном сервере с 8x H200 в 2 стадии:
- Full fine-tuning SFT с помощью axolotl:
num_epochs: 5 (20b версия модели сходится медленнее, чем 120b, однако переобучения замечено не было)
learning_rate: 5e-5 подобран эмпирически
optimizer: adamw_torch_fused
- Упаковка семплов через
sample_packing, multipack_real_batches, pad_to_sequence_len, group_by_length
- Обучение длилось ~ 5 часов
- DPO с помощью transformers:
- Семплирование по 25 семплов на промт с целью поиска ризонинга не на нужном языке
learning_rate: 5e-6
gradient_accumulation_steps: 4
- Конвертация результатирующей модели из fp32 в bf16
- Обучение длилось ~ 3.5 часа
Больше информации
Подписывайтесь на наш Telegram-канал. Там мы будем выкладывать новые модели и датасеты. Также там вы можете задать автору интересующие вас вопросы.