Результаты — Ofcen-Bench-RU
Ofcen-Bench-RU — наш набор из 200 русских вопросов в 8 категориях (общение, факты, объяснения, советы, тексты,
логика, код, следование инструкциям). Вопросы написаны вручную и не входят в обучающие данные. Ответы двух моделей
сравнивались попарно и вслепую (порядок A/B случайный, названия моделей скрыты);
Победа = 1, ничья = 0.5.
Table with columns: Категория, Ofcen-CHRU v1.1, Qwen3-0.6B| Категория | Ofcen-CHRU v1.1 | Qwen3-0.6B |
|---|
| Итого | 54.5% | 45.5% |
| объяснения (explain) | 72% | 28% |
| факты (facts) | 64% | 36% |
| код (code) | 60% | 40% |
| общение (chat) | 56% | 44% |
| тексты (writing) | 52% | 48% |
| советы (advice) | 50% | 50% |
| инструкции (instructions) | 50% | 50% |
| логика и задачи (reasoning) | 32% | 68% |
Итог: 98 побед, 22 ничьи, 80 поражений из 200. Обе модели генерировали без режима размышлений, greedy,
до 768 токенов. Qwen3-0.6B — Instruct-версия со своим шаблоном по умолчанию; Ofcen-CHRU — со своим системным
промптом (см. ниже).
Использование
from transformers import AutoModelForCausalLM, AutoTokenizer name = "Officerofff/Ofcen-CHRU-v1.1"tokenizer = AutoTokenizer.from_pretrained(name)model = AutoModelForCausalLM.from_pretrained(name, dtype="auto", device_map="auto") system = ("Ты — Ofcen-CHRU, ИИ-ассистент от команды Ofcen. Отвечай на русском языке, " "по делу, понятно и дружелюбно.")messages = [{"role": "system", "content": system}, {"role": "user", "content": "Объясни простыми словами, что такое инфляция."}]inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, enable_thinking=False, return_dict=True, return_tensors="pt").to(model.device)out = model.generate(**inputs, max_new_tokens=512, do_sample=True, temperature=0.7, top_p=0.9, repetition_penalty=1.1)print(tokenizer.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))
Модель обучена с этим системным промптом — с ним она ведёт себя лучше всего. Если системный промпт не задан,
шаблон чата подставит его сам. Используйте
enable_thinking=False: режим размышлений Qwen3 при дообучении не использовался.
Обучение
- База: Qwen/Qwen3-0.6B (Apache 2.0).
- LoRA r=32, alpha=64, на всех линейных слоях; 1 эпоха, lr 2e-4 (cosine), 16 диалогов на шаг, длина до 2048 токенов;
loss только по ответам ассистента. Затем короткий этап «личность» (lr 1e-4).
Данные:
Ограничения
Это очень маленькая модель, и у неё заметные ограничения:
- часто ошибается в фактах (даты, имена, авторы, столицы) — важное перепроверяйте;
- слабо решает задачи на логику и счёт — хуже исходной Qwen3-0.6B;
- иногда зацикливается, повторяя фразы, и изредка вставляет иероглифы или английские слова;
- может плохо понимать идиомы и грубые или бессмысленные сообщения;
- нет доступа к интернету и не знает текущую дату.
Над этим работает следующая версия (v1.2): задачи с пошаговыми решениями, поиск по Википедии, очистка данных.
Лицензия
Apache 2.0