主要结果
评测使用 97 道留出题:50 道数学题、47 道代码题。每个模型对每题生成 8 次,最多输出 32,768 token。对照模型为本轮训练的起点——历史 CPO checkpoint-90(cp90)。
Table with columns: 指标, 训练前, 训练后| 指标 | 训练前 | 训练后 |
|---|
| 数学正确率 | 50.75% | 57.25% |
| 代码正确率 | 19.15% | 33.78% |
| 数学平均输出长度 | 11,643 token | 7,736 token |
| 代码平均输出长度 | 23,485 token | 17,298 token |
正确率按全部生成回答计算:数学每侧 400 条,代码每侧 376 条。输出长度包含思考和最终答案。
进一步比较训练前后都能答对的 32 道数学题,29 道题的思考变短,逐题缩短幅度的中位数约为 20.5%。计算时先取每题正确回答的思考长度中位数,再比较训练前后的长度。
单题最高缩短 65.16%
Table with columns: 数学题, 训练前思考长度, 训练后思考长度, 缩短比例, 8 次生成中的答对次数| 数学题 | 训练前思考长度 | 训练后思考长度 | 缩短比例 | 8 次生成中的答对次数 |
|---|
omni/1,hard | 18,378 token | 6,402 token | 65.16% | 3 → 5 |
omni/7,hard | 7,254 token | 2,893 token | 60.12% | 3 → 7 |
表中长度取每题最终答案判对回答的思考 token 中位数。
例如 omni/1 要求求出满足 a³ + b³ + c³ = (abc)² 的所有正整数三元组。在这道题上,训练后模型的正确回答思考长度从约 1.84 万 token 降到 6,402 token,答对次数也从 3/8 提升到 5/8。
逐题结果与长度分布见 评测记录。
怎么训练的
CPO 学习更简洁的解法。 离线数据包含 4,552 对偏好回答,覆盖 2,348 个独立问题。每对数据中,较长回答的思考长度至少是较短回答的 1.2 倍。
GRPO 根据实际表现继续优化。 在线训练使用 124 道题,每题生成 8 个回答。奖励先检查答案正确性和输出格式,再根据思考长度评分,鼓励模型用更少的 token 完成解题。
Table with columns: 配置, 设置| 配置 | 设置 |
|---|
| 模型起点 | Qwen3.8-27B 的历史 CPO cp90 检查点 |
| 联合训练 | CPO + GRPO |
| LoRA | rank 64,alpha 128,dropout 0 |
| 学习率 | 1e-4,cosine 调度,warmup 8 步 |
| 参数更新 | 144 步 |
| 最大生成长度 | 32,768 token |
| GPU | 8 × H100 |
| 训练与推理分配 | 4 卡训练,4 卡 vLLM TP4 推理 |
训练实现包含 BF16、ZeRO-3、CPU 参数卸载、梯度检查点和分块输出层计算。独立 vLLM 服务负责在线生成,并在训练过程中同步模型权重;代码题在隔离环境中执行。
本轮训练问题与留出题经过题干规范化检查,发现重合 0。评测统计逐条核对了两侧共 1,552 条生成记录。
详见 训练配置、实现代码 和 数据检查记录。
快速使用
本仓库已将最终 LoRA 合并进 cp90 模型,使用 BF16 保存。模型的架构标识为 qwen3_5,对应 Transformers 的 Qwen3_5ForConditionalGeneration。
# 加载 OTC 完整模型并生成数学题回答。import torchfrom transformers import AutoTokenizer, Qwen3_5ForConditionalGeneration model_id = "frankleaf/OTC-Qwen3.8-27B-CPO-GRPO" tokenizer = AutoTokenizer.from_pretrained(model_id)model = Qwen3_5ForConditionalGeneration.from_pretrained( model_id, dtype=torch.bfloat16, device_map="auto").eval() messages = [{ "role": "user", "content": "For what value of x is 2^3 * 3^x = 72? Put your final answer in \\boxed{}.",}]text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, enable_thinking=True)inputs = tokenizer(text, return_tensors="pt").to(model.device) with torch.inference_mode(): output = model.generate( **inputs, max_new_tokens=32768, do_sample=True, temperature=0.7, top_p=0.8, top_k=20, repetition_penalty=1.05, eos_token_id=248046, pad_token_id=tokenizer.pad_token_id, ) print(tokenizer.decode( output[0, inputs.input_ids.shape[1]:], skip_special_tokens=False))
本次训练环境:Transformers 5.17.0、PEFT 0.20.0、TRL 1.13.0、vLLM 0.31.0、PyTorch 2.13.0。
开放内容
- 完整 BF16 模型与分词器。
- CPO + GRPO 训练配置及实现代码。
- 逐样本评测指标、逐题压缩结果和采样配置。
- 模型来源、数据检查与合并数值验证记录。
模型合并采用 PEFT 原生安全合并,已检查全部 256 个 LoRA 目标权重及保存后的对应张量。文件来源见 发布记录,数值检查见 合并验证。
许可
模型和本次发布代码采用 Apache-2.0。上游模型为 Qwen/Qwen3.8-27B。