wflying

Qwen3.5-4B-RL-IF-CC-NGRPO

Deploy Dedicated

README

License: apache-2.0

模型信息

基座模型： Qwen/Qwen3.5-4B
训练数据： wflying/instruction-following-rl-content-constrained-30k
训练方法： 内容约束奖励（LLM-Judge）+ NGRPO
主要用途： 复杂约束、内容约束及反直觉指令的遵循
模型架构： Qwen3.5，约 4.66B 存储参数，BF16

方法概述

内容约束奖励

仅依赖程序化规则的奖励容易让模型学会满足表面格式，却忽略语义正确性。该模型在形式评分的基础上增加 LLM-Judge 内容评分，用于约束回复的语义与合规性，降低格式型 Reward Hacking。

NGRPO

标准 GRPO 在一个采样组全部得低分且组内奖励方差为零时，组内优势也会变为零，这些高难度负样本因而不能提供更新信号。NGRPO 采用：

Advantage Calibration（优势校准）： 引入虚拟奖励最大采样，使零方差负样本组获得非零优势并参与训练。
Asymmetric Clipping（非对称裁剪）： 放大正样本的裁剪上界、收紧负样本的裁剪下界，在强化正确回复的同时避免过度惩罚负样本。

评测结果

全量评测指标对比

下表四个模型在 12 个评测指标上的绝对得分。IFEval /w content-constrained 与 IFBench /w content-constrained 表示开启内容语义真实性评分后的结果。

Table with columns: Model, Mean, AdvancedIF, ComplexBench, EQBench, FollowBench, InfoBench, InverseIFEval, MultiChallenge, MultiIF, IFEval, IFEval /w content-constrained, IFBench, IFBench /w content-constrained
Model	Mean	AdvancedIF	ComplexBench	EQBench	FollowBench	InfoBench	InverseIFEval	MultiChallenge	MultiIF	IFEval	IFEval /w content-constrained	IFBench	IFBench /w content-constrained
Qwen3.5-4B	53.49	27.42	60.60	67.70

在该评测设置下，本模型的平均分为 62.37，相比 Qwen3.5-4B 的 53.49 提升 8.88 分，相比 Qwen3.5-4B-RL-IF-CC 的 58.40 提升 3.97 分。

使用示例

请使用支持 Qwen3.5 的最新版 transformers：

python
import torch
from transformers import AutoProcessor, Qwen3_5ForConditionalGeneration

model_id = "wflying/Qwen3.5-4B-RL-IF-CC-NGRPO"

model = Qwen3_5ForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)
processor = AutoProcessor.from_pretrained(model_id)

messages = [
    {
        "role": "user",
        "content": [{"type": "text", "text": "请用三句话解释什么是强化学习。"}],
    }
]

inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

with torch.inference_mode():
    generated_ids = model.generate(**inputs, max_new_tokens=512)

generated_ids = generated_ids[:, inputs.input_ids.shape[1]:]
print(processor.batch_decode(generated_ids, skip_special_tokens=True)[0])

License

本模型继承基座模型的 Apache License 2.0。使用时还应遵守所用数据集及依赖组件的适用条款。

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Model Details

Model Provider

wflying

Model Tree

Base

Qwen/Qwen3.5-4B

Fine-tuned

this model

Input Modalities

TextImageVideo

Output Modalities

Text

Supported Functionality