MooreMuaMu

Qwen3.5-27B-Ancient-Scheme1b-Tender100

README

License: apache-2.0

已有评估

本checkpoint已完成固定96题快测：维吾尔文、传统蒙古文、藏文各包含释义和翻译两个bucket，每bucket16题。它尚未完成2300题全测。

Table with columns: checkpoint, 按全测bucket题数加权reward, 六bucket等权macro, 格式失败/96, 截断/96
checkpoint	按全测bucket题数加权reward	六bucket等权macro	格式失败/96
90	0.556995	0.664151	2
100，本模型	0.561482	0.682861	0
110	0.553403	0.677876	0
120	0.544188	0.673266	0

100相对90的加权reward差为+0.004487，探索性95%配对区间为[−0.022955,+0.030698]，跨零。这支持优先验证100，尚不证明可靠提升。增分主要集中于两题格式恢复和一题答案缩短；reward对参考措辞敏感，不等同于语义正确率。0/96也不能证明全测无格式退化。

各checkpoint使用相同题面、prompt、seed和生成预算；90复用原全测首答，批组成与新快测不同。测试集已用于选点/debug，并非未接触的holdout。每个bucket只有16题，区间未校正多checkpoint选择。详见evaluation_summary.json。

训练使用最终答案奖励、hard format gate、dropout关闭、β=0.001、DAPO全局有效token归一化和std floor=0.02。当前奖励没有直接保证思考内容可信；低非零方差组会缩小advantage，而不是自动整组丢弃。思考流畅、格式合规均不等于答案正确。

使用

本次实际文本评测环境为Transformers 5.16.1、vLLM 0.23.0、Torch 2.11.0和ms-swift 4.5.2。虽然保留了原多模态架构，本轮只验证了文本任务。

使用仓库内system_prompt.txt保留任务和输出约定。chat template须开启enable_thinking=True，最终答案使用<ANS>…</ANS>；不要自动删除重复标签再当作原始合规结果。

python
from huggingface_hub import hf_hub_download
from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

repo = "MooreMuaMu/Qwen3.5-27B-Ancient-Scheme1b-Tender100"
tokenizer = AutoTokenizer.from_pretrained(repo)
with open(hf_hub_download(repo, "system_prompt.txt"), encoding="utf-8") as f:
    system_prompt = f.read()
messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "请将以下原文翻译为简体中文：<在这里填入原文>"},
]
prompt = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True, enable_thinking=True
)
llm = LLM(
    model=repo, tensor_parallel_size=4, dtype="bfloat16",
    max_model_len=16384, max_num_seqs=32, max_num_batched_tokens=8192,
    enforce_eager=True, enable_prefix_caching=False,
    gpu_memory_utilization=0.78,
    limit_mm_per_prompt={"image": 0, "video": 0}, mm_processor_cache_gb=0,
)
params = SamplingParams(
    temperature=0.7, top_p=0.95, top_k=-1, max_tokens=8192,
    skip_special_tokens=False, seed=20260906,
)
result = llm.generate([prompt], params)[0].outputs[0]
print(result.text)

示例为加载方式，不是额外的模型评测结果。原快测逐题使用冻结seed，保留全部首答，不重试或修复失败。

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Model Details

Model Provider

MooreMuaMu

Model Tree

Base

Qwen/Qwen3.5-27B

Fine-tuned

this model

Input Modalities

TextImageVideo

Output Modalities

Text

Supported Functionality