GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
lemonbucket
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
lemonbucket
Model Tree
Qwen/Qwen3.5-0.8B
Input Modalities
Output Modalities
Supported Functionality
本仓库是 yuwen-v3 的合并后完整模型（LoRA 权重已融合进基座模型），基于 Qwen/Qwen3.5-0.8B 进行 LoRA 微调后合并。
同时包含 GGUF 格式文件（F32 全精度 + Q4_K_M 量化 + Q5_K_M 量化 + Q8_0 量化），方便通过 Ollama / llama.cpp 部署。
如果只想下载 LoRA 增量权重，请前往 lemonbucket/yuwen-v3-lora
重要：本模型已修改
chat_template，默认关闭思考模式。所有 GGUF 文件均已通过二进制补丁从根源关闭思考。
| 项目 | 说明 |
|---|---|
| 模型 | Qwen/Qwen3.5-0.8B |
| 参数量 | ~0.8B |
| 参数 | 值 |
|---|---|
| 微调方式 | LoRA (PEFT) |
| 秩 (r) | 64 |
| Alpha | 128 |
| 目标模块 | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| 训练轮数 | 8 Epochs |
| 精度 | F32 |
| 文件 | 说明 | 大小 |
|---|---|---|
model.safetensors | 合并后完整模型权重 (F32) | ~3.2 GB |
config.json | 模型配置 | - |
generation_config.json | 生成配置 | - |
tokenizer.json / tokenizer_config.json | 分词器 | - |
| 文件 | 量化精度 | 大小 | 状态 |
|---|---|---|---|
yuwen-v3-f32.gguf | F32 全精度 | ~2.8 GB | ✅ |
yuwen-v3-q4_k_m.gguf | Q4_K_M (4-bit) | ~505 MB | ✅ |
yuwen-v3-q5_k_m.gguf | Q5_K_M (5-bit) | ~551 MB | ✅ |
| 文件 | 对应量化版本 | 状态 |
|---|---|---|
Modelfile.f32 | F32 | ✅ |
Modelfile.q4 | Q4_K_M | ✅ |
Modelfile.q5_k_m | Q5_K_M | ✅ |
Modelfile.q8_0 | Q8_0 | ✅ |
| 文件 | 说明 |
|---|---|
关闭模型思考模式指南.md | 关闭思考模式的详细教程 |
完整评测报告（含测试题目、各模型逐题回答及评分明细）已上传至本仓库的
yuwen测评/目录。
| 项目 | 说明 |
|---|---|
| 题目来源 | 2026 年普通高等学校招生全国统一考试（全国 I 卷）语文 |
| 测试范围 | 现代文阅读（阅读 I 信息类文本 5 题 + 阅读 II 文学类文本 4 题，共 9 题） |
| 满分 | 39 分（选择题 15 分 + 简答题 24 分） |
| 测试时间 | 2026-07-07 / 2026-07-10 / 2026-07-11 |
| 测试模型数 | 11 个（yuwen 全系列 + Qwen3.5-0.8B 基座对比） |
| 阅卷评判官 | GLM-5.2 |
| 评分维度 | 答题规范性、长文本处理、基础理解、常识储备、信息准确性、深度分析（每维度 10 分，满分 60 分） |
| 排名 | 模型 | 6维度总分(60) | 答题得分(39) | 得分率 | 选择题正确率 |
|---|---|---|---|---|---|
| 🥇 1 | yuwen-v3-q4 | 47 | 28 | 71.8% | 5/5 (100%) |
| 🥈 2 | yuwen-assistant† | 41 | 21 | 53.8% | 4/5 (80%) |
| 🥉 3 | yuwen-v2 |
†
yuwen-assistant并非微调模型，而是通过提示词工程（Prompt Engineering）在 Qwen3-0.6B 基础上实现的语文问答助手，未进行任何权重微调，在此作为对比基准参与评测。
v3-q4、assistant 和 v3-q5 能在 Q6 中正确识别"忏悔感"的错误。v3-q5 在此题的辨析尤为精彩，准确区分了列文的"情感共鸣/劳动愉悦"与聂赫留朵夫的"道德忏悔/道德觉醒"。完整评测报告（含逐题评分、各模型详细回答）请见
yuwen测评/2026测试结果汇总.md。
| 特性 | F32 | Q4_K_M | Q5_K_M | Q8_0 |
|---|---|---|---|---|
| 文件大小 | ~2.8 GB | ~505 MB | ~551 MB | ~774 MB |
| 最小内存需求 | ~3.2 GB | ~600 MB | ~650 MB | ~1.0 GB |
| 答题得分 (满分 39) | 14 (35.9%) | 28 (71.8%) | 15 (38.5%) | 16 (41.0%) |
| 维度 | Q5_K_M | Q8_0 | 优势方 |
|---|---|---|---|
| 6 维度总分 | 28 | 27 | Q5 略优 |
| 答题得分 | 15 | 16 | Q8 略优 |
| 选择题正确率 | 3/5 (60%) | 3/5 (60%) | 持平 |
| 选择题对错模式 | Q3✅ Q6✅ Q7✅ | Q1✅ Q2✅ Q7✅ | 互补 |
| 常识储备 |
选择建议：侧重文学类文本 / 文学常识选 Q5；侧重信息类文本阅读选 Q8。两者总分接近，特长互补。日常使用仍首推 Q4（全面碾压所有版本）。
| 场景 | 推荐版本 | 文件 | 理由 |
|---|---|---|---|
| ⭐ 日常使用 / 部署 | Q4 量化版 | yuwen-v3-q4_k_m.gguf + Modelfile.q4 | 体积仅 F32 的 1/5，评测成绩远优于全精度版 |
| 文学常识强 / 精度平衡 | Q5 量化版 | yuwen-v3-q5_k_m.gguf + Modelfile.q5_k_m | 比 Q4 仅大 9%，5-bit 精度保留更多细节，文学常识突出 |
| 信息类文本 / 平衡选择 | Q8 量化版 | + |
bash
# F32 全精度版ollama create yuwen-v3 -f Modelfile.f32ollama run yuwen-v3 # Q4 量化版（推荐日常使用）ollama create yuwen-v3-q4 -f Modelfile.q4ollama run yuwen-v3-q4 # Q5 量化版（文学常识强 / 精度平衡）ollama create yuwen-v3-q5 -f Modelfile.q5_k_mollama run yuwen-v3-q5 # Q8 量化版（信息类文本 / 平衡选择）ollama create yuwen-v3-q8 -f Modelfile.q8_0ollama run yuwen-v3-q8python
from transformers import AutoModelForCausalLM, AutoTokenizerimport torch # 加载合并后的完整模型（无需额外加载 LoRA）model = AutoModelForCausalLM.from_pretrained( "lemonbucket/yuwen-v3", torch_dtype=torch.float32, device_map="auto",)tokenizer = AutoTokenizer.from_pretrained("lemonbucket/yuwen-v3") # 推理messages = [ {"role": "system", "content": "你是yuwen-v3，由柠檬桶基于Qwen3.5-0.8B微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。"}, {"role": "user", "content": "请分析《荷塘月色》中通感手法的运用。"},] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True)inputs = tokenizer(text, return_tensors="pt").to(model.device)outputs = model.generate( **inputs, max_new_tokens=1024, temperature=0.3, top_k=20, top_p=0.85,) print(tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))你是 yuwen-v3，由柠檬桶基于 Qwen3.5-0.8B 微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。
重要：由于微调时训练数据中未包含思维链 (
<think>) 相关内容，模型的思维链输出存在异常。强烈推荐关闭思考模式使用。所有 GGUF 文件均已通过二进制补丁从根源关闭思考模式（将
chat_template中enable_thinking条件硬编码为false），无需用户手动配置，开箱即用。如需了解补丁原理或手动操作，请参阅
关闭模型思考模式指南.md。
Apache 2.0（继承自 Qwen3.5 基座模型）
使用时需同时遵守 Apache 2.0 协议 及 Qwen 模型许可条款。
我是刚接触模型微调的新手，初次使用 Hugging Face 平台。如果仓库存在不规范之处，还请通过邮件反馈：575244421@qq.com，不胜感激！
vocab.json / merges.txt | 词表 | - |
chat_template.jinja | 无思考版 chat_template | - |
preprocessor_config.json | 多模态预处理器配置 | - |
yuwen-v3-q8_0.gguf| Q8_0 (8-bit) |
| ~774 MB |
| ✅ |
mmproj-yuwen-v3-f32.gguf | 多模态投影文件 | ~384 MB | ✅ |
| 30 |
| 15 |
| 38.5% |
| 2/5 (40%) |
| 4 | yuwen-v3 (F32) | 29 | 14 | 35.9% | 1/5 (20%) |
| 5 | yuwen-v2-q4 | 29 | 14 | 35.9% | 2/5 (40%) |
| 6 | yuwen-v3-q5 | 28 | 15 | 38.5% | 3/5 (60%) |
| 7 | yuwen-v3-q8 | 27 | 16 | 41.0% | 3/5 (60%) |
| 8 | qwen3.5:0.8b | 24 | 13 | 33.3% | 2/5 (40%) |
| 9 | yuwen-v1 | 23 | 5 | 12.8% | 1/5 (20%) |
| 10 | yuwen-v2-preview-q4 | 23 | 12 | 30.8% | 3/5 (60%) |
| 11 | yuwen-v2-preview | 18 | 5 | 12.8% | 1/5 (20%) |
| 选择题正确率 |
| 1/5 (20%) |
| 5/5 (100%) |
| 3/5 (60%) |
| 3/5 (60%) |
| 6 维度评分 (满分 60) | 29 | 47 | 28 | 27 |
| 常识储备 (满分 10) | 5 | 7 | 6 | 3 |
| 信息准确性 (满分 10) | 4 | 8 | 3 | 4 |
| 思考模式 | ✅ 已关闭 | ✅ 已关闭 | ✅ 已关闭 | ✅ 已关闭 |
| 输出风格 | 过度推理、长篇大论，常超出题目要求范围，信息类选择题全部误判 | 聚焦精准、条理清晰，输出高度收敛于题意，无冗余推理 | 文学常识辨析精准但信息类文本理解偏差大，Q1/Q2 全部误判，Q5 指令遵循偏弱 | 过度推理部分缓解，选择题从 1/5 提升至 3/5，但 Q5 指令遵循仍弱，Q9 续写有臆造内容 |
| 6/10 |
| 3/10 |
| Q5 远优 |
| 信息准确性 | 3/10 | 4/10 | Q8 略优 |
| 文件大小 | 551 MB | 774 MB | Q5 更小 |
yuwen-v3-q8_0.ggufModelfile.q8_0| 信息类选择题全对，体积约为 F32 的 1/3 |
| 研究 / 对比 | F32 全精度版 | yuwen-v3-f32.gguf + Modelfile.f32 | 无量化损失，适合基准对比 |
# F32 全精度版ollama create yuwen-v3 -f Modelfile.f32ollama run yuwen-v3 # Q4 量化版（推荐日常使用）ollama create yuwen-v3-q4 -f Modelfile.q4ollama run yuwen-v3-q4 # Q5 量化版（文学常识强 / 精度平衡）ollama create yuwen-v3-q5 -f Modelfile.q5_k_mollama run yuwen-v3-q5 # Q8 量化版（信息类文本 / 平衡选择）ollama create yuwen-v3-q8 -f Modelfile.q8_0ollama run yuwen-v3-q8from transformers import AutoModelForCausalLM, AutoTokenizerimport torch # 加载合并后的完整模型（无需额外加载 LoRA）model = AutoModelForCausalLM.from_pretrained( "lemonbucket/yuwen-v3", torch_dtype=torch.float32, device_map="auto",)tokenizer = AutoTokenizer.from_pretrained("lemonbucket/yuwen-v3") # 推理messages = [ {"role": "system", "content": "你是yuwen-v3，由柠檬桶基于Qwen3.5-0.8B微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。"}, {"role": "user", "content": "请分析《荷塘月色》中通感手法的运用。"},] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True)inputs = tokenizer(text, return_tensors="pt").to(model.device)outputs = model.generate( **inputs, max_new_tokens=1024, temperature=0.3, top_k=20, top_p=0.85,) print(tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))