模型简介
本仓库是 yuwen-v3 的合并后完整模型（LoRA 权重已融合进基座模型），基于 Qwen/Qwen3.5-0.8B 进行 LoRA 微调后合并。
同时包含 GGUF 格式文件（F32 全精度 + Q4_K_M 量化 + Q5_K_M 量化 + Q8_0 量化），方便通过 Ollama / llama.cpp 部署。
如果只想下载 LoRA 增量权重，请前往 lemonbucket/yuwen-v3-lora
重要：本模型已修改 chat_template，默认关闭思考模式。所有 GGUF 文件均已通过二进制补丁从根源关闭思考。
基座模型
微调配置
Table with columns: 参数, 值| 参数 | 值 |
|---|
| 微调方式 | LoRA (PEFT) |
| 秩 (r) | 64 |
| Alpha | 128 |
| 目标模块 | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| 训练轮数 | 8 Epochs |
| 精度 | F32 |
仓库文件
Table with columns: 文件, 说明, 大小| 文件 | 说明 | 大小 |
|---|
model.safetensors | 合并后完整模型权重 (F32) | ~3.2 GB |
config.json | 模型配置 | - |
generation_config.json | 生成配置 | - |
tokenizer.json / tokenizer_config.json | 分词器 | - |
GGUF 格式（均已关闭思考模式）
Table with columns: 文件, 量化精度, 大小, 状态| 文件 | 量化精度 | 大小 | 状态 |
|---|
yuwen-v3-f32.gguf | F32 全精度 | ~2.8 GB | ✅ |
yuwen-v3-q4_k_m.gguf | Q4_K_M (4-bit) | ~505 MB | ✅ |
yuwen-v3-q5_k_m.gguf | Q5_K_M (5-bit) | ~551 MB | ✅ |
|
Ollama 部署文件
Table with columns: 文件, 对应量化版本, 状态| 文件 | 对应量化版本 | 状态 |
|---|
Modelfile.f32 | F32 | ✅ |
Modelfile.q4 | Q4_K_M | ✅ |
Modelfile.q5_k_m | Q5_K_M | ✅ |
Modelfile.q8_0 | Q8_0 | ✅ |
其他
Table with columns: 文件, 说明| 文件 | 说明 |
|---|
关闭模型思考模式指南.md | 关闭思考模式的详细教程 |
评测结果 (2026 年高考语文现代文阅读)
完整评测报告（含测试题目、各模型逐题回答及评分明细）已上传至本仓库的 yuwen测评/ 目录。
测试标准
Table with columns: 项目, 说明| 项目 | 说明 |
|---|
| 题目来源 | 2026 年普通高等学校招生全国统一考试（全国 I 卷）语文 |
| 测试范围 | 现代文阅读（阅读 I 信息类文本 5 题 + 阅读 II 文学类文本 4 题，共 9 题） |
| 满分 | 39 分（选择题 15 分 + 简答题 24 分） |
| 测试时间 | 2026-07-07 / 2026-07-10 / 2026-07-11 |
| 测试模型数 | 11 个（yuwen 全系列 + Qwen3.5-0.8B 基座对比） |
| 阅卷评判官 | GLM-5.2 |
| 评分维度 | 答题规范性、长文本处理、基础理解、常识储备、信息准确性、深度分析（每维度 10 分，满分 60 分） |
排名总览
Table with columns: 排名, 模型, 6维度总分(60), 答题得分(39), 得分率, 选择题正确率| 排名 | 模型 | 6维度总分(60) | 答题得分(39) | 得分率 | 选择题正确率 |
|---|
| 🥇 1 | yuwen-v3-q4 | 47 | 28 | 71.8% | 5/5 (100%) |
| 🥈 2 | yuwen-assistant† | 41 | 21 | 53.8% | 4/5 (80%) |
| 🥉 3 | yuwen-v2 |
† yuwen-assistant 并非微调模型，而是通过提示词工程（Prompt Engineering）在 Qwen3-0.6B 基础上实现的语文问答助手，未进行任何权重微调，在此作为对比基准参与评测。
关键发现
- yuwen-v3-q4 一骑绝尘：选择题 5/5 全对，总分 47 分远超第二名，是唯一能在文学类文本中准确辨析列文与聂赫留朵夫差异的模型。
- 量化即正则化：Q4 量化的"压缩效应"最显著地抑制了过度推理；Q8 部分缓解了过度推理，选择题从 1/5 提升到 3/5。
- Q5 与 Q8 特长完全互补：Q5 的 6 维度总分（28 分）略高于 Q8（27 分），但两者强项完全不同——
- Q5 在文学常识题（Q6）全对（常识储备 6/10）
- Q8 在信息类文本题（Q1/Q2）全对
- Q5 选择题对错模式：Q3✅ Q6✅ Q7✅ / Q1❌ Q2❌（文学类全对，信息类全错）
- Q8 选择题对错模式：Q1✅ Q2✅ Q7✅ / Q3❌ Q6❌（信息类全对，文学类全错）
- 文学常识是普遍短板：11 个模型中仅
v3-q4、assistant 和 v3-q5 能在 Q6 中正确识别"忏悔感"的错误。v3-q5 在此题的辨析尤为精彩，准确区分了列文的"情感共鸣/劳动愉悦"与聂赫留朵夫的"道德忏悔/道德觉醒"。
完整评测报告（含逐题评分、各模型详细回答）请见 yuwen测评/2026测试结果汇总.md。
V3 各量化版本对比
Table with columns: 特性, F32, Q4_K_M, Q5_K_M, Q8_0| 特性 | F32 | Q4_K_M | Q5_K_M | Q8_0 |
|---|
| 文件大小 | ~2.8 GB | ~505 MB | ~551 MB | ~774 MB |
| 最小内存需求 | ~3.2 GB | ~600 MB | ~650 MB | ~1.0 GB |
| 答题得分 (满分 39) | 14 (35.9%) | 28 (71.8%) | 15 (38.5%) | 16 (41.0%) |
|
Q5 vs Q8 详细对比
Table with columns: 维度, Q5_K_M, Q8_0, 优势方| 维度 | Q5_K_M | Q8_0 | 优势方 |
|---|
| 6 维度总分 | 28 | 27 | Q5 略优 |
| 答题得分 | 15 | 16 | Q8 略优 |
| 选择题正确率 | 3/5 (60%) | 3/5 (60%) | 持平 |
| 选择题对错模式 | Q3✅ Q6✅ Q7✅ | Q1✅ Q2✅ Q7✅ | 互补 |
| 常识储备 |
选择建议：侧重文学类文本 / 文学常识选 Q5；侧重信息类文本阅读选 Q8。两者总分接近，特长互补。日常使用仍首推 Q4（全面碾压所有版本）。
推荐选择
Table with columns: 场景, 推荐版本, 文件, 理由| 场景 | 推荐版本 | 文件 | 理由 |
|---|
| ⭐ 日常使用 / 部署 | Q4 量化版 | yuwen-v3-q4_k_m.gguf + Modelfile.q4 | 体积仅 F32 的 1/5，评测成绩远优于全精度版 |
| 文学常识强 / 精度平衡 | Q5 量化版 | yuwen-v3-q5_k_m.gguf + Modelfile.q5_k_m | 比 Q4 仅大 9%，5-bit 精度保留更多细节，文学常识突出 |
| 信息类文本 / 平衡选择 | Q8 量化版 | + |
Ollama 部署
# F32 全精度版
ollama create yuwen-v3 -f Modelfile.f32
ollama run yuwen-v3
# Q4 量化版（推荐日常使用）
ollama create yuwen-v3-q4 -f Modelfile.q4
ollama run yuwen-v3-q4
# Q5 量化版（文学常识强 / 精度平衡）
ollama create yuwen-v3-q5 -f Modelfile.q5_k_m
ollama run yuwen-v3-q5
# Q8 量化版（信息类文本 / 平衡选择）
ollama create yuwen-v3-q8 -f Modelfile.q8_0
ollama run yuwen-v3-q8
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model = AutoModelForCausalLM.from_pretrained(
"lemonbucket/yuwen-v3",
torch_dtype=torch.float32,
device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("lemonbucket/yuwen-v3")
messages = [
{"role": "system", "content": "你是yuwen-v3，由柠檬桶基于Qwen3.5-0.8B微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。"},
{"role": "user", "content": "请分析《荷塘月色》中通感手法的运用。"},
]
text = tokenizer.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=1024,
temperature=0.3,
top_k=20,
top_p=0.85,
)
print(tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
系统提示词
你是 yuwen-v3，由柠檬桶基于 Qwen3.5-0.8B 微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。
关于思考模式 (Thinking Mode)
重要：由于微调时训练数据中未包含思维链 (<think>) 相关内容，模型的思维链输出存在异常。强烈推荐关闭思考模式使用。
所有 GGUF 文件均已通过二进制补丁从根源关闭思考模式（将 chat_template 中 enable_thinking 条件硬编码为 false），无需用户手动配置，开箱即用。
如需了解补丁原理或手动操作，请参阅 关闭模型思考模式指南.md。
许可证
Apache 2.0（继承自 Qwen3.5 基座模型）
使用时需同时遵守 Apache 2.0 协议 及 Qwen 模型许可条款。
关于作者
我是刚接触模型微调的新手，初次使用 Hugging Face 平台。如果仓库存在不规范之处，还请通过邮件反馈：575244421@qq.com，不胜感激！
致谢