GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
lemonbucket
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
lemonbucket
Model Tree
Qwen/Qwen3.5-0.8B
Input Modalities
Output Modalities
Supported Functionality
本仓库是 yuwen-v3 的 LoRA 适配器权重，基于 Qwen/Qwen3.5-0.8B 进行 LoRA 微调，专为语文阅读理解答题场景优化。
合并后的完整模型请前往 lemonbucket/yuwen-v3
| 项目 | 说明 |
|---|---|
| 模型 | Qwen/Qwen3.5-0.8B |
| 参数量 | ~0.8B |
| 架构 | Qwen3.5 (混合线性注意力 + 全注意力) |
| 参数 | 值 |
|---|---|
| 微调方式 | LoRA (PEFT) |
| 秩 (r) | 64 |
| Alpha | 128 |
| Dropout | 0.1 |
| 目标模块 | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| 任务类型 | Causal LM |
| 训练轮数 | 8 Epochs (376 steps) |
| 批次大小 | 1 × 8 (梯度累积) |
| 学习率 | 1e-4 |
目标模块覆盖范围: Attention 全部 4 个投影 (q/k/v/o_proj) + MLP 全部 3 个投影 (gate/up/down_proj)，共 7 个线性层。
注: 从 Step 90 后验证损失开始上升 (0.28→0.30→0.32)，说明第 2 个 Epoch 后开始过拟合。
python
from transformers import AutoModelForCausalLM, AutoTokenizerfrom peft import PeftModel# 加载基座模型base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.5-0.8B",torch_dtype="auto",trust_remote_code=True,)tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-0.8B", trust_remote_code=True)# 加载 LoRA 适配器model = PeftModel.from_pretrained(base_model, "lemonbucket/yuwen-v3-lora")# 推理messages = [{"role": "system", "content": "你是yuwen-v3，由柠檬桶基于Qwen3.5-0.8B微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。"},{"role": "user", "content": "请分析《荷塘月色》中通感手法的运用。"},]text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)inputs = tokenizer(text, return_tensors="pt")outputs = model.generate(**inputs, max_new_tokens=1024, temperature=0.3, top_k=20, top_p=0.85)print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Apache 2.0（继承自 Qwen3.5 基座模型）
| 预热比例 | 5% |
| 最大序列长度 | 1024 |
| 精度 | F32 |
| 设备 | Apple Silicon MPS |