GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
Tuannt1601
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
Tuannt1601
Model Tree
unsloth/Qwen3.5-4B
Input Modalities
Output Modalities
Supported Functionality
| Run | target | regression | format | latency (ms) |
|---|---|---|---|---|
| base + naive prompt | 0.000 | 0.758 | 0.000 | 3238.9 |
| base + optimized prompt | 0.765 | 0.758 | 1.000 | 1051.7 |
| LoRA fine-tune (adapter này) | 0.970 | 0.678 | 1.000 | 1438.3 |
Verdict cổng hồi quy: FAILED — fine-tune thắng xa trên target (+0.205) nhưng regression
(năng lực chung, không liên quan task) tụt 0.080, vượt ngưỡng chịu đựng 0.02. Nguyên nhân cụ
thể: model bị collapse vào khuôn JSON của task triage kể cả khi gặp câu hỏi phổ thông không
liên quan. Chi tiết đầy đủ, bao gồm phân tích 4 run đối chứng (vị trí adapter, learning rate,
QLoRA) và ví dụ định tính: xem submission/REPORT.md trong repo này.
Khuyến nghị: chưa nên deploy thẳng — cần trộn thêm dữ liệu phổ thông vào tập train để chống quên trước khi dùng thật.
python
from peft import PeftModelfrom transformers import AutoModelForCausalLM, AutoTokenizerbase = AutoModelForCausalLM.from_pretrained("unsloth/Qwen3.5-4B")tok = AutoTokenizer.from_pretrained("unsloth/Qwen3.5-4B")model = PeftModel.from_pretrained(base, "Tuannt1601/lab21-2A202601330-qwen35-triage-vi")
https://github.com/Tuannt04/Day21-Track3-Finetuning-Lab-2A202601330-NguyenThuaTuan