GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
Duy007
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
Duy007
Model Tree
unsloth/Qwen3.5-4B
Input Modalities
Output Modalities
Supported Functionality
| Run | target | regression | format | latency (ms) |
|---|---|---|---|---|
| (a) base + naive prompt | 0.000 | 0.758 | 0.000 | 3205 |
| (b) base + optimized prompt | 0.765 | 0.758 | 1.000 | 1038 |
| (c) LoRA fine-tune (adapter này) | 0.975 | 0.700 | 1.000 | 1397 |
Cổng hồi quy 4 nhóm: FAILED — target thắng mạnh (+0.210 so với baseline đã prompt
tối ưu) nhưng regression tụt 0.058 trên 15 câu hỏi kiến thức phổ thông, vượt ngưỡng dung
sai ±0.020. Đây là dấu hiệu catastrophic forgetting nhẹ, không phải lỗi pipeline —
phân tích đầy đủ (nguyên nhân, lỗi hệ thống ở trường urgency, đề xuất khắc phục bằng
1-5% replay data) nằm trong submission/REPORT.md mục 5–7.
python
from peft import PeftModelfrom transformers import AutoModelForCausalLM, AutoTokenizerbase_id = "unsloth/Qwen3.5-4B"tok = AutoTokenizer.from_pretrained(base_id)model = AutoModelForCausalLM.from_pretrained(base_id, dtype="auto")model = PeftModel.from_pretrained(model, "Duy007/lab21-2A202602011-qwen35-triage-vi")messages = [{"role": "system", "content": "Phân loại ticket sau."},{"role": "user", "content": "Alo shop, mình đặt balo laptop mã đơn VN411453. Cho tôi trả lại. Đã 3 ngày rồi."},]inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")out = model.generate(inputs, max_new_tokens=64)print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))
adapter_model.safetensors, adapter_config.json — adapter LoRA đã train (correct run)results/ — toàn bộ JSON + runs.csv dùng để grader đối chiếu chéo với reportsubmission/REPORT.md — báo cáo đầy đủ 7 mục theo rubricBài lab gốc: hieutrungdao/Day21-Track3-Finetuning-Lab