GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
Marvis12957
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
Marvis12957
Model Tree
unsloth/Qwen3.5-4B
Input Modalities
Output Modalities
Supported Functionality
| Hạng mục | Giá trị |
|---|---|
| Base model | unsloth/Qwen3.5-4B |
| Vị trí LoRA | text-linear (12 module) |
| Rank (r) | 16 |
| Trainable params | 32,464,896 |
| Learning rate | 1e-4 |
| Epochs / steps | 2 / 30 |
| Train / val | 225 / 25 mẫu (seed 42) |
| Precision | 16-bit |
| Metric | Giá trị |
|---|---|
| target accuracy | 0.965 |
| format validity | 1.000 |
| latency | 1454.5 ms |
| regression (năng lực chung) | 0.4556 (base: 0.7578) |
Adapter này trượt cổng hồi quy: điểm regression (đo năng lực trả lời câu hỏi phổ thông ngoài phạm vi triage) rơi từ 0.7578 xuống 0.4556 sau fine-tune — mất 0.3022 điểm, gấp hơn 15 lần tolerance 0.020. Model giỏi sinh JSON triage nhưng đã mất gần 40% năng lực chung, nên không nên dùng làm assistant tổng quát. Khuyến nghị: chỉ gọi adapter này sau một bước router đã xác định đúng đây là ticket CSKH, hoặc trộn thêm dữ liệu phổ thông vào tập train rồi huấn luyện lại.
python
from peft import PeftModelfrom transformers import AutoModelForCausalLM, AutoTokenizerBASE = "unsloth/Qwen3.5-4B"tok = AutoTokenizer.from_pretrained(BASE)model = AutoModelForCausalLM.from_pretrained(BASE, device_map="auto")model = PeftModel.from_pretrained(model, "Marvis12957/ai_in_action_lab21")
Chi tiết đầy đủ (baseline, đối chứng cấu hình sai, phân tích định tính) trong báo cáo lab.