GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
Marvis12957
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
Marvis12957
Model Tree
unsloth/Qwen3.5-4B
Input Modalities
Output Modalities
Supported Functionality
| Hạng mục | Giá trị |
|---|---|
| Base model | unsloth/Qwen3.5-4B |
| Vị trí LoRA | q, v (2 module) |
| Rank (r) | 283 |
| Trainable params | 32,456,704 |
| Learning rate | 1e-4 |
| Epochs / steps | 2 / 30 |
| Precision | 16-bit |
| Metric | Giá trị |
|---|---|
| target accuracy | 0.970 |
| format validity | 1.000 |
| latency | 921.3 ms |
So với run correct (0.965), chênh lệch 0.005 trên n = 50 nằm trong nhiễu đo — không đủ để
kết luận vị trí gắn adapter nào tốt hơn. Kết luận rút ra: ngân sách tham số (rank × số vị
trí gắn) là đòn bẩy chính, không phải bản thân vị trí gắn LoRA — miễn ngân sách tham số
được giữ khớp.
python
from peft import PeftModelfrom transformers import AutoModelForCausalLM, AutoTokenizerBASE = "unsloth/Qwen3.5-4B"model = AutoModelForCausalLM.from_pretrained(BASE, device_map="auto")model = PeftModel.from_pretrained(model, "Marvis12957/ai_in_action_lab21_attn_only")