Cấu hình huấn luyện
Giống hệt run correct (cùng vị trí text-linear, cùng rank 16, cùng 32,464,896 tham số) —
chỉ khác duy nhất learning rate = 1e-5 thay vì 1e-4 (learning rate quy mô full
fine-tuning, quá thấp cho LoRA).
Table with columns: Hạng mục, Giá trị| Hạng mục | Giá trị |
|---|
| Base model | unsloth/Qwen3.5-4B |
| Vị trí LoRA | text-linear (12 module) |
| Rank (r) | 16 |
| Learning rate | 1e-5 (sai — nên là 1e-4) |
| Epochs / steps | 2 / 30 |
Kết quả đánh giá (n = 50 mẫu target)
Table with columns: Metric, Giá trị| Metric | Giá trị |
|---|
| target accuracy | 0.000 |
| format validity | 0.000 — không sinh nổi một JSON hợp lệ nào |
| latency | 5243.8 ms (gấp 3.6 lần run đúng — model sinh văn bản dài, không dừng đúng chỗ) |
Vì sao vẫn push lên Hub
Final training loss của run này (1.5704) cao hơn correct (~0.627) nhưng không NaN, không
phân kỳ — nhìn thoáng qua chỉ có vẻ "hơi kém". Chỉ khi đánh giá trên tập target mới lộ ra
model hỏng hoàn toàn. Adapter này được giữ lại làm minh hoạ cho bài học: loss cuối không
phải thước đo đủ tin cậy để đánh giá một run fine-tuning.