GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
Alinajjaa
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
Alinajjaa
Model Tree
Qwen/Qwen2.5-1.5B-Instruct
Input Modalities
Output Modalities
Supported Functionality
Adaptateur LoRA qui apprend à Qwen/Qwen2.5-1.5B-Instruct le style du tuteur de l'application AI Study Assistant :
répondre à une question d'étudiant uniquement à partir d'un passage de son cours, en citant la page
([p.X]), et en adaptant l'explication au niveau indiqué :
269 exemples d'entraînement et 31 de test (questions jamais vues à l'entraînement), en français. Questions (définition, rôle, comparaison, exemple, « pourquoi ») et réponses idéales générées par un modèle enseignant (qwen2.5:7b) à partir de passages de cours, puis filtrées automatiquement (français, longueur adaptée au niveau, référence de page valide, pas d'hésitation). Aucune donnée d'étudiant ; emails et numéros masqués.
Format : conversation system (règles du tuteur) / user (Niveau de l'étudiant : … + extraits du cours +
question) / assistant (réponse). La perte n'est calculée que sur la réponse.
| Paramètre | Valeur |
|---|---|
| Quantification | 4 bits nf4, double quantification, calcul en float16 (QLoRA) |
| LoRA | r=16, alpha=32, dropout=0.05 |
| Modules | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| Époques | 3 |
| Taux d'apprentissage | 0.0002 (cosinus, 5 % de préchauffage) |
| Lot effectif | 16 (4 × 4 accumulations) |
| Longueur max | 1 024 jetons |
| Matériel | Google Colab, GPU T4 (15 Go) |
| Perte finale | entraînement 0.710, test 0.827 |
python
from peft import PeftModelfrom transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct")model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct", device_map="auto")model = PeftModel.from_pretrained(model, "Alinajjaa/study-tutor-qwen2.5-1.5b-lora")from peft import PeftModelfrom transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct")model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct", device_map="auto")model = PeftModel.from_pretrained(model, "Alinajjaa/study-tutor-qwen2.5-1.5b-lora")