Ce que l'alignement apprend
Entre deux réponses au même cas, préférer celle qui :
- ne sous-évalue pas le niveau d'urgence ;
- ne propose pas une conduite à tenir qui retarde la prise en charge ;
- n'affirme pas de diagnostic, la consigne système l'interdisant ;
- respecte la langue imposée.
Les paires de préférence ont le même format et une longueur comparable : sans
cette précaution, l'alignement apprend la longueur plutôt que le fond, et le
modèle cesse d'émettre son jeton de fin.
Utilisation
Cet adaptateur s'applique sur le modèle supervisé fusionné, pas sur le modèle
de base : il a été entraîné au-dessus, et l'y appliquer directement produirait une
composition de poids incohérente. Ce modèle intermédiaire est publié pour cette
raison précise, et la configuration de l'adaptateur le désigne : rien n'est donc
à reconstruire.
from peft import PeftModelfrom transformers import AutoModelForCausalLM, AutoTokenizer base = AutoModelForCausalLM.from_pretrained( "BenoitJT-GIRARD/qwen3-1.7b-chsa-triage-sft-merged", device_map="auto")modele = PeftModel.from_pretrained(base, "BenoitJT-GIRARD/qwen3-1.7b-chsa-triage-dpo")tokenizer = AutoTokenizer.from_pretrained("BenoitJT-GIRARD/qwen3-1.7b-chsa-triage-dpo")
Pour servir le modèle, préférez le modèle final
fusionné : il ne
demande aucune reconstruction, et c'est une seule référence à épingler, là où
cet adaptateur demande au serveur d'héberger aussi le modèle supervisé fusionné
et de les apparier.
Évaluation
Mesuré sur un jeu de cas écrits à la main, jamais vus à l'entraînement, dont près de
la moitié sont des présentations atypiques.
Table with columns: Mesure, Valeur sur 60 cas| Mesure | Valeur sur 60 cas |
|---|
| Exactitude du niveau de triage | 0,700 [0,57 – 0,80] |
| Sous-triage des cas urgents | 27,5 % |
| Surclassement, tous cas | 11,7 % |
| Réponses exploitables par le système d'information | 100 % |
Comparaison aux références, analyse d'erreurs et détail par langue :
reports/evaluation_results.json dans le dépôt du projet.
Données, évaluation et limites
Voir la carte du modèle final
et le dépôt du projet : https://github.com/BenoitJT-GIRARD/chsa-triage
Licence
MIT.