Fiche technique
Table with columns: Champ, Valeur| Champ | Valeur |
|---|
| Architecture | GPT2 décodeur — n_layer=4, n_head=4, n_embd=128, n_ctx=128 |
| Paramètres | ~7,2 M (7 242 624) |
| Tokenizer | GPT2 BPE standard (vocab 50257) |
| Pré-entraînement | aucun (from scratch) |
| Entraînement | 80 epochs, AdamW lr 5e-4, ~3 min sur CPU, perte finale 0,167 |
| Format | safetensors (Hugging Face) et bebe-gpt-ca-titres.gguf (f16, 16 Mo) |
| Filières | VALEURS_MOBILIERES, EPARGNE_SALARIALE, EPARGNE_BANCAIRE, MOBILITE_BANCAIRE |
Utilisation dans LM Studio (GGUF)
Le GGUF embarque un template de chat. Dans l'onglet Chat, tape la demande
en français naturel et envoie — la filière sort :
passer un ordre d'achat sur une action -> VALEURS_MOBILIEREScloturer mon depot a terme -> EPARGNE_BANCAIRE
Régler Temperature = 0. Runtime CPU (avx2) recommandé.
Utilisation en complétion brute (llama.cpp / API)
Modèle de complétion : amorcer avec {demande} => (sans espace après le
=> — l'espace casse la tokenisation BPE), greedy.
prompt : "passer un ordre d'achat sur une action =>"sortie : " VALEURS_MOBILIERES"
Résultats
Sur un banc de 10 phrases tenues à l'écart de l'entraînement :
10/10 de bonne filière (en complétion brute et dans LM Studio).
Limites (le vrai enseignement)
- Aucun « je ne sais pas ». Hors domaine, il force une filière avec aplomb
(« quelle est la capitale de la France » → une filière au hasard). Il ne
comprend pas : il complète.
- Sur-apprentissage assumé sur 120 exemples ; sensible au format du prompt.
- Pas de garde-fous (ton, refus, sûreté) : c'est ce qu'un vrai LLM ajoute,
invisible sur 4 filières.
Données
120 demandes fictives, 4 filières équilibrées (30 chacune), 100 % neutres.
Licence
MIT. Fabriqué pour une formation GEN AI (Comundi / CA Titres).