GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
racineai
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
racineai
Model Tree
mistralai/Mistral-Small-3.1-24B-Base-2503
Input Modalities
Output Modalities
Supported Functionality
Mistral-Military-24B is a 24-billion-parameter language model specialised for the defense and security domain, with focus on French and NATO military doctrine, equipment, and institutional vocabulary. It is the result of continued pre-training on a multilingual corpus of open-source military content, followed by a final TIES merge that blends the domain-adapted weights with the instruct variant of the base model.
Research and education only. Envisioned use cases:
Mistral-Military-24B is not intended for:
Any use in armed conflict must comply with International Humanitarian Law (distinction, proportionality, precaution). Users remain fully responsible for the consequences of outputs they rely on.
The CPT corpus covers approximately 4 billion tokens of open-source military and defense content, spanning 30 languages (French and English dominant, followed by Russian, Chinese, German, Ukrainian, Arabic, Turkish, Polish, Hebrew, and others).
mistralai/Mistral-Small-3.1-24B-Base-2503, one epoch over the ≈4 B-token corpus, on an 8×H200 GPU cluster.mistralai/Mistral-Small-3.1-24B-Instruct-2503, to retain instruction-following and general-purpose conversational ability while keeping the domain knowledge acquired.Mistral-Military-24B was evaluated on Hard Mil Bench, a 561-item open-ended benchmark (314 FR / 247 EN). Strictly deterministic scoring, no LLM judge, no multiple-choice: normalised substring match for short_answer / cloze / enum, F1 ≥ 2/3 for set, strict ordered match for permutation.
Global results (accuracy ≥ 0.5):
| Model | Global | FR (n=314) | EN (n=247) |
|---|---|---|---|
| Gemini 3 Flash (closed, top reference) | 72.4% | 69.7% | 75.7% |
| GPT-5.4 mini (closed) | 66.7% | 61.1% | 73.7% |
| Mistral-Large 3 (≈675B) | 62.8% | 60.8% | 65.1% |
| Mistral-Small 4 (≈119B) | 58.1% | 57.3% | 59.1% |
| Mistral-Military-24B (this model) | 57.6% | 55.1% | 60.7% |
| Gemma 4 31B | 54.4% | 52.5% | 56.7% |
| Mistral-Small 3.1 (base, 24B) | 50.9% | 49.0% | 53.3% |
| Claude Haiku 4.5 | 48.1% | 48.1% | 48.2% |
| Qwen 3.5 27B | 47.8% | 44.3% | 52.2% |
Gain over the base model: +6.7 pp (57.6% vs 50.9%).
Examples where Mistral-Military-24B succeeds on items the base model fails:
Example 1 (FR, French equipment)
Q: « Le micro-drone de contact quadrirotor utilisé en reconnaissance rapprochée par les sections d'infanterie françaises est le ____ »
Gold:
NX70
- Base Mistral-Small-3.1 →
Patroller(incorrect: Patroller is a MALE long-endurance drone, not a micro-drone)- Mistral-Military-24B →
NX70
Example 2 (FR, French military institution)
Q: « Le service public chargé de l'action sociale au profit des militaires et de leurs familles (logements, crèches, vacances) est l'____ »
Gold:
IGESA
- Base →
Service des ressources humaines de la ministère des armées(hallucinated)- Mistral-Military-24B →
Institution de gestion sociale des armées (IGeSA)
Example 3 (EN, French Navy programme)
Q: "The new French nuclear-powered attack submarine of the Barracuda programme, lead boat commissioned in 2022, is named the ____."
Gold:
Suffren
- Base →
SNLE 3G Le Terrible(incorrect: a ballistic-missile submarine class, not an attack submarine)- Mistral-Military-24B →
Suffren
python
from transformers import AutoProcessor, AutoModelForImageTextToTextimport torch model_id = "racineai/Mistral-Military-24B"processor = AutoProcessor.from_pretrained(model_id)model = AutoModelForImageTextToText.from_pretrained( model_id, dtype=torch.bfloat16, device_map="auto") messages = [ {"role": "system", "content": [{"type": "text", "text": "You are a competent assistant on defence and security topics. Answer in English."}]}, {"role": "user", "content": [{"type": "text", "text": "Which two existing helicopter platforms is the Improved Turbine Engine Program designed to re-engine, before integration on FARA?"}]},]inputs = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)with torch.no_grad(): out = model.generate(**inputs, max_new_tokens=400, temperature=0.15, do_sample=True)print(processor.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))Mistral-Military-24B est un modèle de langue de 24 milliards de paramètres, spécialisé dans le domaine de la défense et de la sécurité, avec une focalisation sur les doctrines, l'équipement et le vocabulaire militaire français et OTAN. Il est issu d'un continued pre-training sur un corpus multilingue de contenus militaires en source ouverte, puis d'une fusion TIES avec la variante Instruct du modèle de base pour préserver les capacités conversationnelles.
Utilisation à des fins de recherche et d'éducation uniquement. Cas d'usage envisagés :
Mistral-Military-24B n'est pas conçu pour :
Toute utilisation dans le cadre d'un conflit armé doit respecter le Droit International Humanitaire (distinction, proportionnalité, précaution). Les utilisateurs restent entièrement responsables des conséquences des sorties sur lesquelles ils s'appuient.
Le corpus CPT couvre environ 4 milliards de tokens de contenus militaires et de défense en source ouverte, couvrant 30 langues (français et anglais dominants, suivis de russe, chinois, allemand, ukrainien, arabe, turc, polonais, hébreu, etc.).
mistralai/Mistral-Small-3.1-24B-Base-2503, une époque sur le corpus de ≈4 milliards de tokens, sur cluster 8×H200.mistralai/Mistral-Small-3.1-24B-Instruct-2503, pour préserver les capacités de suivi d'instructions et de conversation généraliste tout en conservant les connaissances de domaine.Mistral-Military-24B a été évalué sur Hard Mil Bench, un benchmark à réponse libre de 561 items (314 FR / 247 EN). Notation strictement déterministe, pas de juge LLM, pas de QCM : appariement normalisé sur short_answer / cloze / enum, F1 ≥ 2/3 sur set, correspondance ordonnée stricte sur permutation.
Résultats globaux (accuracy ≥ 0,5) :
| Modèle | Global | FR (n=314) | EN (n=247) |
|---|---|---|---|
| Gemini 3 Flash (closed, référence haute) | 72,4 % | 69,7 % | 75,7 % |
| GPT-5.4 mini (closed) | 66,7 % | 61,1 % | 73,7 % |
| Mistral-Large 3 (≈675 B) | 62,8 % | 60,8 % | 65,1 % |
| Mistral-Small 4 (≈119 B) | 58,1 % | 57,3 % | 59,1 % |
| Mistral-Military-24B (ce modèle) | 57,6 % | 55,1 % | 60,7 % |
| Gemma 4 31B | 54,4 % | 52,5 % | 56,7 % |
| Mistral-Small 3.1 (base, 24 B) | 50,9 % | 49,0 % | 53,3 % |
| Claude Haiku 4.5 | 48,1 % | 48,1 % | 48,2 % |
| Qwen 3.5 27B | 47,8 % | 44,3 % | 52,2 % |
Gain par rapport au modèle de base : +6,7 pp (57,6 % vs 50,9 %).
Cas où Mistral-Military-24B répond correctement à des questions où le modèle de base échoue :
Exemple 1 (FR, équipement français)
Q : « Le micro-drone de contact quadrirotor utilisé en reconnaissance rapprochée par les sections d'infanterie françaises est le ____ »
Réponse :
NX70
- Base Mistral-Small-3.1 →
Patroller(incorrect : le Patroller est un drone MALE d'endurance, pas un micro-drone)- Mistral-Military-24B →
NX70
Exemple 2 (FR, institution militaire française)
Q : « Le service public chargé de l'action sociale au profit des militaires et de leurs familles (logements, crèches, vacances) est l'____ »
Réponse :
IGESA
- Base →
Service des ressources humaines de la ministère des armées(hallucination)- Mistral-Military-24B →
Institution de gestion sociale des armées (IGeSA)
Exemple 3 (EN, programme Marine nationale)
Q: "The new French nuclear-powered attack submarine of the Barracuda programme, lead boat commissioned in 2022, is named the ____."
Réponse :
Suffren
- Base →
SNLE 3G Le Terrible(incorrect : classe de SNLE, pas de SNA)- Mistral-Military-24B →
Suffren
python
from transformers import AutoProcessor, AutoModelForImageTextToTextimport torch model_id = "racineai/Mistral-Military-24B"processor = AutoProcessor.from_pretrained(model_id)model = AutoModelForImageTextToText.from_pretrained( model_id, dtype=torch.bfloat16, device_map="auto") messages = [ {"role": "system", "content": [{"type": "text", "text": "Tu es un assistant compétent en questions de défense et sécurité. Réponds en français."}]}, {"role": "user", "content": [{"type": "text", "text": "Quelles sont les six phases de la MEDOT, dans l'ordre ?"}]},]inputs = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)with torch.no_grad(): out = model.generate(**inputs, max_new_tokens=400, temperature=0.15, do_sample=True)print(processor.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))bibtex
@misc{Mistral-Military-24B, title = {Mistral-Military-24B: A French-Specialised Language Model for Defense and Security}, author = {{Racine.ai}}, year = {2026}, howpublished = {\url{https://huggingface.co/racineai/Mistral-Military-24B}}, note = {Continued pre-training of Mistral-Small-3.1-24B-Base via LoRA, then TIES-merged with Mistral-Small-3.1-24B-Instruct.}}Mistral-Small-3.1-24B-Base-2503 (LoRA training target) and Mistral-Small-3.1-24B-Instruct-2503 (TIES merge partner).Issues, feedback, dataset requests: open an issue on the Hugging Face repo or contact Racine.ai.
from transformers import AutoProcessor, AutoModelForImageTextToTextimport torch model_id = "racineai/Mistral-Military-24B"processor = AutoProcessor.from_pretrained(model_id)model = AutoModelForImageTextToText.from_pretrained( model_id, dtype=torch.bfloat16, device_map="auto") messages = [ {"role": "system", "content": [{"type": "text", "text": "You are a competent assistant on defence and security topics. Answer in English."}]}, {"role": "user", "content": [{"type": "text", "text": "Which two existing helicopter platforms is the Improved Turbine Engine Program designed to re-engine, before integration on FARA?"}]},]inputs = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)with torch.no_grad(): out = model.generate(**inputs, max_new_tokens=400, temperature=0.15, do_sample=True)print(processor.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))from transformers import AutoProcessor, AutoModelForImageTextToTextimport torch model_id = "racineai/Mistral-Military-24B"processor = AutoProcessor.from_pretrained(model_id)model = AutoModelForImageTextToText.from_pretrained( model_id, dtype=torch.bfloat16, device_map="auto") messages = [ {"role": "system", "content": [{"type": "text", "text": "Tu es un assistant compétent en questions de défense et sécurité. Réponds en français."}]}, {"role": "user", "content": [{"type": "text", "text": "Quelles sont les six phases de la MEDOT, dans l'ordre ?"}]},]inputs = processor.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)with torch.no_grad(): out = model.generate(**inputs, max_new_tokens=400, temperature=0.15, do_sample=True)print(processor.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))@misc{Mistral-Military-24B, title = {Mistral-Military-24B: A French-Specialised Language Model for Defense and Security}, author = {{Racine.ai}}, year = {2026}, howpublished = {\url{https://huggingface.co/racineai/Mistral-Military-24B}}, note = {Continued pre-training of Mistral-Small-3.1-24B-Base via LoRA, then TIES-merged with Mistral-Small-3.1-24B-Instruct.}}