Gebruik
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("kamoo-ai/kamoo-one-135m")
model = AutoModelForCausalLM.from_pretrained("kamoo-ai/kamoo-one-135m")
prompt = "De gemeente heeft besloten dat"
out = model.generate(**tok(prompt, return_tensors="pt"), max_new_tokens=60)
print(tok.decode(out[0]))
Of met vLLM:
vllm serve kamoo-ai/kamoo-one-135m --max-model-len 1024
Architectuur
Table | |
|---|
| Parameters | 135M (125,9M excl. tied lm_head) |
| Architectuur | decoder-only, Llama-compatibel (RMSNorm, RoPE, GQA, SwiGLU) |
| Dimensie / lagen | 768 / 16 |
| Attention | GQA, 12 heads / 4 kv-heads |
| FFN | 2.048 |
| Context | 1.024 tokens |
| Tokenizer | kamoo-bpe-32k (32.768, puur Nederlands) |
| Precisie | bfloat16 |
Trainingsdata: het v0.8-corpus
7,3 miljard tokens (geschat op 4,45 tekens per token), 100% Nederlands,
12 bronnen met per bron gedocumenteerde licentie en herkomst. Verdeling
uit het trainingsrapport:
Table with columns: Categorie, Tokens, Aandeel, Bronnen| Categorie | Tokens | Aandeel | Bronnen |
|---|
| Webteksten | 4,9 mld | 67,4% | FineWeb-2 NL (hq + full), ODC-BY |
| Kranten | 0,8 mld | 11,1% | KB open kranten via GPT-NL, CC-BY-4.0 |
| Overheid & recht | 0,65 mld | 9,0% | rechtspraak, officiële bekendmakingen, Woo-documenten, Tweede Kamer, raadsinformatie (GPT-NL, CC-BY-4.0) |
| Wikipedia | 0,57 mld | 7,9% | Nederlandse Wikipedia, CC-BY-SA |
De filterpipeline (taal, kwaliteit, OCR-ruis, per bron gekalibreerd,
exacte en near-dedup) is gedocumenteerd; elk filterbesluit staat met
motivatie in versiebeheer. Er zit geen synthetische data in de pretrain.
Metingen
- Validatie-perplexity: 22,1 op held-out Nederlandse tekst uit dezelfde
corpusverdeling (eigen tokenizer; perplexity is alleen vergelijkbaar
binnen dezelfde tokenizer).
- Tokenizer-efficiëntie: een identieke Nederlandse alinea (388 tekens,
eerste alinea van het Wikipedia-artikel "Nederland") kost 73 kamoo-tokens
tegen 88 bij de tokenizer van ChatGPT (o200k_base) en 115 bij OLMo 2,
met een vocabulaire dat 6× kleiner is. Alinea, script en meetlog:
kamoo-ai/tokenizer-benchmark.
Grenzen, eerlijk
- Geen brede parametrische feitenkennis: feiten horen uit meegegeven
context of documenten te komen.
- Geen meerstaps-redeneren zoals grote frontier-modellen.
- Alleen Nederlands (bewuste keuze).
- Context is 1.024 tokens; knip langere tekst in delen.
- Als basismodel volgt het geen instructies; het zet tekst voort.
Herkomst en AI Act
Vanaf nul getraind op eigen hardware in Nederland (~3×10¹⁹ FLOPs
trainingscompute; ruim onder de indicatieve GPAI-drempel van 10²³ FLOPs
uit de EU AI Act-richtsnoeren). Deze model card en het
databronnenoverzicht publiceren we vrijwillig.
English summary
kamoo-one-135m is a 135M-parameter decoder-only Dutch language model,
trained from scratch on 7.3B exclusively Dutch tokens with a custom Dutch
32k BPE tokenizer, on our own hardware in the Netherlands. It is a
base model (not instruction-tuned), Llama-compatible, Apache-2.0 licensed,
with fully documented training-data provenance per source. Built by
kamoo as the entry-level tier of a sovereign Dutch
model family.
kamoo · kamoo.nl · platform.kamoo.nl · gemaakt en getraind in Nederland