GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
mayflowergmbh
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
mayflowergmbh
Model Tree
Qwen/Qwen3.5-2B
Input Modalities
Output Modalities
Supported Functionality
Decision Models kommen bisher fast alle aus dem Englischen. Wer ihnen deutsche Texte vorlegt, bekommt Antworten von einem Modell, das Deutsch eher aus dem Urlaub kennt. Wir wollten einen Decider, der „Kündigungsbestätigungsschreiben“ ohne Schnappatmung liest.
Den deutschen Trainingsdatensatz
johannhartmann/decisions-de gab es
dafür noch nicht, also haben wir ihn gebaut, ganz wie es sich gehört: mit mehr Aufwand als geplant
und einer Tabelle zur Lizenzprüfung. Grundlage sind die Train-Splits aus
hotchpotch/bekko-system-one-dataset-v0. Übersetzt hat Claude, Sonnet für Fragen und Optionen und
Haiku für die Falltexte. Josev hat Deutsch also streng
genommen bei einer KI gelernt, die Deutsch als Fremdsprache spricht. Das erklärt einiges.
Was man ihm dabei anmerkt:
card_arrival, entailment), damit die Labels gültig
bleiben. Die Beschreibungen sind Deutsch. Denglisch by Design, wie in jedem deutschen Büro.Ein Decision Model ist im Herzen ein Klassifikator, wie damals BERT mit seinem [CLS]-Kopf. Nur
stehen seine Klassen nicht bei der Geburt fest, sondern kommen mit jedem Request. Es ist auch kein
Chatbot: Es schreibt keine drei Absätze mit Disclaimer, sondern gibt eine Verteilung zurück.
Der Name System One klingt nach Kahnemans System 1, und das passt: schnell und intuitiv. Ein
Forward-Pass, und die Antwort meldet stolz "output_tokens": 0.
Das Protokoll ist die System-One-/Jev-API /v1/systemone: ein state (Text, JSON, auf Wunsch
Bilder) und questions in drei Typen.
| Typ | Was | Antwort |
|---|---|---|
noul | Ja/Nein-Aussage | noul: P(wahr) |
choice | eine aus N Optionen (Keys frei wählbar) | choice, probabilities |
score | geordnete Skala | erwarteter score, pro Stufe |
Technisch ist Josev Qwen/Qwen3.5-2B (über
unsloth/Qwen3.5-2B) mit QLoRA und einem neuen
Clef-Joint-Schema-Head, der alle Optionen aller Fragen gemeinsam bewertet, trainiert in Unsloth
Studio. Das Repo-Layout ist identisch mit Cloudflares Clef-Releases
(Cloudflare/clef-flash), inklusive des
unveränderten joint_schema_model.py. Josev lädt mit plain transformers, Unsloth ist nicht nötig.
Veröffentlicht von Mayflower GmbH. Nicht verbandelt mit Cloudflare, Qwen oder Unsloth, wir stehen nur auf ihren Schultern.
python
import sys from huggingface_hub import snapshot_download path = snapshot_download("mayflowergmbh/Josev-2B")sys.path.insert(0, path)from joint_schema_model import load_release_model, systemone model, processor = load_release_model(path, device="cuda") def josev(state, questions): return systemone(model, processor, {"model": "josev-2b", "state": state, "questions": questions})["answers"]Die folgenden Ausgaben sind echt und gekürzt. Sie kommen aus genau diesem Code und nicht aus der Fantasie des Model-Card-Autors.
python
josev( {"nachricht": "Meine neue Karte ist immer noch nicht da, dabei habe ich sie vor zwei Wochen bestellt."}, {"intent": {"type": "choice", "instructions": "Welches Anliegen hat der Bankkunde?", "criteria": {"card_arrival": "Karte noch nicht angekommen", "lost_or_stolen_card": "Karte verloren oder gestohlen", "card_not_working": "Karte funktioniert nicht", "exchange_rate": "Wechselkurs", "transfer_not_received": "Überweisung nicht angekommen"}}},)# intent: card_arrival (0.9998)Die Option-Keys sind frei wählbar, die Beschreibungen erklären sie. Ein neues Label braucht kein
Retraining, nur eine Zeile mehr in criteria. BERT wäre neidisch.
python
josev( {"kommentar": "Du bist so ein Vollpfosten, lösch einfach deinen Account."}, {"beleidigend": {"type": "noul", "instructions": "Ist der Kommentar beleidigend?"}, "aktion": {"type": "choice", "instructions": "Was soll die Moderation tun?", "criteria": {"keep": "stehen lassen", "warn": "Nutzer verwarnen", "delete": "löschen"}}},)# beleidigend: noul 0.86 · aktion: delete (0.90)Beide Fragen werden in einem Forward-Pass beantwortet und sehen einander. Deshalb heißt es Joint-Schema-Head.
python
josev( {"text": "Ich habe die Prüfung bestanden!!! Ich kann es immer noch nicht glauben."}, {"emotion": {"type": "choice", "instructions": "Welche Emotion drückt der Text vor allem aus?", "criteria": {"joy": "Freude", "surprise": "Überraschung", "anger": "Wut", "sadness": "Traurigkeit", "fear": "Angst"}}},)# emotion: joy (0.96), surprise (0.04)Die 4 % Überraschung sind fair, der Kandidat konnte es ja selbst nicht glauben.
python
josev( {"praemisse": "Josef trinkt jeden Morgen zwei Tassen Kaffee, bevor er ins Büro geht.", "hypothese": "Josef trinkt keinen Kaffee."}, {"relation": {"type": "choice", "instructions": "Folgt die Hypothese aus der Prämisse, widerspricht sie ihr oder ist sie neutral?", "criteria": {"entailment": "folgt daraus", "neutral": "neutral", "contradiction": "Widerspruch"}}},)# relation: contradiction (0.995)Josev kennt Josef offenbar gut.
python
josev( {"text": "Die Wuppertaler Schwebebahn wurde 1901 eröffnet. Sie hängt an einem Stahlgerüst über der " "Wupper und befördert täglich rund 80.000 Fahrgäste.", "frage": "Wann wurde die Schwebebahn eröffnet?"}, {"antwort": {"type": "choice", "instructions": "Welche Antwort wird durch den Text gestützt?", "criteria": {"a": "1891", "b": "1901", "c": "1950", "d": "Das steht nicht im Text."}}},)# antwort: b (0.998)python
josev( {"frage": "Wie koche ich ein weiches Ei?", "antwort_a": "Ei in kochendes Wasser geben, 6 Minuten kochen, dann kalt abschrecken.", "antwort_b": "Eier sind ein vielseitiges Lebensmittel und reich an Proteinen."}, {"besser": {"type": "choice", "instructions": "Welche Antwort ist hilfreicher?", "criteria": {"a": "Antwort A", "b": "Antwort B", "tie": "Beide gleich gut"}}},)# besser: a (0.74), b (0.19), tie (0.07)Richtig, aber nicht übermütig. Bei Geschmacksfragen ist Josev vorsichtig, und das ist gewollt.
FastDecisionModel.from_pretrained("mayflowergmbh/Josev-2B") lädt das Modell und wendet
zusätzlich die Temperaturen pro Fragetyp aus unsloth_decision_config.json an (choice 1,13,
score 0,88, noul 0,67; Unsloth speichert sie in genau dieser Reihenfolge). Cloudflares Loader
ignoriert die Datei. Das ist halb so wild: Die globale
Temperatur (1,56) ist schon in die Head-Gewichte eingebacken, also sind beide Wege kalibriert.
Die Typ-Temperaturen sind Feinschliff (ECE zu Hause 0,031 → 0,024).mayflowergmbh/Josev-2B-GGUF
(Q8_0, Q6_K, Q4_K_M, BF16), llama-server mit /v1/systemone, llama.cpp b11443 oder neuer.
Q8_0 schafft auf der decisions-de-Validation 0,845, PyTorch 0,842.Getestet mit torch 2.13 und transformers 5.5.
Gemessen am fertigen Modell mit Cloudflares Loader (bf16, plain transformers):
| Eval-Set | Fälle | Entscheidungen | Accuracy | Ganzer Fall richtig | ECE |
|---|---|---|---|---|---|
decisions-de Validation (Heimspiel) | 565 | 1.215 | 0,842 | 0,750 | 0,031 |
| Deutsches Decision-Index-0.3-Sample (lokal, s. u.) | 1.525 | 13.307 | 0,793 | 0,413 | 0,190 |
Nach Fragetyp (Validation): noul 0,940 · choice 0,769 · score 0,588. Ja/Nein kann er richtig
gut. Bei Skalen ist er noch etwas unentschlossen, was für einen Decider fast schon Ironie ist.
Unsloth Studios Held-out-Check (400 Entscheidungen): Accuracy 0,503 → 0,848, ECE 0,138 → 0,042. Vorher war Josev ein Münzwurf mit Extraschritten, nachher ein Decider.
decisions-de mischt 90 Quellen: Intent-Erkennung, NLI,
Leseverstehen, Moderation, Emotionen, Präferenzurteile, Logik und regelbasierte Entscheidungen. Dort
ist Josev zu Hause. Aufgaben, die nicht im Training vorkamen, sind Glückssache. 2B Parameter sind
eben 2B Parameter.choice/noul-Fragen reduziert, die
die Übersetzung überleben (35 Benchmarks). Die meisten davon sind binäre Ja/Nein-Fragen, also
bitte nicht mit dem offiziellen Leaderboard vergleichen. Das Set ist nicht weitergebbar und
wurde nie zum Training benutzt.| Basis | unsloth/Qwen3.5-2B, 4-Bit geladen (QLoRA), nach dem Training in eine bf16-Kopie gemergt |
| Head | neuer Clef-Joint-Schema-Head (Breite 512, 2 Routing- + 4 Decoder-Layer, 8 Heads) |
| Daten | johannhartmann/decisions-de Version 1 (Tag v1), Config all, Split train (19.286 Zeilen) |
| LoRA | r 64, alpha 64, dropout 0, q/k/v/o/gate/up/down, Sprach- und Vision-Layer |
| Optimizer | adamw_torch, lr 1e-4, linear, 5 Warmup-Steps, Weight Decay 0,01 |
| Batch |
Die Gewichte stehen wie das Basismodell unter Apache-2.0 (LICENSE). joint_schema_model.py ist
Cloudflares Apache-2.0-Referenzcode, unverändert.
Die Trainingsdaten behalten die Lizenzen ihrer Quellen (CC-BY, CC-BY-SA, MIT, Apache-2.0 u. a.; siehe Dataset-Card). Darin stecken maschinell übersetzte Moderationsdaten, Josev hat also auch anstößige Inhalte gesehen. Irgendwie muss er ja lernen, sie zu erkennen.
probabilities| 16 × 2 Gradient Accumulation |
| Länge | max_seq_length 4096 |
| Ablauf | 2 Epochen, 1.194 Steps |
| Ziel | Soft Cross-Entropy auf die Gold-Verteilungen |
| Kalibrierung | Temperaturen auf Held-out-Daten gefittet |
| Hardware | 1 × RTX A6000, 72 Minuten, 12,4 GB Peak. Kürzer als manches Meeting, das zu keiner Entscheidung führt. |