GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
keyvan-ai
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
keyvan-ai
Model Tree
Input Modalities
Output Modalities
Supported Functionality
Ollama / llama.cpp — GGUF, CPU-fähig:
bash
ollama run hf.co/keyvan-ai/Mankei-Boarisch:Q4_K_M
vLLM — Transformers-Gewichte, GPU:
bash
vllm serve keyvan-ai/Mankei-Boarisch
| Quantisierung | Größe | Datei |
|---|---|---|
| f16 | 2,0 GB | Mankei-Boarisch-f16.gguf |
| Q8_0 | 1,1 GB | Mankei-Boarisch-q8_0.gguf |
| Q6_K | 854 MB | Mankei-Boarisch-q6_k.gguf |
| Q5_K_M | 728 MB | Mankei-Boarisch-q5_k_m.gguf |
| Q4_K_M | 637 MB | Mankei-Boarisch-q4_k_m.gguf |
python
from transformers import AutoModelForCausalLM, AutoTokenizerimport torchtok = AutoTokenizer.from_pretrained("keyvan-ai/Mankei-Boarisch")m = AutoModelForCausalLM.from_pretrained("keyvan-ai/Mankei-Boarisch", dtype=torch.bfloat16).eval()msgs = [{"role": "user", "content": "Servus, wia geht's da heid?"}]enc = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True)out = m.generate(**enc, max_new_tokens=120, do_sample=True,temperature=0.4, top_p=0.9, min_p=0.05, repetition_penalty=1.1)print(tok.decode(out[0][enc["input_ids"].shape[1]:], skip_special_tokens=True))
Empfohlenes Sampling: temperature 0.4 · min_p 0.05 · repetition_penalty 1.1.
Ausgelegt auf bairische Konversation und Mundart. Für faktische Recherche und tagesaktuelle Auskünfte sind größere Modelle und RAG-Aufbauten die geeignete Wahl.
Continued Pretraining auf bairischem Wikipedia-Text (bar.wikipedia, CC-BY-SA), anschließend Supervised Fine-Tuning auf bairischen Dialogen, einem Persona-Set und Sicherheitsdaten. Basismodell: deutsches Mankei-1B. Trainiert auf offen lizenzierten und selbst erzeugten Daten.