GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
k4rasu
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
k4rasu
Model Tree
Input Modalities
Output Modalities
Supported Functionality
python
from transformers import AutoModelForCausalLM, AutoTokenizer repo = "crowpilot/zundamon-tiny-llm"tok = AutoTokenizer.from_pretrained(repo)model = AutoModelForCausalLM.from_pretrained(repo) # small は subfolder="small" prompt = "Ａ：おはよう、ずんだもん！Ｂ："ids = tok(prompt, return_tensors="pt").input_ids # 先頭に <s> が付きますout = model.generate(ids, max_new_tokens=48, do_sample=False)print(tok.decode(out[0, ids.shape[1]:])) # 例: おはよー！ボクはいつも元気いっぱいなのだ！〈ふつう〉Ａ：（話しかけ）と Ｂ：（ずんだもん）で書きます。generation_config.json の終わりのトークンにタグを入れてあります）。8 種類は〈ふつう〉〈うれしい〉〈ドヤ〉〈びっくり〉〈かなしい〉〈ぷんぷん〉〈こまった〉〈ねむい〉です。<s> を置くと、いちばん安定します。llama2c/ に次のファイルがあります。
| ファイル | 中身 |
|---|---|
zundamon-v4-base_q8.bin、zundamon-v4-small_q8.bin | int8（グループ 32）。Core2 とブラウザ版の形式 |
zundamon-v4-*_fp32.bin | llama2.c 形式の FP32 |
tok.bin | llama2.c 形式のトークナイザ |
読み込み方はコードのリポジトリを見てください。気持ちタグ（語彙の 5〜12 番）は、返事の終わりの印として扱います。
話しかけ 201 個への返事を、Gemma 4 がモデル名を伏せて 1〜5 点で採点しました。比べたのは、前に公開していた版（v3、気持ちタグなし）です。
| モデル | 応答 | ならでは（決まり文句でないか） | 気持ちタグの一致 |
|---|---|---|---|
| v3 base（前の公開版） | 1.89 | 1.47 | — |
| v4 base | 2.80 | 2.11 | 75.2% |
| v4 small | 2.92 | 2.07 | 75.5% |
A very small Japanese chat model, trained from scratch, that answers in the style of Zundamon (unofficial, non-commercial fan work).
Prompt format：Ａ：<user>Ｂ：, with <s> placed before every exchange. The model ends each reply with one emotion tag such as 〈うれしい〉, and generation stops there.
Training data：about 70k single-turn exchanges written by Gemma 4 (Apache 2.0) and then filtered; each reply was also labeled with one of 8 emotions by Gemma. The dataset is not released.
Other formats：llama2c/ contains the int8 build for an ESP32 (M5Stack Core2) and for the browser demo.
from transformers import AutoModelForCausalLM, AutoTokenizer repo = "crowpilot/zundamon-tiny-llm"tok = AutoTokenizer.from_pretrained(repo)model = AutoModelForCausalLM.from_pretrained(repo) # small は subfolder="small" prompt = "Ａ：おはよう、ずんだもん！Ｂ："ids = tok(prompt, return_tensors="pt").input_ids # 先頭に <s> が付きますout = model.generate(ids, max_new_tokens=48, do_sample=False)print(tok.decode(out[0, ids.shape[1]:])) # 例: おはよー！ボクはいつも元気いっぱいなのだ！〈ふつう〉