GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
yumiao-dev
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
yumiao-dev
Model Tree
yumiao-dev/Yumiao-0.1B-Base
Input Modalities
Output Modalities
Supported Functionality
| 项 | 值 |
|---|---|
| 基座 | Yumiao-0.1B-Base（122,000 步，loss 2.96） |
| 数据 | 1,000 条身份问答（模板扩写自事实表）+ 3,000 条通用指令（alpaca-gpt4-data-zh，筛 30–900 字符） |
| 轮次 | 1 epoch，500 步 |
| 学习率 | 5e-5，余弦衰减，warmup 0 |
| 批大小 | 8 × 512 |
| 最终 loss | 2.43 |
| 硬件 | NVIDIA A10 24GB |
只在 assistant 片段计算 loss（prompt 部分 label 置 -100），并做了严格的标签右移一位处理，避免 token 泄露。
python
from transformers import AutoModelForCausalLM, AutoTokenizerimport torch mid = "yumiao-dev/Yumiao-0.1B-Chat"tok = AutoTokenizer.from_pretrained(mid)model = AutoModelForCausalLM.from_pretrained(mid, torch_dtype=torch.bfloat16, device_map="auto") msgs = [{"role": "user", "content": "你是谁？"}]ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)out = model.generate(ids, max_new_tokens=128, do_sample=True, temperature=0.8, top_p=0.9, repetition_penalty=1.2)print(tok.decode(out[0][ids.shape[-1]:], skip_special_tokens=True))推荐解码参数：temperature 0.7–0.8、top_p 0.9、repetition_penalty 1.15–1.3。
text
<s><|system|>{system}<|user|>{user}<|assistant|>{assistant}</s>tokenizer_config.json 内置 chat_template，与训练时逐字节一致。特殊 token：<pad>(0) <s>(1) </s>(2) <unk>(3) <|system|>(4) <|user|>(5) <|assistant|>(6)。
| 测试 | 结果 |
|---|---|
| "你是谁 / 谁训练的 / 多少参数" | 正确（2/2 抽样） |
| "1+1 等于多少" | 答 "2.0"（格式略怪但数值对） |
| "猫是什么 / 介绍一下重庆" | 句子通顺、内容笼统甚至有错 |
| NSFW / 敏感话题 | 多数会绕开或给出无意义回答（训练数据中几乎无此类语料） |
| 多轮对话 | 1–2 轮内可用，再长会丢失上下文 |
Apache-2.0
lm-evaluation-harness 0.4.9 · zero-shot · CPU fp32，与 Open LLM Leaderboard 同款脚本。完整报告、分数表、对话记录在 eval/。
| 任务 | 指标 | 随机基线 | GPT-2 124M | Yumiao-Base 100M |
|---|---|---|---|---|
| LAMBADA | 生成 acc ↑ | — | 32.56% | 20.57% |
| PIQA | acc ↑ | 50.0% | 62.89% | 59.52% |
| WinoGrande | acc ↑ | 50.0% | 51.62% | 51.07% |
| ARC-Easy | acc ↑ | 25.0% | 43.81% | 40.15% |
| SciQ | acc ↑ | 25.0% | 75.20% | 76.40% |
| C-Eval（中文） | acc ↑ | 25.0% | 23.18% | 23.63% |
| LAMBADA | ppl ↓ | — | 40.06 | 152.42 |
| WikiText-2 | ppl ↓ | — | 37.37 | 103.94 |
SFT 只花 4,000 条身份数据：中文身份问答明显优于 GPT-2（后者输出中文是 byte-BPE 乱码复读），但 WikiText-2 困惑度从 91.1 升到 103.9，存在过拟合。
架构：12 层 LLaMA 解码器 · d=768 · GQA (12 Q / 4 KV) · SwiGLU 2048 · RoPE · tied embedding
训练流水线：Tokenizer → 语料清洗 → 预训练 8B tokens → SFT → 发布
参数量构成：embedding 24.58M（与 LM head 共享）+ 12 层 75.52M
数据与吞吐
from transformers import AutoModelForCausalLM, AutoTokenizerimport torch mid = "yumiao-dev/Yumiao-0.1B-Chat"tok = AutoTokenizer.from_pretrained(mid)model = AutoModelForCausalLM.from_pretrained(mid, torch_dtype=torch.bfloat16, device_map="auto") msgs = [{"role": "user", "content": "你是谁？"}]ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)out = model.generate(ids, max_new_tokens=128, do_sample=True, temperature=0.8, top_p=0.9, repetition_penalty=1.2)print(tok.decode(out[0][ids.shape[-1]:], skip_special_tokens=True))