GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
ynanxiu
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
ynanxiu
Model Tree
Input Modalities
Output Modalities
Supported Functionality
这是一个基于 OLMo3 架构的 190M 参数中文预训练模型，完全从随机初始化（from scratch）开始训练，未依赖任何已有预训练权重。
cmz1024/llm101-olmo3-zh-demo-data（~93 万条中文序列）| 参数 | 值 |
|---|---|
| hidden_size | 768 |
| num_layers | 12 |
| num_heads | 12 |
| intermediate_size | 3072 |
| vocab_size | 48,000 |
| max_position_embeddings | 2048 |
| 注意力机制 | Sliding Window（每 4 层中 3 层）+ Full Attention（1 层） |
| 配置 | 值 |
|---|---|
| 优化器 | AdamW (β1=0.9, β2=0.95) |
| 学习率 | 5e-4（cosine decay） |
| Warmup | 2%（~320 steps） |
| 序列长度 | 2048 |
| Batch Size | 1 × 128 grad_accum（等效 128） |
| 精度 | bf16 |
| 总步数 | 7,675 |
| Eval Loss | 3.624 |
markdown
Step 500: eval_loss=5.307Step 1000: eval_loss=4.534Step 1500: eval_loss=4.243Step 2000: eval_loss=4.087Step 2500: eval_loss=3.986Step 3000: eval_loss=3.906Step 3500: eval_loss=3.841Step 4000: eval_loss=3.790Step 4500: eval_loss=3.747Step 5000: eval_loss=3.709Step 5500: eval_loss=3.678Step 6000: eval_loss=3.654Step 6500: eval_loss=3.637Step 7000: eval_loss=3.627Step 7500: eval_loss=3.624
初始 loss 10.92 → 最终 3.624，下降 66.8%。
python
from transformers import AutoModelForCausalLM, AutoTokenizerimport torchmodel = AutoModelForCausalLM.from_pretrained("ynanxiu/olmo3-190M-zh-full",torch_dtype=torch.bfloat16,attn_implementation="sdpa").to("cuda")tokenizer = AutoTokenizer.from_pretrained("ynanxiu/olmo3-190M-zh-full")prompt = "从前有座山，山里有座庙，"inputs = tokenizer(prompt, return_tensors="pt").to("cuda")outputs = model.generate(**inputs,max_new_tokens=100,do_sample=True,temperature=0.8,top_p=0.9,)print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Prompt: 从前有座山，山里有座庙，
生成: 庙里有一座庙宇，庙里有一棵大树。有一天早晨起来，发现一棵树上有个苹果树...两个大猴子在树下各捉一个，猴子在树上捉一个...
Prompt: 人工智能是
生成: 人工智能是未来的趋势，它给人类带来了新的机会。在人工智能领域，人工智能的潜力是非常大的...