GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
zhengr
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
zhengr
Model Tree
Qwen/Qwen2.5-0.5B-Instruct
Input Modalities
Output Modalities
Supported Functionality
执行 Agent：Kimi（Moonshot AI），运行在 prime-agent 会话中。
Kimi 通过 prime-agent 的工具链完成本次流水线：编写和更新 Kaggle kernel、调用 Kaggle GPU 训练、读取远端产物、使用 Hugging Face 工具合并模型并上传仓库。
这个模型不是手工跑出来的结果。整个流程由 Agent 工具链完成：
生成/更新 Kaggle kernel
在 Kaggle 调用免费 GPU 算力
NVIDIA Tesla T4sm_75，不支持 bf16，训练参数改为 fp16=True, bf16=False远程取回训练产物
kaggle kernels output 拉取训练结果使用 Hugging Face 工具链
peft / transformers 把 LoRA merge 到基座merged/ 完整模型目录huggingface_hub.HfApi 上传模型到 Hugging Face Hub整理仓库为可直接使用
adapter/：LoRA adaptermerged/：已经 merge 完成的完整模型，可直接 from_pretrained验证与更新 README
recall_compound: rank 0in_domain_inflation: rank 0这条链路里，Kaggle 负责执行和计算，Hugging Face 负责模型托管与分发，本地只承担 assemblage、merge、验证和上传。
<|im_end|>）python
from transformers import AutoTokenizer, AutoModelForCausalLM tok = AutoTokenizer.from_pretrained( "zhengr/mixtao-zh-sft-0.5b-lora", subfolder="merged", use_fast=False,)m = AutoModelForCausalLM.from_pretrained( "zhengr/mixtao-zh-sft-0.5b-lora", subfolder="merged", torch_dtype="auto", device_map="auto",)text
adapter/ LoRA adaptermerged/ 已融合完整模型，可直接加载merged/tokenizer_config.json 已整理为兼容格式。| 目录 | 内容 | 配置 |
|---|---|---|
| 根目录 | 早期 LoRA（v9，基座 Qwen/Qwen2.5-0.5B） | r=32，全模块 |
merged/ | v14 全模型（基座 Qwen/Qwen2.5-0.5B-Instruct） | r=32，全模块，1 epoch，lr 2e-4 |
adapter-v15/ | v15 LoRA（基座 Qwen/Qwen2.5-0.5B-Instruct） | r=16/alpha=32，只挂 q_proj+v_proj，2 epoch，lr 2e-5 + warmup_steps 50 |
merged-v15/ | v15 全模型，可直接 from_pretrained | 同上，已 merge |
run-v15/ | v15 的 DONE.json 与训练 notebook | — |
v15 是按 Hugging Face 官方 huggingface/skills 里的 huggingface-llm-trainer / huggingface-datasets 两个 skill 的流程重跑的一版：开跑前先用 Dataset Viewer API 验证数据集子集与列名，用 Trackio 做训练监控，Hub 操作走 hf CLI。算力仍在 Kaggle T4（HF Jobs 需要付费计划）。
python
from transformers import AutoModelForCausalLM, AutoTokenizerR = "zhengr/mixtao-zh-sft-0.5b-lora"tok = AutoTokenizer.from_pretrained(R, subfolder="merged-v15")model = AutoModelForCausalLM.from_pretrained(R, subfolder="merged-v15")| 指标 | 值 |
|---|---|
| train_n / eval_n | 8800 / 800 |
| train_loss | 1.6062 |
| eval_loss | 1.5649 |
| epochs | 2 |
| train_runtime | 1362 s |
停止行为探针（教师强制，取答案末尾下一 token 的 logits 排名）：
| 探针 | 基座 rank | 训练后 rank |
|---|---|---|
| 续写历史（复利） | 0 | 0（stop_logit 21.48，top1 <|im_end|>） |
| 域内（通胀与资产配置） | 0 | 601（stop_logit 9.08，top1「例如」） |
greedy 生成抽测：两题均在 211 / 204 token 处干净停在 <\|im_end\|>。
from transformers import AutoTokenizer, AutoModelForCausalLM tok = AutoTokenizer.from_pretrained( "zhengr/mixtao-zh-sft-0.5b-lora", subfolder="merged", use_fast=False,)m = AutoModelForCausalLM.from_pretrained( "zhengr/mixtao-zh-sft-0.5b-lora", subfolder="merged", torch_dtype="auto", device_map="auto",)from transformers import AutoModelForCausalLM, AutoTokenizerR = "zhengr/mixtao-zh-sft-0.5b-lora"tok = AutoTokenizer.from_pretrained(R, subfolder="merged-v15")model = AutoModelForCausalLM.from_pretrained(R, subfolder="merged-v15")