GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
steven0226
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
steven0226
Model Tree
unsloth/Qwen3-8B
Input Modalities
Output Modalities
Supported Functionality
| # | 組別 | overall EM | overall F1 | JSON 合法率 |
|---|---|---|---|---|
| 1 | base zero-shot（原廠） | 0.4756 | 0.6858 | 95.62% |
| 2 | base few-shot（3-shot） | 0.8253 | 0.9191 | 99.98% |
| 3 | 本 adapter（未量化 bf16） | 0.9325 | 0.9704 | 100% |
| 4 | 本 GGUF（Q8_0） | 0.9328 | 0.9706 | 100% |
| 5 | 本 GGUF（Q4_K_M，部署建議） | 0.9330 | 0.9700 | 100% |
n=4,699（DRCD 官方 dev split 完整題目，3,524 可回答 + 1,175 unanswerable）。 量化幾乎沒有吃掉微調效果（組3→組5 EM 幾乎沒有下降）。詳細方法論、TMMLU+ forgetting check（macro accuracy 掉 12.25 個百分點）、錯誤案例分析見專案 EVAL_REPORT.md。
unsloth/Qwen3-8B（LoRA 實際合併/推論用的起點權重；跟官方
Qwen/Qwen3-8B 同源，
unsloth 版本額外做了 tokenizer 修正）enable_thinking=False
（非思考模式）python
from transformers import AutoModelForCausalLM, AutoTokenizerfrom peft import PeftModelimport torchbase = AutoModelForCausalLM.from_pretrained("unsloth/Qwen3-8B", dtype=torch.bfloat16, device_map="cuda")model = PeftModel.from_pretrained(base, "steven0226/Qwen3-8B-DRCD-zhTW-QA-LoRA")tokenizer = AutoTokenizer.from_pretrained("steven0226/Qwen3-8B-DRCD-zhTW-QA-LoRA")messages = [{"role": "system", "content": '你是精確的閱讀理解助手。根據「文章」回答「問題」：\n- 答案必須是文章中的連續原文片段，一字不改\n- 若文章中找不到答案，answer 填空字串、answerable 填 false\n- 只輸出 JSON：{"answer": "...", "answerable": true|false}'},{"role": "user", "content": "文章：...\n\n問題：..."},]prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)inputs = tokenizer(prompt, return_tensors="pt").to(model.device)out = model.generate(**inputs, max_new_tokens=128, do_sample=False)print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
量化部署版（GGUF，含 llama.cpp / Ollama / LM Studio 用法）： steven0226/Qwen3-8B-DRCD-zhTW-QA-GGUF
unsloth/Qwen3-8B 授權 Apache-2.0，歸屬 Qwen team / unsloth完整專案（Colab QLoRA → 本機合併/量化 → Ollama/LM Studio 部署 → 五組評估）：見對應 GitHub repo（README/DESIGN 定稿）。