GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
steven0226
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
steven0226
Model Tree
unsloth/Qwen3-8B
Input Modalities
Output Modalities
Supported Functionality
| # | 組別 | overall EM | overall F1 | JSON 合法率 |
|---|---|---|---|---|
| 1 | base zero-shot（原廠） | 0.4756 | 0.6858 | 95.62% |
| 2 | base few-shot（3-shot） | 0.8253 | 0.9191 | 99.98% |
| 3 | 本 adapter（未量化 bf16） | 0.9325 | 0.9704 | 100% |
| 4 | 本 GGUF（Q8_0） | 0.9328 | 0.9706 | 100% |
| 5 | 本 GGUF（Q4_K_M，部署建議） | 0.9330 | 0.9700 | 100% |
n=4,699（DRCD 官方 dev split 完整題目，3,524 可回答 + 1,175 unanswerable，未抽樣）。 量化最多吃掉微調增益的 0.65%（EM，配對分層 bootstrap 的 95% CI 下界；點估計實際還 微幅為正）。不過量化並非 no-op：Q4 有 2.68% 題目的答案文字與未量化不同，只是變好 33 題、 變壞 35 題互相抵銷（McNemar p=0.90），所以整體指標看起來沒動。
詳細方法論、TMMLU+ forgetting check（全量 20,118 題，macro accuracy −3.32 個百分點）、 錯誤案例分析見專案 EVAL_REPORT.md。
unsloth/Qwen3-8B（LoRA 實際合併/推論用的起點權重；跟官方
Qwen/Qwen3-8B 同源，
unsloth 版本額外做了 tokenizer 修正）enable_thinking=False
（非思考模式）python
from transformers import AutoModelForCausalLM, AutoTokenizerfrom peft import PeftModelimport torch base = AutoModelForCausalLM.from_pretrained( "unsloth/Qwen3-8B", dtype=torch.bfloat16, device_map="cuda")model = PeftModel.from_pretrained(base, "steven0226/Qwen3-8B-DRCD-zhTW-QA-LoRA")tokenizer = AutoTokenizer.from_pretrained("steven0226/Qwen3-8B-DRCD-zhTW-QA-LoRA") messages = [ {"role": "system", "content": '你是精確的閱讀理解助手。根據「文章」回答「問題」：\n- 答案必須是文章中的連續原文片段，一字不改\n- 若文章中找不到答案，answer 填空字串、answerable 填 false\n- 只輸出 JSON：{"answer": "...", "answerable": true|false}'}, {"role": "user", "content": "文章：...\n\n問題：..."},]prompt = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)inputs = tokenizer(prompt, return_tensors="pt").to(model.device)out = model.generate(**inputs, max_new_tokens=128, do_sample=False)print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))量化部署版（GGUF，含 llama.cpp / Ollama / LM Studio 用法）： steven0226/Qwen3-8B-DRCD-zhTW-QA-GGUF
unsloth/Qwen3-8B 授權 Apache-2.0，歸屬 Qwen team / unsloth完整專案（Colab QLoRA → 本機合併/量化 → Ollama/LM Studio 部署 → 五組評估 + TMMLU+ 全量 forgetting check）：https://github.com/kuotunyu/local-llm-lifecycle （方法論總覽見 README，完整評估報告見 EVAL_REPORT.md）。
from transformers import AutoModelForCausalLM, AutoTokenizerfrom peft import PeftModelimport torch base = AutoModelForCausalLM.from_pretrained( "unsloth/Qwen3-8B", dtype=torch.bfloat16, device_map="cuda")model = PeftModel.from_pretrained(base, "steven0226/Qwen3-8B-DRCD-zhTW-QA-LoRA")tokenizer = AutoTokenizer.from_pretrained("steven0226/Qwen3-8B-DRCD-zhTW-QA-LoRA") messages = [ {"role": "system", "content": '你是精確的閱讀理解助手。根據「文章」回答「問題」：\n- 答案必須是文章中的連續原文片段，一字不改\n- 若文章中找不到答案，answer 填空字串、answerable 填 false\n- 只輸出 JSON：{"answer": "...", "answerable": true|false}'}, {"role": "user", "content": "文章：...\n\n問題：..."},]prompt = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)inputs = tokenizer(prompt, return_tensors="pt").to(model.device)out = model.generate(**inputs, max_new_tokens=128, do_sample=False)print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))