GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
Huanuyn
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
Huanuyn
Model Tree
Qwen/Qwen3-8B
Input Modalities
Output Modalities
Supported Functionality
| 文件 | 说明 |
|---|---|
adapter_model.safetensors / adapter_config.json | LoRA 适配器（peft 格式，r=32, alpha=64，目标模块 q/k/v/o/gate/up/down） |
anon-lora-f16.gguf | GGUF 版适配器（llama.cpp / ollama ADAPTER 直接挂载用） |
system_prompt_anon.txt | 人设 system prompt（训练与推理一致，建议始终使用） |
rag_service.py | RAG+重排+聊天 一体化服务（OpenAI 兼容端点 /v1/chat/completions） |
kb_docs.jsonl | 世界知识库（182 条：人物/剧情/活动/歌曲/卡牌/设定） |
docs/ | 技术过程文档 + 新手部署指南 |
unsloth/Qwen3-8B-unsloth-bnb-4bit（NF4；合并/导出必须用同一量化基座）python
from unsloth import FastLanguageModelfrom peft import PeftModelmodel, tokenizer = FastLanguageModel.from_pretrained(model_name="unsloth/Qwen3-8B-unsloth-bnb-4bit",max_seq_length=2048, load_in_4bit=True,)model = PeftModel.from_pretrained(model, "你的仓库/anon-mygo-qwen3-8b-lora")FastLanguageModel.for_inference(model)# system prompt 用 system_prompt_anon.txt；建议 temperature 0.7 / top_p 0.9 / repeat_penalty 1.1
bash
ollama pull qwen3:8b-q8_0 # 或自建 Q8 GGUF 基座cat > Modelfile <<'EOF'FROM qwen3:8b-q8_0ADAPTER ./anon-lora-f16.ggufPARAMETER temperature 0.7PARAMETER top_p 0.9PARAMETER repeat_penalty 1.1SYSTEM """<粘贴 system_prompt_anon.txt 全文>"""EOFollama create anon-mygo:q8_0 -f Modelfileollama run anon-mygo:q8_0
需要 ollama 模型 qwen3-embedding:0.6b 与 qwen3-reranker-causal:q8_0（因果版 GGUF，制作方法见 docs/DEPLOY_GUIDE.md 2.3 节）：
bash
python3 rag_service.py build # 构建知识库向量索引python3 rag_service.py chat # 命令行聊天python3 rag_service.py serve 8377 # HTTP 服务（含 OpenAI 兼容端点，可直接接 AstrBot 等客户端）
事实类问题由 RAG+重排序回答（注入阈值 P(yes)≥0.95），语气与人设由 LoRA 负责——这是刻意分工：事实不进权重，避免知识性过拟合。
本仓库为粉丝技术实践。训练语料来源于游戏官方剧情文本（仅用于个人学习），未包含在发布包中。请遵守 Bushiroad 二次创作准则。