GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
zapp926
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
zapp926
Model Tree
Qwen/Qwen3.8-27B
Input Modalities
Output Modalities
Supported Functionality
1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0已验证环境：Python 3.12、PyTorch 2.11.0+cu128、Transformers 5.16.1、PEFT 0.20.0、Accelerate 1.14.0、bitsandbytes 0.50.2。示例使用包内 safe_loader.py 做 NF4 逐分片加载，建议准备 24 GB 或更大的 NVIDIA 显存，并留出主存和磁盘余量。
bash
python -m pip install "torch==2.11.0" --index-url https://download.pytorch.org/whl/cu128python -m pip install "transformers==5.16.1" "peft==0.20.0" "accelerate==1.14.0" "bitsandbytes==0.50.2" "huggingface_hub==1.30.0"hf download zapp926/Qwen3.8-27B-Munger-LoRA --local-dir ./munger-lorapython munger-lora/example_chat.py "普通投资者最应该避免什么错误？"示例会自动下载固定 revision 的基座并加载本仓库的适配器，使用 prompts.json 中的默认提示词。已有同版本基座时可加 --base-dir /path/to/Qwen3.8-27B，临时加载目录可用 --offload-dir 指定。请保留包内的加载器、分词器和 prompts.json。
也可以用 Transformers + PEFT 集成到自己的应用中。推荐关闭思考模式，使用 temperature=0.7、top_p=0.9、max_new_tokens=500，多轮对话时保留之前的消息。
Apache-2.0。原书、训练数据和测试题不随适配器发布。