GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
xidrug
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
xidrug
Model Tree
Qwen/Qwen3.5-9B
Input Modalities
Output Modalities
Supported Functionality
Qwen/Qwen3.5-9B。bash
pip install -U huggingface_hubhf download xidrug/qwen3.5-9b-kh-trade-logistics-merged-v1 \--local-dir ./qwen3.5-9b-kh-trade-logistics-merged-v1
模型由四个 safetensors 分片组成，合计约 18.8 GB。下载目录必须保留全部权重分片、 权重索引、配置和 tokenizer 文件。本模型已合并 Adapter，不需要再加载 QLoRA 文件。
python
import torchfrom transformers import AutoModelForImageTextToText, AutoTokenizermodel_id = "xidrug/qwen3.5-9b-kh-trade-logistics-merged-v1"tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)model = AutoModelForImageTextToText.from_pretrained(model_id,torch_dtype=torch.bfloat16,device_map="auto",trust_remote_code=True,)
安装较新版本的 vLLM 和 BitsAndBytes 后，单张 24GB 显卡可采用 4-bit 在线量化加载：
bash
pip install -U vllm bitsandbytesvllm serve xidrug/qwen3.5-9b-kh-trade-logistics-merged-v1 \--served-model-name qwen3.5-9b \--host 127.0.0.1 \--port 8000 \--dtype bfloat16 \--quantization bitsandbytes \--gpu-memory-utilization 0.90 \--max-model-len 4096
--quantization bitsandbytes 会在加载时将 bf16 合并权重进行 4-bit 在线量化。完整的
本地部署说明和 YAML 配置位于项目 GitHub 仓库的 docs/MODEL_USAGE.md 与
configs/serve_vllm_merged.yaml。本地 API 服务地址为 http://127.0.0.1:8000/v1，
模型名称为 qwen3.5-9b。
模型适合作为 RAG 辅助的贸易物流问答流程组件。对于实时政策、税率、汇率、价格、 口岸状态、运输轨迹和时效等动态信息，应先检索最新业务知识库、权威公告或业务系统， 并保留人工复核。
JSON 提取专项在现有独立测试中的合法 JSON 比例为 0.00%，因此需要严格 JSON 输出时， 应增加结构化样本、输出校验或约束解码。
项目数据来源、构建过程和评测协议见项目 GitHub 仓库。模型按 Apache-2.0 发布； 使用者应同时遵守基座模型及其上游数据来源的相关要求。