GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
DandelionConvention
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
DandelionConvention
Model Tree
Qwen/Qwen3-4B-Instruct-2507
Input Modalities
Output Modalities
Supported Functionality
| 项目 | 内容 |
|---|---|
| 基础模型 | Qwen/Qwen3-4B-Instruct-2507 |
| 数据类型 | bfloat16 |
| 上下文长度 | 原生支持 262,144（建议日常对话使用 4K–32K） |
| 对话模板 | ChatML（`< |
| 文件 | 说明 |
|---|---|
model-*.safetensors | 完整权重（bfloat16） |
config.json / tokenizer* / chat_template.jinja | 模型与分词器配置 |
generation_config.json | 推荐推理参数（请保持默认以获得最佳效果） |
infer.py | 开箱即用的命令行多轮对话脚本 |
Modelfile | Ollama 导入用的 Modelfile |
Qwen3-Sex-BF16.gguf | 未量化 GGUF（BF16，约 8 GB） |
Qwen3-Sex-Q8_0.gguf | Q8_0 量化 GGUF（约 4.3 GB） |
[!IMPORTANT]
generation_config.json中的参数是经过调优后推荐使用的配置，强烈建议保持默认。
json
{ "do_sample": true, "temperature": 0.7, "top_p": 0.8, "repetition_penalty": 1.08, "max_new_tokens": 2048, "eos_token_id": [151645, 151643], "pad_token_id": 151643, "bos_token_id": 151643}infer.py（推荐）仓库内已附带交互式命令行脚本，自动加载模型并按 generation_config.json 中的参数推理，开箱即用：
bash
# 安装依赖（建议使用 uv 创建虚拟环境）uv venvsource .venv/bin/activateuv pip install torch transformers accelerate # 启动对话python infer.py[!TIP] 输入
clear清空多轮对话历史，输入exit或quit退出。
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig MODEL_NAME = "ystemsrx/Qwen3-Sex" tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True,)model.eval() # 加载推荐推理配置（保持默认即可获得最佳效果）gen_config = GenerationConfig.from_pretrained(MODEL_NAME) messages = [ {"role": "user", "content": "你好，简单介绍一下你自己。"},] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, return_tensors="pt", return_dict=True,).to(model.device) with torch.inference_mode(): output_ids = model.generate(**inputs, generation_config=gen_config) response = tokenizer.decode( output_ids[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True,)print(response)仓库中提供了 GGUF 格式模型文件（Qwen3-Sex-BF16.gguf 和 Qwen3-Sex-Q8_0.gguf），可直接通过 Ollama 加载：
bash
# 使用仓库内的 Modelfile 创建模型ollama create Qwen3-Sex -f Modelfile # 启动对话ollama run Qwen3-Sex[!CAUTION] GGUF 格式（尤其是 Q8_0 量化版）相比原始 safetensors 权重，推理质量会有所下降，部分细节、长上下文连贯性以及生成的稳定性可能不如直接使用
infer.py。如果对生成质量有较高要求，请优先使用方式一或方式二。
[!CAUTION] 下载或使用本模型即表示您已阅读、理解并同意以下全部条款。如不同意，请立即停止下载和使用。
本模型遵循 Apache License 2.0 协议，并继承基础模型 Qwen/Qwen3-4B-Instruct-2507 的相关许可条款。
{ "do_sample": true, "temperature": 0.7, "top_p": 0.8, "repetition_penalty": 1.08, "max_new_tokens": 2048, "eos_token_id": [151645, 151643], "pad_token_id": 151643, "bos_token_id": 151643}# 安装依赖（建议使用 uv 创建虚拟环境）uv venvsource .venv/bin/activateuv pip install torch transformers accelerate # 启动对话python infer.pyimport torchfrom transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig MODEL_NAME = "ystemsrx/Qwen3-Sex" tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained( MODEL_NAME, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True,)model.eval() # 加载推荐推理配置（保持默认即可获得最佳效果）gen_config = GenerationConfig.from_pretrained(MODEL_NAME) messages = [ {"role": "user", "content": "你好，简单介绍一下你自己。"},] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, return_tensors="pt", return_dict=True,).to(model.device) with torch.inference_mode(): output_ids = model.generate(**inputs, generation_config=gen_config) response = tokenizer.decode( output_ids[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True,)print(response)# 使用仓库内的 Modelfile 创建模型ollama create Qwen3-Sex -f Modelfile # 启动对话ollama run Qwen3-Sex