GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
mmopiu
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
mmopiu
Model Tree
Qwen/Qwen2.5-7B-Instruct
Input Modalities
Output Modalities
Supported Functionality
在Linux、Python3.11、兼容CUDA的NVIDIA环境安装依赖。先确认PyTorch的CUDA支持，再安装其余固定依赖；24GB显存GPU上的实际加载结果将记录在GPU_ACCEPTANCE.json。
bash
python -m pip install -U huggingface_hubhf download mmopiu/huodian-qwen2.5-7b-full-sft-9to1-epoch2 --local-dir ./full_sft_epoch2python -m pip install -r ./full_sft_epoch2/requirements-inference.txtpython ./full_sft_epoch2/infer.py --model-dir ./full_sft_epoch2 --prompt '请简要解释深度调峰。'也可通过Transformers的AutoTokenizer.from_pretrained与AutoModelForCausalLM.from_pretrained加载仓库ID。使用BF16、trust_remote_code=False并通过tokenizer的聊天模板构造输入。实际支持的上下文上限按本checkpoint配置取32768 token。
model.safetensors.index.json：完整模型权重。config.json、生成配置、tokenizer、聊天模板：均取自被选中的原始best_model目录。infer.py：离线本地推理入口。SOURCE_INTEGRITY.json、selection_sealed.json、历史独立加载记录：来源与选点证据。F-E1.yaml：历史训练配置，保留历史路径作为记录，不能直接视为新环境训练入口。不含训练数据、优化器或续训状态。该发布用于推理和实验记录，不宣称完整重放历史训练。本轮已在RTX 4090 24GiB上完成BF16加载与64-token短问答验收，具体显存和耗时见验收记录。