GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
sakamakismile
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
sakamakismile
Model Tree
llm-jp/llm-jp-4-33b-thinking
Input Modalities
Output Modalities
Supported Functionality
| 並列数 | 合計スループット |
|---|---|
| 1 | 43.1 t/s |
| 2 | 85.1 t/s |
| 4 | 167.3 t/s |
プリフィル単流: 3,597 tok/s（8kプロンプト・prefix cache無効・3回平均）
このモデルは OpenAI Harmony 形式（analysis / final チャンネル）で応答します。素のvLLMでは思考(analysis)が本文に混ざって返るため、公式cookbook の専用パーサを登録してから起動してください。本リポジトリに同梱してあります（llmjp4_reasoning_parser.py / example_cli.py）。
bash
# リポジトリのファイルがあるディレクトリでpython3 example_cli.py serve <このモデルのパス> \--served-model-name llmjp4 --trust-remote-code \--tensor-parallel-size 4 --max-model-len 32768 \--kv-cache-dtype fp8 --enable-prefix-caching \--reasoning-parser llmjp4
P2Pの無いボードでは NCCL_P2P_DISABLE=1 と --disable-custom-all-reduce を追加してください。
思考の深さはリクエストごとに指定できます:
json
"chat_template_kwargs": {"reasoning_effort": "low"} // low / medium / high
日本語の音韻課題（モーラ数え12語・俳句の音数走査3句・字余り検出）を、当環境の汎用27B（Qwen3.8-27B NVFP4）と並べて試した記録です。モデル2体・各課題1〜2回の小規模な検証であり、一般化はできません。判断は結果を見てご自身で。
出力例（effort=low・パーサで本文分離済み）:
潮騒に 足あと残す 夕焼けかな
llmjp4_tokenizer.py）は環境によって日本語を一文字ずつに分割します（「ありがとうございます」が11トークン）。生の tokenizer.json は正常（同じ語が1トークン）。キャリブレーションは生のtokenizer.jsonで行い、chat_templateだけtokenizer_config.jsonから移植しました。壊れたトークナイザでのキャリブは日本語品質を静かに損なうので、焼く前に必ず検問をllm-compressor NVFP4 (W4A4, group 16)、targets: [Linear]、ignore: ["lm_head"]、キャリブレーション 32サンプル × 8192トークン（neuralmagic/calibration）。
🙏 LLM-jp（モデルと公式パーサ）、vLLM / llm-compressor の各チームに感謝します。