jaqmd-qe-gemma-4-e2b-it API & Inference Endpoint

入力はチャットテンプレートの user ターンにクエリをそのまま渡す (system prompt は使用していない)。出力はキー順 lex -> vec -> hyde 固定の compact JSON 文字列。

markdown
user:  木魚
model: {"lex":[...],"vec":"...","hyde":"..."}

ベースモデルはデフォルトで thinking が有効だが、本モデルは thinking なし (JSON 直答) で学習している。推論時は明示的に無効化すること。

transformers: apply_chat_template(..., enable_thinking=False)
llama.cpp: --reasoning false を使うこと。 --chat-template-kwargs '{"enable_thinking":false}' は Gemma 4 の同梱チャットテンプレートの既知の不具合(enable_thinking の分岐が逆転している)により効かない/不安定なビルドがある。 --reasoning false はテンプレートのレンダリングに依存せず推論パラメータ側で reasoning を止めるため、こちらを使う。

gguf/ 以下に llama.cpp / Ollama 用の量子化済み GGUF を同梱。

markdown
user:  木魚
model: {"lex":[...],"vec":"...","hyde":"..."}

ベースモデルはデフォルトで thinking が有効だが、本モデルは thinking なし (JSON 直答) で学習している。推論時は明示的に無効化すること。

transformers: apply_chat_template(..., enable_thinking=False)
llama.cpp: --reasoning false を使うこと。 --chat-template-kwargs '{"enable_thinking":false}' は Gemma 4 の同梱チャットテンプレートの既知の不具合(enable_thinking の分岐が逆転している)により効かない/不安定なビルドがある。 --reasoning false はテンプレートのレンダリングに依存せず推論パラメータ側で reasoning を止めるため、こちらを使う。

gguf/ 以下に llama.cpp / Ollama 用の量子化済み GGUF を同梱。

jaqmd-qe-gemma-4-e2b-it