GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
Takenoko12345678
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
Takenoko12345678
Model Tree
Qwen/Qwen3.5-0.8B
Input Modalities
Output Modalities
Supported Functionality
評価で実際に出た回答をそのまま載せています（思考なし、temperature 1.0 / top_k 20 / presence_penalty 2.0）。誤りも含めて載せています。
知識（短く答えさせる）
日本の首都はどこですか？ 短く答えてください。
東京
富士山の標高は約何メートルですか？ 短く答えてください。
約3,776メートル
「吾輩は猫である」の作者は？ 短く答えてください。
村上春樹（誤り。正しくは夏目漱石）
翻訳
次の英文を日本語に訳してください：I like reading books on rainy days.
「私は雨の日でも本を読むが好きです。」
提案
雨の日の過ごし方を3つ提案してください。
自然に囲まれ、音楽を楽しむ: 公園や自然の中を歩こうとして、雨の音に包まれた静かな時間を過ごす。音楽を聴きながら歩くことで心の落ち着きを高められます。
手作り日記をつける: 晴れた日と比較して、雨天の日の出来事を詳細に記録する。（以下略）
家族や友人と雨の日遊びをする: （以下略）
小さいモデルなので、文法の小さな誤りや、内容のちぐはぐさ（雨の日に公園を歩く提案など）が残ります。
同じ質問・同じ設定で、元の Qwen3.5-0.8B・途中の段階と比べました。評価の仕組みと全データは Pitcher プロジェクト にあります。
| Qwen3.5-0.8B（元） | 第1段階（蒸留後） | このモデル | |
|---|---|---|---|
| JCommonsenseQA（日本語の常識、5択・1,119問） | 41.7% | 48.4% | 69.4% |
| CommonsenseQA（英語の常識、5択・1,221問） | 36.0% | 36.0% | 49.8% |
| 一般常識30問（日本語） | 16 | 22 | 20 |
| 一般常識30問（英語、同じ内容） | 21 | 22 |
途中の版では、選択問題で答えずに選択肢の一覧を「1. 〇〇」と書き写し始める癖があり、JCommonsenseQA の約4割で「1番」と数えられていました。「番号だけ答えて」「はい・いいえで」のように答え方を指定する短い練習の例（800件、正解の位置を均等にしたもの）を足して、この癖を直しています。
| JCommonsenseQA（llama.cpp、f16） | 練習を足す前 | このモデル |
|---|---|---|
| 番号だけを答えさせた正答率 | 55.7% | 68.8% |
| 選択肢を書き写した割合 | 44.2% | 0% |
| 回答を「答え：」で始めさせ、次に出やすい番号で決めた正答率（答え方の癖を除いた知識の目安） | 69.9% | 68.4% |
| 選択肢の順番を5通りに入れ替えても、同じ中身を選んだ割合 | 45.5% | 33.3% |
選択肢の位置による偏りは残っています。 順番を入れ替えると答えが変わることが多く、後ろのほう（3番・5番）を選びやすい傾向があります。
日本語の自然さ・一貫性は、採点役のモデル（GPT-5.6 Luna）に5段階で採点させました（キャラ設定なしの会話100回答、回答の上限 2,048 トークン）。採点役の基準は採点する回ごとにぶれるため、同じ回で採点したものどうしだけを並べています。
| 同じ回での比較 | 日本語の自然さ | 前後の一貫性 | 質問への適合 |
|---|---|---|---|
| 元 → 第1段階（蒸留後） | 2.98 → 3.66 | 4.42 → 4.79 | 3.77 → 4.08 |
| 第1段階 → 第2段階（練習を足す前） | 2.99 → 3.34 | 4.50 → 4.62 | 3.96 → 3.66 |
| 練習を足す前 → このモデル | 3.31 → 3.04 | 4.59 → 4.34 | 3.64 → 3.65 |
transformers 5 系（5.17 で確認）を使ってください。重みは元のモデルと同じ形式（画像も扱える構造）ですが、学習・評価はテキストだけで行っています。
python
from transformers import AutoModelForImageTextToText, AutoTokenizerimport torch model_id = "Takenoko12345678/Qwen3.5-0.8B-Japanese-SFT"tok = AutoTokenizer.from_pretrained(model_id)model = AutoModelForImageTextToText.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto") messages = [{"role": "user", "content": "雨の日の過ごし方を教えて。"}]text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)inputs = tok(text, return_tensors="pt", add_special_tokens=False).to(model.device)out = model.generate(**inputs, max_new_tokens=512, do_sample=True, temperature=1.0, top_k=20, top_p=1.0)print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))2026-10-03 更新： チャットテンプレートを、思考モードを指定しても思考なしで始まるように直しました（このモデルは思考なしの形だけで学習しています）。LM Studio などで答えが「考え中（Thought）」の欄に表示される場合は、モデルをダウンロードし直してください
enable_thinking=False を必ず指定してください。 このモデルの学習はすべて思考なしで行っています。
vLLM（0.30）でも動きます（評価に使用）。
2段階とも、全部の重みを学習しました（フルファインチューニング。画像の部分は固定）。思考なしの会話形式で、応答部分だけを学習対象にしています。
| 学習データ | 件数 | 設定 | 環境 | |
|---|---|---|---|---|
| 第1段階（蒸留） | Takenoko12345678/Japanese-SFT-Qwen3.8-27B-10K と同じ作り方のデータ（回答は Qwen3.8-27B 製） | 10,027 | 学習率 1e-5、2エポック | Modal（H100） |
| 第2段階 | DeL-TaiseiOzaki/Tengentoppa-sft-v1.0 から選んだ 12,000件と、答え方の練習 800件 | 12,800 | 学習率 1e-5、1エポック | Modal（H100） |
第2段階のデータの作り方：
repeat_penalty 1.1 で 590回答中2件に減りました。max_tokens も設定してくださいmtp_num_hidden_layers: 1）なので、llama.cpp の新しい convert_hf_to_gguf.py で自分で変換するときは、config.json のこの値を 0 にしてから変換してください（そのままだと blk.24 が見つからないというエラーで読み込めない GGUF になります）。GGUF 版はこの方法で変換していますApache License 2.0。元のモデル Qwen/Qwen3.5-0.8B（Apache 2.0）の派生モデルです。
変更点：下記のデータで2段階のフルファインチューニングを行いました。チャットテンプレートとトークナイザーは元のモデルのものをそのまま使っています。
学習データ：
781a718ac17e070fb0135c5dbc3ac9ae7790758a）から行を選んで使用。変更点：利用条件を確認できた元データの行だけを選び、上記の条件で除外・採点・選別した。使った行の元データと件数：
| 中国語の混入（キャラ設定なしの会話、100回答） | 4% | 0% | 0% |
| 中国語の混入（作文、30回答） | 3% | 3% | 0% |
| 回答が 512 トークンで打ち切られた割合（作文） | 33% | 33% | 0% |
| 「私は AI なので」と断る回答（キャラ設定なしの会話） | 20% | 15% | 6% |