morizon
qwen3-4b-structured-output-lora_0710_run_3-step450
Dedicated EndpointsRun this model inference on single tenant GPU with unmatched speed and reliability at scale.
ContainerRun this model inference with full control and performance in your environment.
Get help setting up a custom Dedicated Endpoints.
Talk with our engineer to get a quote for reserved GPU instances with discounts.
Model provider
morizon
Model tree
Qwen/Qwen3-4B-Instruct-2507
README
License: apache-2.0学習目的
このアダプタは、構造化出力の生成を目的として学習されています。
このRunの実験上の問いは、マニフェストに記録された次の内容です。
対象を絞ったクリーンで長いCSV→JSONリプレイによって、コンテキスト長2048での TOML／XMLの改善を維持しながら、コンパクトなCSV→JSONの性能を回復できるか。
この学習パイプラインは、2026-07-10 Run 2で導入したデータ監査、リプレイ選択、
再現性マニフェスト、公開評価データ分離の設計を継承しています。
損失は最後のassistant応答のみに適用されます。MASK_COT=0 であるため、この実験では、
出力マーカー以降で中間推論がマスクされたとは主張しません。
データ
ベースデータセット
- データセット:
daichira/structeval-t-sft-hq-yaml-cleaned
- リビジョン:
e73a755d3b50bd3ac38c99c1ede87ca9b3139cba
- 役割: 既存のYAML構造化出力学習分布
- データセットライセンス: Apache-2.0
対象を絞ったリプレイデータセット
- データセット:
daichira/structured-5k-mix-sft
740e82f5bb5ae31c9b0f9c2fa15f78bbcaf3dbe2フィルター:
- category:
C_JSON
- subcategory:
csv_to_json
- task:
transform
選択されたリプレイ行数: 79実際の混合データに占める教師ありトークンの割合: 10.0380%データセットライセンス: CC-BY-4.0リプレイの教師出力は、直接出力された有効なJSONであることを必須とし、
チャットテンプレート適用後の完全なシーケンスが、マニフェストに記録された
最大シーケンス長の範囲内に収まることも求めました。
学習設定
- ベースモデル:
Qwen/Qwen3-4B-Instruct-2507
- 手法: Unslothを用いた4ビットQLoRA
- 最大シーケンス長: 2048
- 学習予算方式:
epochs
- 要求エポック数: 5.0
- 実際の最終ステップ数: 620
- 実際の最終エポック: 5.0000
- ウォームアップ方式:
ratio
- ウォームアップ比率: 0.1
- 実際のウォームアップステップ数: 62
- 学習率: 1e-06
- スケジューラー: cosine
- 重み減衰: 0.05
- 実効バッチサイズ: 16
- LoRAランク: 64
- LoRAアルファ: 128
- 精度: BF16
評価データ方針
public_150.json は読み込まず、学習、リプレイ構築、チェックポイント選択、
早期終了のいずれにも使用していません。最終的な外部評価専用として確保しています。
使用方法
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_model_id = "Qwen/Qwen3-4B-Instruct-2507"
adapter_id = "morizon/qwen3-4b-structured-output-lora_0710_run_3-step450"
tokenizer = AutoTokenizer.from_pretrained(base_model_id)
base_model = AutoModelForCausalLM.from_pretrained(
base_model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
)
model = PeftModel.from_pretrained(base_model, adapter_id)
再現性
このリポジトリには、dataset_manifest.json、training_summary.json、
選択された分割IDファイルが含まれます。これらには、データセットのリビジョン、
シード、トークン統計、リプレイ選択、要求した学習方針、実際の最終ステップ数が
記録されています。
利用条件
- ベースモデルのライセンスと利用条件
daichira/structeval-t-sft-hq-yaml-cleaned のApache-2.0の条件daichira/structured-5k-mix-sft のCC-BY-4.0の帰属表示条件
チェックポイント情報
- 学習ステップ: 450
- 実際の最終ステップ: 620
- 最終モデルか: いいえ
- 学習データ、データ分割、シード、学習率スケジュールは、
同じ実験内の他のチェックポイントと共通です。
- 公開150件は、学習、チェックポイント作成、
チェックポイント選択には使用していません。