qwen3-8b-scene-segmentation-lora

任务

• 输入: 编号段落 [P1]...[P2]...
• 输出: {"boundaries": [N]} — N 为切分位置（在段落 N 之后切）

示例

markdown
Copy code
输入:
  [P1] 下课铃响，教室里热闹起来。
  [P2] 她低头收拾书包。
  [P3] 我犹豫了一下，还是叫住了她。
  [P4] 十分钟后，我们并肩走在校门外的街道上。

输出:
  {"boundaries": [3]}   ← P3后切scene（教室→校门外）

加载

python
Copy code
from transformers import AutoModelForCausalLM
from peft import PeftModel

base = AutoModelForCausalLM.from_pretrained(
    "mikuhhn1239/qwen3-8b-novel-base-sft",
    torch_dtype="auto", device_map="auto",
)
model = PeftModel.from_pretrained(
    base, "mikuhhn1239/qwen3-8b-scene-boundary-lora"
)

训练

markdown
Copy code
基座: Qwen3-8B-Novel-Base-SFT (Stage1 全参 SFT, 72K 小说续写数据)
方法: LoRA (r=64, α=128, dropout=0.05)
数据: 350 条 (280 train / 35 val / 35 test)，Clean 标注
框架: transformers Trainer + PEFT
优化器: AdamW (adamw_torch_fused), cosine schedule, warmup=5%
epoch: 5 | LR: 1e-4 | batch: 1×16(accum) | bf16 | max_length: 4096

版本历史

结论

• 零基座 / +Stage1 全 0%：不做 Agent SFT 就不会场景边界检测 ✅
• scene-boundary: 3→5 epochs 后 F1 从 19.6% → 28.6%（+9pp）
• v2 F1 53.3% 但任务定义不同（含原因输出），不可直接对比