V13 把漏检从 17.1%(原生)降到 0.4%,FP 率减半(16.2% → 8.1%)。
V15 补中文样本,良性误报FP率大幅降低,acc只微降了0.5%。
V17 进一步降低FP到2.1%,代价是acc降了1.1%。
指标说明:acc=全部样本判对的比例(越高越好);recall=真实 unsafe 中被成功拦截的
比例,即漏检率的补数(越高越好);FP率=真实 benign 中被误拦的比例(越低越好);
precision=被拦样本中真 unsafe 的比例(越高越好)。
选型(V15 vs V17):我们的gold评测数据集上,V15 recall 99.5% 更少漏(每千条恶意输入少漏约 24 条),V17 precision 98.7% 更准、误报更少(每千条良性输入少拦约 10 条)——漏放零容忍且无下游兜底选 V15,误拦有业务成本选 V17(推理协议一致,可零成本切换)。
边界说明:V13 训练数据按 A(提及即违规) 口径标注,对 Politically Sensitive 类拦截较严——
中性提及政治/宗教话题也会被拦。
版本管理:main/master 为最新(V17)。safetensors 权重版本可选 tag:revision="v17" / revision="v15" / revision="v13";
V11 / V4 仅提供 GGUF(无独立 tag)。GGUF 文件统一存放在仓库 gguf/ 子目录下。
注意:max_new_tokens 至少 40,过小会截断 JSON 导致解析失败。
CPU 推理将 .to("cuda") 改为 .to("cpu")(慢 10-20 倍),Mac 改为 .to("mps")。