Moeblack

Qwen3.8-27B-chinese-taste-lora

README

License: apache-2.0

为什么是 step-102（而不是 final）

训练 8 epochs（176 优化步），本仓库选用 step-102（58% 训练量，loss 2.55） 为主力版本：

Table with columns: checkpoint, 训练进度, 判别测试-正例（地道中文识别）
checkpoint	训练进度	判别测试-正例（地道中文识别）
基座（无 LoRA）	0%	25%
step-102（本仓库）	58%	35%
step-119	68%	35%
step-136	77%	25%
final	100%	25%

判别测试：40 条「地道中文 vs 翻译腔」判断题（正例=中文小说地道语句，负例=英文小说逐句直译的典型翻译腔）
峰值平台在 58-68% 训练量；超过 77% 后进入过拟合（背诵）区，判别力回落至基座水平
人工生成对比中 step-102 为「风格浓度与自然度」最佳平衡点

step-102 与 step-119

两者判别测试持平（正例识别均为 35%，同处峰值平台），生成对比也未分出明显优劣。两个版本都提供，按个人偏好选择即可。

训练详情

Table with columns: 项目, 值
项目	值
基座	Qwen/Qwen3.8-27B（BF16）
方法	DAPT（领域适配预训练，纯文本续写，`mlm=False`）
语料	中文小说风格文本清洗版，约 114.6 万字符 ≈ 0.7M tokens
LoRA rank / alpha / dropout	128 / 256 / 0.05
target_modules	q/k/v/o + gate/up/down（16 层全注意力 + 64 层 FFN，不含 GDN 线性注意力层）
可训练参数	638M（2.4%）
lr / 调度	4e-5 / cosine / warmup 50 步
batch	1 × grad_accum 8

文件清单

Table with columns: 文件, 说明
文件	说明
`adapter_model.safetensors`	LoRA 权重 step-102（FP32，rank 128）——transformers/PEFT 直接加载
`adapter_config.json`	PEFT 配置（step-102）
`qwen3.8-27b-cn-taste-q8_0.gguf`	step-102 量化版（Q8_0，677MB）——llama.cpp 直接挂载
`adapter-119_model.safetensors`	step-119 备选权重（FP32）——风格浓度更高
`qwen3.8-27b-cn-taste-step-119-q8_0.gguf`	step-119 量化版（Q8_0，677MB）

使用方式

llama.cpp（推荐——推理）

step-102：

bash
llama-server -m Qwen3.8-27B-ABLITERATED-Q4_K_M.gguf \
  --lora qwen3.8-27b-cn-taste-q8_0.gguf \
  -ngl 99 -c 262144 --reasoning on

step-119（味道更浓）：

bash
llama-server -m Qwen3.8-27B-ABLITERATED-Q4_K_M.gguf \
  --lora qwen3.8-27b-cn-taste-step-119-q8_0.gguf \
  -ngl 99 -c 262144 --reasoning on

transformers / PEFT

python
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.8-27B", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(model, "Moeblack/Qwen3.8-27B-chinese-taste-lora")  # step-102 默认
# model = PeftModel.from_pretrained(model, "Moeblack/Qwen3.8-27B-chinese-taste-lora", adapter_name="119",
#                                  subfolder="step-119")  # 需要时用 119

实测效果

同一问题，基座 vs LoRA 的对比（普通问答场景，非创作）：

问：太阳来自哪里？

Table with columns: 基座（无 LoRA）, LoRA step-102
基座（无 LoRA）	LoRA step-102
「太阳并不是从某个'地方'来的，它是在约 46 亿年前由一团原始气体和尘埃云（分子云）在自身引力作用下坍缩形成的……」	「太阳位于太阳系的中心。如果问的是"太阳是从哪里来的"，它大约形成于 46 亿年前，由一片巨大的分子云/太阳星云在自身引力作用下坍缩、聚集物质而形成……」

基座回答带着「并不是……它是……」的英文转折结构（It's not... it's... 直译痕迹）；LoRA 版直接自然、口语松弛。

Table with columns: 基座, LoRA step-102
基座	LoRA step-102

说明

训练语料为网络整理文本，可能存在少量错字
本 LoRA 面向中文小说风格创作与中文语感增强，生成内容属虚构创作范畴

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Model Details

Model Provider

Moeblack

Model Tree

Base

Qwen/Qwen3.8-27B

Adapter

this model

Input Modalities

TextImageVideo

Output Modalities

Text

Supported Functionality