fcpig

Lure

README

License: apache-2.0

1. 模型信息

Table with columns: 项目, 内容
项目	内容
基座模型	Qwen/Qwen3.8-27B（原生多模态稠密模型，262K 上下文，Apache-2.0）
微调方式	LoRA（QLoRA 4-bit 训练），框架 LLaMA-Factory
训练阶段	Supervised Fine-Tuning（SFT）
训练数据	`lure_v2` 数据集，共 246 条多模态（图像 + 文本）指令样本
可训练参数	58,363,904（占全部 27.4B 参数的 0.21%）
权重文件	`adapter_model.safetensors`（222.8 MB）
训练日期	2026-09-03

2. 训练超参数

Table with columns: 超参数, 值
超参数	值
learning_rate	5e-05
lr_scheduler_type	cosine
num_train_epochs	6.0
per_device_train_batch_size	2
gradient_accumulation_steps	2（等效总 batch size = 4）
cutoff_len	2048
lora_rank	8
lora_alpha	16
lora_dropout	0.05

3. 训练结果

总计 372 个优化步（62 步/epoch × 6 epoch），246 条样本全部参与训练。
训练损失从初始 2.83 收敛至平均 0.2534（末段单步 loss 约 0.02–0.15）。
训练时长约 26.6 分钟（单张 GPU，QLoRA 4-bit）。

training loss

4. 训练环境

LLaMA-Factory（LLaMA Board WebUI 发起训练）
PEFT 0.18.1
Transformers 5.8.0
PyTorch 2.8.0+cu128
Datasets 4.0.0
Tokenizers 0.22.2

5. 快速开始（推理）

方式一：transformers + peft

python
import torch
from transformers import AutoProcessor, AutoModelForImageTextToText, BitsAndBytesConfig
from peft import PeftModel

BASE = "Qwen/Qwen3.8-27B"
ADAPTER = "fcpig/Lure"  # 本仓库，或本地路径 ./train_0903

# 与训练时一致：4-bit 量化加载，降低显存占用（约 20GB 级显卡可运行）
bnb = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
)

model = AutoModelForImageTextToText.from_pretrained(
    BASE, quantization_config=bnb, device_map="auto", trust_remote_code=True,
)
model = PeftModel.from_pretrained(model, ADAPTER)
processor = AutoProcessor.from_pretrained(ADAPTER)  # 仓库内含 processor/tokenizer

messages = [{
    "role": "user",
    "content": [
        {"type": "image", "image": "file://你的图片路径.jpg"},
        {"type": "text", "text": "描述这张图片。"},
    ],
}]
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = processor(text=[text], images=["你的图片路径.jpg"], return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512)
print(processor.batch_decode(out, skip_special_tokens=True)[0])

方式二：LLaMA-Factory 命令行

bash
llamafactory-cli chat \
  --model_name_or_path Qwen/Qwen3.8-27B \
  --adapter_name_or_path fcpig/Lure \
  --template qwen3_8 \
  --finetuning_type lora

合并为完整权重（可选）

bash
llamafactory-cli export \
  --model_name_or_path Qwen/Qwen3.8-27B \
  --adapter_name_or_path fcpig/Lure \
  --template qwen3_8 \
  --export_dir exports/train_0903-merged \
  --export_size 20

6. 训练复现

安装环境（需 Transformers ≥ 5.2 以支持 qwen3_5/Qwen3.8 架构）：

bash
pip install "transformers>=5.2.0" peft==0.18.1 bitsandbytes
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory && pip install -e ".[torch,metrics]"

准备数据集 lure_v2（246 条多模态样本，sharegpt 格式，含 train.jsonl 与对应图像文件），在 data/dataset_info.json 中注册：

json
{
  "lure_v2": {
    "file_name": "train.jsonl",
    "formatting": "sharegpt",
    "columns": { "messages": "conversations" },
    "tags": { "image": "image" }
  }
}

使用与原始训练一致的配置 train_0903.yaml：

yaml
model_name_or_path: Qwen/Qwen3.8-27B
trust_remote_code: true
stage: sft
finetuning_type: lora
template: qwen3_8
enable_thinking: true
do_train: true
dataset: lure_v2
dataset_dir: data
cutoff_len: 2048
max_samples: 100000
preprocessing_num_workers: 16
per_device_train_batch_size: 2
gradient_accumulation_steps: 2
learning_rate: 5.0e-5
num_train_epochs: 6.0
lr_scheduler_type: cosine
warmup_steps: 0
max_grad_norm: 1.0
optim: adamw_torch
bf16: true
quantization_bit: 4
quantization_method: bnb
double_quantization: true
freeze_vision_tower: true
freeze_multi_modal_projector: true
lora_rank: 8
lora_alpha: 16
lora_dropout: 0.05
lora_target: all
image_max_pixels: 589824
image_min_pixels: 1024
video_max_pixels: 65536
video_min_pixels: 256
logging_steps: 5
save_steps: 100
plot_loss: true
report_to: none
seed: 42
output_dir: saves/train_0903

启动训练：

bash
llamafactory-cli train train_0903.yaml

固定 seed: 42、相同软硬件环境下可基本复现训练曲线（量化训练存在少量非确定性，最终 loss 应收敛至 0.25 左右）。

7. 仓库文件说明

Table with columns: 文件, 说明
文件	说明
`adapter_model.safetensors`	LoRA 微调权重（核心文件）
`adapter_config.json`	LoRA 配置（基座模型已指向 `Qwen/Qwen3.8-27B`，可从 Hub 直接加载）
`tokenizer.json` / `tokenizer_config.json` / `chat_template.jinja`	分词器与对话模板
`processor_config.json`	多模态处理器配置（图像/视频预处理参数）
`training_args.yaml`

注：训练过程中的中间检查点（checkpoint-100/200/300/372）与最终权重内容一致（checkpoint-372 即第 372 步 = 6 epoch 结束），未随仓库上传；training_args.bin、WebUI 日志等运行时文件亦未包含。

8. 引用与许可

基座模型：Qwen/Qwen3.8-27B（Apache-2.0）
微调框架：LLaMA-Factory
本 Adapter 权重按 Apache-2.0 发布。

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Model Details

Model Provider

fcpig

Model Tree

Base

Qwen/Qwen3.8-27B

Adapter

this model

Input Modalities

TextImageVideo

Output Modalities

Text

Supported Functionality