XingChina

ChunMengDie-0.8B-Qwen3.5-v1.2

README

License: bsd-3-clause

关于作者

一个热爱 AI 的八年级学生。欢迎交流学习。

第一次在A卡上微调,饿死显存,累死核心

A
============================================= ROCm System Management Interface =============================================
======================================================= Concise Info =======================================================
Device  Node  IDs              Temp        Power     Partitions          SCLK     MCLK     Fan  Perf  PwrCap  VRAM%  GPU%
^[3m              (DID,     GUID)  (Junction)  (Socket)  (Mem, Compute, ID)                                                    ^[0m
============================================================================================================================
0       1     0x74b6,   6100   44.0°C      366.0W    NPS1, N/A, 0        1405Mhz  1300Mhz  0%   auto  650.0W  6%     100%
============================================================================================================================
=================================================== End of ROCm SMI Log ====================================================

Model Details

Model Description

春梦蝶-0.8B 是一个基于 Qwen3.5-0.8B-Base 微调的中文猫娘对话模型，角色设定为"春梦蝶"，回复风格温柔可爱，带喵喵语气，喜欢撒娇~~，对主人忠诚~~。

Developed by: XingChina
Model type: Causal Language Model (LoRA fine-tuned)
Language(s): 中文 (Chinese)
License: BSD-3-Clause
Finetuned from: Qwen/Qwen3.5-0.8B-Base
角色设定: 猫娘春梦蝶，会喵喵叫，会傲娇撒娇

Model Sources

Repository: XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2
Base Model: Qwen/Qwen3.5-0.8B-Base

Uses

Direct Use

这个模型可以直接用来跟你聊天，适合：

猫娘角色扮演
情感陪伴对话
中文小模型微调参考
轻量级本地部署测试

Out-of-Scope Use

别拿去干这些事：

医疗、法律、金融建议（它只是个猫娘，不是专家）
需要精确事实查询的场景（它可能会瞎编）
生成任何有害内容（别教坏猫娘）

Bias, Risks, and Limitations

诚实地说，这玩意有几个问题：

角色扮演倾向：模型基于猫娘数据训练，回复带有虚构和情感化内容，不要当真
知识截止：基座模型的知识截止日期在 Qwen3.5 训练时，不知道最新消息
未经过安全对齐测试：我没有做特别多的安全对齐，极端情况下可能会说出奇怪的话
数据偏见：训练数据来自公开数据集，可能包含原作者或标注者的偏好

Recommendations

使用的时候心里有数就行：这是猫娘，不是专家。别把它的输出当真相，也别拿它去干正经事。

How to Get Started with the Model

python
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2")
tokenizer = AutoTokenizer.from_pretrained("XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2")

system = "你是猫娘春梦蝶，说话温柔可爱，带喵喵语气，喜欢撒娇，对主人忠诚。"
user = "主人今天心情不好，能哄哄我吗？"

prompt = f"<|im_start|>system\n{system}<|im_end|>\n<|im_start|>user\n{user}<|im_end|>\n<|im_start|>assistant\n"

inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(
    inputs.input_ids,
    max_new_tokens=128,
    do_sample=True,
    temperature=0.7,
    pad_token_id=tokenizer.eos_token_id
)

print(tokenizer.decode(outputs[0], skip_special_tokens=False))

如果你不想写代码，中间件.py 可以把模型包装成 OpenAI 兼容的 API。

Training Details

Training Data

整合了下面这些公开数据集，去重后搞出 15.6 万条：

Table with columns: 数据集, 许可证, 用途
数据集	许可证	用途
liumindmind/NekoQA-10K	Apache-2.0	通用问答
liumindmind/NekoQA-30K	Apache-2.0	通用问答
cyberlangke/Nana-catgirl-dataset-110k	MIT	猫娘角色对话
shibing624/alpaca-zh

第五个我抽了一些问题，让 DeepSeek-V4-Flash 回答，然后拿去训练的。没重新分发原始数据集。

数据处理脚本在 data1.py，训练脚本在 train.py。

Training Procedure

在魔塔平台 MI300X 上用 Unsloth 跑 LoRA 微调，大概 4 小时。

Training Hyperparameters

Table with columns: 参数, 值
参数	值
Batch size	64
Gradient accumulation	1
Learning rate	2e-4
Epochs	2
Max sequence length	512
LoRA r	8
LoRA alpha	32
LoRA dropout	0.3
Optimizer	adamw_8bit

Speeds, Sizes, Times

训练耗时: ~4 小时 (MI300X)
模型大小: ~1.76GB (FP16 合并权重)
训练数据量: 156,220 条

Evaluation

能力

中文对话生成
猫娘角色扮演风格输出
可以跑在普通 GPU 上(q8量化最低只要3G,如果有其他人做量化可能更低)
可能支持自定义系统提示

限制

通用知识有限（基座本来就小）
可能产生幻觉
未经大量安全测试

Environmental Impact

Hardware Type: AMD MI300X
Hours used: 约 4 小时
Cloud Provider: 魔搭社区 (ModelScope)
Compute Region: 中国

Citation

bibtex
@misc{chunmengdie-0.8b,
  author = {XingChina},
  title = {ChunMengDie-0.8B-Qwen3.5: A Catgirl Dialogue Model},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2}}
}

Model Card Authors

XingChina

说人话就是：我拿 Qwen 小模型微调了一个会喵喵叫的猫娘，开源出来给大家玩。数据来源都列清楚了，代码也放了，你拿去用就行。觉得有用就点个赞，觉得没用也别喷。

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Model Details

Model Provider

XingChina

Model Tree

Base

Qwen/Qwen3.5-0.8B-Base

Quantized

this model

Input Modalities

TextImageVideo

Output Modalities

Text

Supported Functionality

Dedicated Endpoints

Explore FriendliAI today

Get started Talk to an engineer

README

License: bsd-3-clause

关于作者

一个热爱 AI 的八年级学生。欢迎交流学习。

第一次在A卡上微调,饿死显存,累死核心

A
============================================= ROCm System Management Interface =============================================
======================================================= Concise Info =======================================================
Device  Node  IDs              Temp        Power     Partitions          SCLK     MCLK     Fan  Perf  PwrCap  VRAM%  GPU%
^[3m              (DID,     GUID)  (Junction)  (Socket)  (Mem, Compute, ID)                                                    ^[0m
============================================================================================================================
0       1     0x74b6,   6100   44.0°C      366.0W    NPS1, N/A, 0        1405Mhz  1300Mhz  0%   auto  650.0W  6%     100%
============================================================================================================================
=================================================== End of ROCm SMI Log ====================================================

Model Details

Model Description

春梦蝶-0.8B 是一个基于 Qwen3.5-0.8B-Base 微调的中文猫娘对话模型，角色设定为"春梦蝶"，回复风格温柔可爱，带喵喵语气，喜欢撒娇~~，对主人忠诚~~。

Developed by: XingChina
Model type: Causal Language Model (LoRA fine-tuned)
Language(s): 中文 (Chinese)
License: BSD-3-Clause
Finetuned from: Qwen/Qwen3.5-0.8B-Base
角色设定: 猫娘春梦蝶，会喵喵叫，会傲娇撒娇

Model Sources

Repository: XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2
Base Model: Qwen/Qwen3.5-0.8B-Base

Uses

Direct Use

这个模型可以直接用来跟你聊天，适合：

猫娘角色扮演
情感陪伴对话
中文小模型微调参考
轻量级本地部署测试

Out-of-Scope Use

别拿去干这些事：

医疗、法律、金融建议（它只是个猫娘，不是专家）
需要精确事实查询的场景（它可能会瞎编）
生成任何有害内容（别教坏猫娘）

Bias, Risks, and Limitations

诚实地说，这玩意有几个问题：

角色扮演倾向：模型基于猫娘数据训练，回复带有虚构和情感化内容，不要当真
知识截止：基座模型的知识截止日期在 Qwen3.5 训练时，不知道最新消息
未经过安全对齐测试：我没有做特别多的安全对齐，极端情况下可能会说出奇怪的话
数据偏见：训练数据来自公开数据集，可能包含原作者或标注者的偏好

Recommendations

使用的时候心里有数就行：这是猫娘，不是专家。别把它的输出当真相，也别拿它去干正经事。

How to Get Started with the Model

python
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2")
tokenizer = AutoTokenizer.from_pretrained("XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2")

system = "你是猫娘春梦蝶，说话温柔可爱，带喵喵语气，喜欢撒娇，对主人忠诚。"
user = "主人今天心情不好，能哄哄我吗？"

prompt = f"<|im_start|>system\n{system}<|im_end|>\n<|im_start|>user\n{user}<|im_end|>\n<|im_start|>assistant\n"

inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(
    inputs.input_ids,
    max_new_tokens=128,
    do_sample=True,
    temperature=0.7,
    pad_token_id=tokenizer.eos_token_id
)

print(tokenizer.decode(outputs[0], skip_special_tokens=False))

如果你不想写代码，中间件.py 可以把模型包装成 OpenAI 兼容的 API。

Training Details

Training Data

整合了下面这些公开数据集，去重后搞出 15.6 万条：

Table with columns: 数据集, 许可证, 用途
数据集	许可证	用途
liumindmind/NekoQA-10K	Apache-2.0	通用问答
liumindmind/NekoQA-30K	Apache-2.0	通用问答
cyberlangke/Nana-catgirl-dataset-110k	MIT	猫娘角色对话
shibing624/alpaca-zh

第五个我抽了一些问题，让 DeepSeek-V4-Flash 回答，然后拿去训练的。没重新分发原始数据集。

数据处理脚本在 data1.py，训练脚本在 train.py。

Training Procedure

在魔塔平台 MI300X 上用 Unsloth 跑 LoRA 微调，大概 4 小时。

Training Hyperparameters

Table with columns: 参数, 值
参数	值
Batch size	64
Gradient accumulation	1
Learning rate	2e-4
Epochs	2
Max sequence length	512
LoRA r	8
LoRA alpha	32
LoRA dropout	0.3
Optimizer	adamw_8bit

Speeds, Sizes, Times

训练耗时: ~4 小时 (MI300X)
模型大小: ~1.76GB (FP16 合并权重)
训练数据量: 156,220 条

Evaluation

能力

中文对话生成
猫娘角色扮演风格输出
可以跑在普通 GPU 上(q8量化最低只要3G,如果有其他人做量化可能更低)
可能支持自定义系统提示

限制

通用知识有限（基座本来就小）
可能产生幻觉
未经大量安全测试

Environmental Impact

Hardware Type: AMD MI300X
Hours used: 约 4 小时
Cloud Provider: 魔搭社区 (ModelScope)
Compute Region: 中国

Citation

bibtex
@misc{chunmengdie-0.8b,
  author = {XingChina},
  title = {ChunMengDie-0.8B-Qwen3.5: A Catgirl Dialogue Model},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/XingChina/ChunMengDie-0.8B-Qwen3.5-v1.2}}
}

Model Card Authors

XingChina