AG99live 项目
AG99live 是一个基于 Live2D、由 AI 实时驱动角色行为的开源虚拟情感陪伴项目。
项目希望让桌面角色能够自然交流、动态表达,并通过长期记忆和持续互动积累共同经历。它不依赖关键词匹配和固定动画来决定全部行为,而是让 AI 理解当前对话、结合角色状态,实时生成表情与动作,再由动作引擎将语义动作映射为具体 Live2D 参数。
AG99live 起源于 AstrBot 插件生态,并可以结合社区中的长期记忆、自学习和智能体能力。配套的 AG99 后端 负责进一步优化实时交互体验。
项目主页:AG99live
这个模型的作用
本模型是 AG99live 的专用 Live2D 动作生成模型。它不负责语音识别、TTS、Live2D 渲染或底层参数执行,而是负责:
- 理解当前语音转写和上下文。
- 生成连续的结构化动作步骤。
- 使用语义动作轴的具体数值表达姿态、视线和表情变化。
- 将动作交给 AG99live 动作系统进行映射、校验、限幅和连续播放。
这样可以将“理解对话并决定如何表现”和“适配具体 Live2D 模型参数”分开,使同一个动作模型能够通过不同的模型 Profile 适配不同角色。
基础模型和训练信息
- 基础模型:
Qwen/Qwen3.5-2B-Base
- 微调方式:LoRA
- LoRA rank:16
- LoRA alpha:32
- 训练数据:929 条连续动作样本
- 训练轮数:3
- 最终训练 loss:0.4916
输入协议
{ "segment": { "actions": [], "speech": "嗯暴雷在外面", "tendency": {} }, "user": ""}
segment.speech 是当前语音转写文本。segment.actions 和 segment.tendency 可以为空。user 用于传递额外上下文。
输出协议
模型只返回两个字段:
{ "duration_hint_ms": 1200, "motion_steps": [ { "axis_values": { "head_yaw": 58.8, "body_yaw": 60.1, "eye_smile_left": 84.1, "eye_smile_right": 84.1, "mouth_smile": 68.1 }, "duration_weight": 1 } ]}
motion_steps 是按播放顺序排列的连续动作步骤。每一步包含具体数值形式的 axis_values 和 1 到 3 的整数 duration_weight。duration_hint_ms 的范围是 320 到 15000 毫秒。
动作步骤应保持稀疏,只填写当前步骤开始或发生变化的动作轴。有效动作轴 ID 和数值范围以 AG99live 能力定义为准。
输出结构要求
这是当前模型接口必须遵守的输出协议:
- 顶层必须是一个 JSON 对象。
- 顶层只能包含 motion_steps 和 duration_hint_ms 两个字段。
- 不得输出 Markdown、解释文字或代码围栏。
- motion_steps 必须是长度 1 到 4 的数组。
- 每个步骤必须同时包含 xis_values 和 duration_weight。
- duration_weight 必须是 1 到 3 的整数。
- xis_values 只能使用当前 Live2D Profile 中定义的动作轴。
- 动作轴数值必须位于对应范围内,可以使用小数。
- duration_hint_ms 必须是 320 到 15000 范围内的整数。
- 运行时元数据和执行信息由 AG99live 补充,不由模型生成。
调用方应在收到结果后先解析 JSON,再执行字段、步数、动作轴和值域校验。
当前动作轴
head_yaw, head_pitch, head_roll,body_yaw, body_pitch, body_roll,gaze_x, gaze_y,eye_open_left, eye_open_right,eye_smile_left, eye_smile_right,mouth_smile, mouth_x, brow_bias
使用方式
使用 Transformers 和 PEFT 加载本适配器,同时加载 Qwen/Qwen3.5-2B-Base。调用方需要提供 AG99live 系统提示词和结构化输出约束。
本仓库不包含训练数据。模型生成的动作还需要交由 AG99live 动作系统执行,不能直接替代 Live2D 渲染层。
许可证和归属
本模型是基于 Qwen/Qwen3.5-2B-Base 的 AG99live 微调衍生模型。基础模型使用 Apache License 2.0,详见 LICENSE 和 NOTICE。Qwen 和阿里云不代表或背书本项目。