lockR/vk-vlm-gqa-ru-qwen35-08b-lora API & Inference Endpoint

Результат

Официальная оценка выполнена через lmms-eval на полном gqa-ru testdev split без --limit. Модель получала изображения и вопросы. Для воспроизводимого короткого ответа использовался enable_thinking=False.

Модель	Samples	ExactMatch	Correct
`Qwen/Qwen3.5-0.8B`	12 216	0.2862	3 496
LoRA adapter	12 216	0.4832	5 903

Улучшение: +0.1970 ExactMatch absolute, +68.85% relative, +2 407 правильных ответов.

Данные

Использован открытый датасет deepvk/GQA-ru. Локальные JSONL-манифесты содержали путь к изображению, русский вопрос и эталонный ответ.

Split	Samples
train	38 019
validation	1 981
testdev	12 216

Обучение

Обучение было мультимодальным: processor получал изображения, вопросы и ответы. Vision encoder оставался замороженным, а LoRA обучалась в language model attention слоях, адаптируя обработку visual tokens для русскоязычного VQA.

Параметр	Значение
Base model	`Qwen/Qwen3.5-0.8B`
Adapter	LoRA
Target modules	`q_proj`, `k_proj`, `v_proj`, `o_proj`
Rank / alpha / dropout	`16 / 32 / 0.05`
Epochs	`1.0`
Batch size	`8`
Learning rate	`2e-4`
Precision	`bf16`
Seed	`42`
Best checkpoint	`checkpoint-4560`

Training metric	Value
train_loss	0.04432422036801592
eval_loss	0.4337001144886017
train_runtime_sec	6219.1947

Использование

python
from peft import PeftModel
from transformers import AutoProcessor, Qwen3_5ForConditionalGeneration

base = "Qwen/Qwen3.5-0.8B"
adapter = "lockR/vk-vlm-gqa-ru-qwen35-08b-lora"

processor = AutoProcessor.from_pretrained(base, trust_remote_code=True)
model = Qwen3_5ForConditionalGeneration.from_pretrained(base, trust_remote_code=True)
model = PeftModel.from_pretrained(model, adapter)

Ограничения

Vision encoder не дообучался: LoRA применяется только к language model слоям.
Результат измерен на GQA-ru; качество на других доменах и MMBench-ru не подтверждено.
Модель может наследовать ограничения и смещения базовой модели и датасета.

Репозиторий проекта

https://github.com/L0ckR/VK_education_vllm

vk-vlm-gqa-ru-qwen35-08b-lora

Get help setting up a custom Dedicated Endpoints.

README