lucasoc

sci-image-models

README

License: apache-2.0

Recursos de Treinamento, Tempo e Memoria VRAM

Diferente de pipelines tradicionais que reduzem ou distorcem as figuras científicas, os modelos foram treinados preservando a resolução vetorial nativa integral das imagens.

Table with columns: Modelo / Resolução, Resolução Máxima, Grid de Patches de Visão, Tempo de Treino (3 Épocas), VRAM Média Alocada, VRAM Pico, Hardware
Modelo / Resolução	Resolução Máxima	Grid de Patches de Visão	Tempo de Treino (3 Épocas)	VRAM Média Alocada	VRAM Pico	Hardware
LoRA 3B (280px Baseline)	280 px (Downsampling PIL)	~392x392 max	~28 min (~1.680s)	~5,2 GB	~6,1 GB	RTX 3090 (24 GB)
LoRA 3B (Resolução Original)	Original (~1 Mpx)	Nativo Dinâmico	~1h 38m (~5.937s)	~6,4 GB	~7,9 GB	RTX 3090 (24 GB)
LoRA 7B (Resolução Original - Campeão SOTA)	Original (~1 Mpx)	Nativo Dinâmico	~1h 20m (~4.800s)	~10,4 GB	~13,8 GB	RTX 3090 (24 GB)

Resultados no Conjunto de Teste (373 Figuras Cientificas)

Avaliação executada sobre as 373 figuras do conjunto de teste independente oficial SciKnowOrg/Sci-ImageMiner (Tarefa 2: Extração de Tabelas de Dados). Ganhos reportados estritamente em pontos percentuais (pp):

Table with columns: Métrica, Base Zero-Shot (3B), SFT Padrão (3B), LoRA 3B (280px), LoRA 3B (Res. Original), Nosso LoRA 7B (Campeão SOTA), Ganho 7B vs 3B (pp), Ganho 7B vs Base (pp)
Métrica	Base Zero-Shot (3B)	SFT Padrão (3B)	LoRA 3B (280px)	LoRA 3B (Res. Original)	Nosso LoRA 7B (Campeão SOTA)	Ganho 7B vs 3B (pp)	Ganho 7B vs Base (pp)
Tabelas Válidas (`valid_table`)	88.74%	99.73%	99.73%	99.73%	99.73%	+0.00 pp	+10.99 pp

🏆 Leaderboard Oficial ICDAR 2026 Task 2 (Data Table Extraction)

Comparação direta dos competidores do artigo oficial (arXiv:2607.26848) com os nossos modelos:

Table with columns: Posição, Modelo / Equipe, Abordagem Principal, Backbone, VTR (Tabelas Válidas), RMS (Mapeamento Numérico), TEDS (Similaridade Estrutural), Score Final ICDAR 21(RMS+TEDS), Hardware / VRAM
Posição	Modelo / Equipe	Abordagem Principal	Backbone	VTR (Tabelas Válidas)	RMS (Mapeamento Numérico)	TEDS (Similaridade Estrutural)	Score Final ICDAR $21 (RMS + TEDS)$	Hardware / VRAM

Comparativo: Loss Padrao vs. Nossa Loss

1. O que e a Loss Padrao (Cross-Entropy / SFT)

No treinamento supervisionado tradicional, a funcao de perda trata todos os tokens com exatamente o mesmo peso (1.0).

Falta de foco numerico: O modelo sofre a mesma penalidade se errar uma palavra descritiva comum (por exemplo, "Tempo" para "Tempa") ou se errar a coordenada exata de um ponto critico em um grafico (por exemplo, "1.2" para "9.8").
Falta de foco estrutural: O modelo trata delimitadores de colunas (barras verticais) e quebras de linha com o mesmo peso de espacos em branco. Um unico caractere de coluna ausente inutiliza a tabela inteira, mas gera uma penalidade minima na loss padrao.
Comportamento: O modelo aparenta estar convergindo com perda baixa porque acerta a maioria dos textos comuns, mas continua gerando dados numericos imprecisos e tabelas malformadas.

2. A Nossa Solucao: ICDAR Metric-Aware Loss

Para resolver esse problema, desenhamos uma funcao de perda que penaliza os erros de forma seletiva de acordo com a importancia de cada token:

Tokens Numericos (Peso 3.0x): Digitos (0 a 9), pontos decimais e sinais recebem peso 3 vezes maior na retropropagacao, funcionando como um proxy direto para a metrica de RMS Numerico.
Tokens Estruturais (Peso 2.0x): Barras verticais delimitadoras de colunas, quebras de linha e marcadores de cabecalho recebem peso 2 vezes maior, garantindo que a estrutura da tabela seja rigorosamente respeitada.
Tokens Textuais Comuns (Peso 1.0x): Textos explicativos e espacos mantem peso padrao unitario.

3. Como a Loss atua no LoRA

No treinamento com PEFT QLoRA, os pesos do modelo base permanecem 100% congelados em quantizacao 4-bit (NF4). Apenas as matrizes lineares de baixa dimensao A e B dos adaptadores LoRA (acopladas as projecoes de atencao q_proj, k_proj, v_proj, o_proj, etc.) sao atualizadas:

Amplificacao Seletiva de Gradientes: Quando o modelo erra um numero ou uma divisao de coluna, o gradiente resultante e multiplicado por 3.0x ou 2.0x. Pela regra da cadeia, esse erro amplificado e propagado diretamente para as matrizes treinaveis do LoRA.
Direcionamento da Atencao Visual: Essa forca de gradiente ajusta os vetores de atencao do Vision Transformer, forcando o modelo a concentrar seu foco visual nas coordenadas, eixos, legendas e numeros presentes na imagem cientifica.
Maximizacao do Orcamento de Parametros: A nossa loss impede que esse orcamento reduzido de parametros seja gasto com linguagem natural trivial, canalizando praticamente todo o aprendizado para a precisao numerica e integridade estrutural.

Como Usar para Inferencia

Instalacao das Dependencias

bash

pip install torch transformers peft qwen-vl-utils pillow torchvision bitsandbytes

Exemplo em Python (Suporte a 7B SOTA ou 3B Leve)

python

import torchfrom PIL import Imagefrom transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration, BitsAndBytesConfigfrom peft import PeftModelfrom qwen_vl_utils import process_vision_info # Escolha o modelo:# - Campeão SOTA (7B): "Qwen/Qwen2.5-VL-7B-Instruct" com subfolder="qwen2_5_vl_7b"# - Ultra-Leve (3B):   "Qwen/Qwen2.5-VL-3B-Instruct" com subfolder=NoneUSE_7B = True if USE_7B:    base_model_id = "Qwen/Qwen2.5-VL-7B-Instruct"    adapter_id = "lucasoc/sci-image-models"    subfolder = "qwen2_5_vl_7b"else:    base_model_id = "Qwen/Qwen2.5-VL-3B-Instruct"    adapter_id = "lucasoc/sci-image-models"    subfolder = None # 1. Carregar processadorprocessor = AutoProcessor.from_pretrained(    adapter_id,    subfolder=subfolder if subfolder else None) # 2. Carregar modelo base em 4-bit NF4bnb_config = BitsAndBytesConfig(    load_in_4bit=True,    bnb_4bit_quant_type="nf4",    bnb_4bit_compute_dtype=torch.float16,    bnb_4bit_use_double_quant=True,)base_model = Qwen2_5_VLForConditionalGeneration.from_pretrained(    base_model_id,    quantization_config=bnb_config,    torch_dtype=torch.float16,    device_map="auto") # 3. Carregar o adapter LoRAif subfolder:    model = PeftModel.from_pretrained(base_model, adapter_id, subfolder=subfolder)else:    model = PeftModel.from_pretrained(base_model, adapter_id)model.eval() # 4. Processar imagem em resolucao originalimage_path = "grafico_cientifico.png"image = Image.open(image_path).convert("RGB") messages = [    {        "role": "user",        "content": [            {"type": "image", "image": image},            {"type": "text", "text": "Extract all numerical data points from this scientific figure panel into a Markdown table with clear column headers."}        ]    }] text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)image_inputs, _ = process_vision_info(messages)inputs = processor(text=[text], images=image_inputs, padding=True, return_tensors="pt").to("cuda") with torch.inference_mode():    generated_ids = model.generate(**inputs, max_new_tokens=1024, temperature=0.0)    generated_ids_trimmed = [        out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)    ]    output_text = processor.batch_decode(        generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False    )[0] print("--- Tabela Markdown Extraida ---")print(output_text)

Detalhes de Treinamento

Modelos: Qwen2.5-VL-7B-Instruct (Campeão SOTA) e Qwen2.5-VL-3B-Instruct (Leve)
Metodo de Adaptacao: 4-bit QLoRA ( $r = 16, α = 32, dropout = 0.05$ )
Resolucao: Original nativa (sem downsampling previo, ate ~1 Megapixel por imagem)
Otimizador: paged_adamw_8bit com Cosine Annealing e taxa de aprendizado $1$

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Container

Run this model inference with full control and performance in your environment.

Learn more

Model Details

Model Provider

lucasoc

Model Tree

Base

Qwen/Qwen2.5-VL-3B-Instruct

Adapter

this model

Input Modalities

TextImage

Output Modalities

Text

Supported Functionality

Dedicated EndpointsContainer

Explore FriendliAI today

Get started Talk to an engineer