Treino
Table with columns: Parâmetro, Valor| Parâmetro | Valor |
|---|
| Base | Qwen/Qwen3-8B-Base (bf16, sdpa) |
| Método | LoRA r=32 α=32 (q/k/v/o/gate/up/down), TRL 1.17.1, completion_only_loss |
| Épocas | 1 (1.454 passos, batch efetivo 64, seq 768) |
| LR | 2e-4, cosine, warmup 40 |
| Hardware | 1× a10g-large, ~12h |
Avaliação
- eval_loss 1.796 (época 1; de 2.41 no smoke) · acurácia de token 60%
- Diálogo simulado (ULM gera pergunta → DoctorLM responde): 8/11 (73%) aprovados na revisão humana
- Limitações conhecidas (das 3 rejeições): ~27% das respostas saem genéricas/evasivas (o treino inclui respostas curtas reais tipo "procure um ginecologista"); ocasionalmente ecoa o início da pergunta; sensível a balanço de treino (v2 com filtro de treino estrito planejada)
Diálogos completos: dialogos/dialogo_fase1_v2.jsonl e a avaliação humana em dialogos/avaliacao_humana_dialogo_fase1.jsonl no dataset.
Uso
import torchfrom peft import PeftModelfrom transformers import AutoModelForCausalLM, AutoTokenizer base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B-Base", dtype=torch.bfloat16, device_map="cuda")model = PeftModel.from_pretrained(base, "RodrigoFlorencio/DoctorLM-Saude-PTBR-Qwen3-8B-LoRA")tok = AutoTokenizer.from_pretrained("Qwen/Qwen3-8B-Base") # padrão do template Qwen3: o assistant recebe o prefixo think (lição do projeto)prompt = tok.apply_chat_template([{"role": "user", "content": pergunta}], tokenize=False, add_generation_prompt=True) + " 研究"
(ver script completo em doctorlm/ no dataset)
Importante: simula resposta de médico em portal público — não é orientação médica real nem ferramenta clínica.
Privacidade: o treino antecede a auditoria de PII do dataset (17/11/2026) — o corpus de treino continha assinaturas "Dr./Dra. + nome" em ~2% das respostas, então o modelo pode gerar nomes reais. Toda saída DEVE passar por limpar_assinaturas() (função em userlm_core.py, no dataset e nos Spaces) antes de virar dataset, demo ou produto.
Autor
Rodrigo Florencio é especialista em Inteligência Artificial pelo PECE-USP, professor convidado no MBA de Inteligência Artificial Aplicada a Negócios da FAAP e fundador da GenSearch Me, startup de monitoramento e visibilidade de produtos e marcas de saúde nas IAs.
Se este modelo, o dataset de treino (duvidas-saude-ptbr) ou derivados forem úteis no seu trabalho, pesquisa ou demo, dê crédito ao autor.