Dados
- Fonte: dúvidas reais de pacientes publicadas em páginas públicas da internet brasileira → RodrigoFlorencio/duvidas-saude-ptbr
- 33.957 perguntas únicas, 62 patologias (dedup por 7-gram; split train/val/test 90/5/5 por thread)
- Intent genérico no system:
"Pergunta anônima de um paciente em um portal de saúde online sobre {patologia}."
Treino
Table with columns: Parâmetro, Valor| Parâmetro | Valor |
|---|
| Base | Qwen/Qwen3-8B-Base (bf16, sdpa) |
| Método | LoRA r=32 α=32 (q/k/v/o/gate/up/down), TRL 1.17.1 |
| Épocas | 3 (1.434 passos, batch efetivo 64, seq 2048) |
| LR | 2e-4, cosine, warmup 40 |
| Hardware | 1× A10G Large, ~5h04 |
| Loss | só na completion (pergunta do paciente) |
Resultados: train loss 2.864 → 1.831 (mínimo 1.791) · eval_loss 2.153 → 2.086, com mínimo 2.069 @ passo 800 (overfitting leve nas últimas épocas — 2 épocas seria o ponto doce) · acurácia de token final 0.595. Dados completos em metrics/ do dataset (train_loss.csv com 143 pontos, eval_loss.csv, resumo.json).
Curva de aprendizado


Validação por avaliação
Table with columns: Passo, eval_loss, Acurácia de token, Entropia| Passo | eval_loss | Acurácia de token | Entropia |
|---|
| 200 | 2.1526 | 0.550 | 2.164 |
| 400 | 2.1045 | 0.556 | 2.125 |
| 600 | 2.0933 | 0.557 | 2.003 |
| 800 | 2.0694 | 0.560 | 1.996 |
| 1000 | 2.0859 | 0.559 | 1.882 |
| 1200 | 2.0878 | 0.560 | 1.858 |
| 1400 | 2.0860 | 0.560 | 1.857 |
| 1434 (final) | 2.0859 | 0.560 | 1.857 |
Geração: 94/96 amostras nos guardrails finais; diversidade média 1−Jaccard 0.82–0.90 entre perguntas do mesmo intent (humanos reais no paper: ~0.94).
Uso
import torchfrom peft import PeftModelfrom transformers import AutoModelForCausalLM, AutoTokenizer base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B-Base", dtype=torch.bfloat16, device_map="cuda")model = PeftModel.from_pretrained(base, "RodrigoFlorencio/UserLM-for-health-PTBR-Qwen3-8B-LoRA")tok = AutoTokenizer.from_pretrained("Qwen/Qwen3-8B-Base") intent = "Paciente relata febre alta há três dias, dor no peito ao respirar e tosse seca."# O prompt abre DIRETO no turno do usuário — sem add_generation_promptprompt = f"<|im_start|>system\n{intent}<|im_end|>\n<|im_start|>user\n"ids = tok(prompt, return_tensors="pt", add_special_tokens=False).to("cuda")out = model.generate( **ids, do_sample=True, temperature=1.0, top_p=0.8, max_new_tokens=110, min_new_tokens=1, # para no fim do turno E no início de um novo turno eos_token_id=[tok.convert_tokens_to_ids("<|im_end|>"), tok.convert_tokens_to_ids("<|im_start|>")], pad_token_id=tok.convert_tokens_to_ids("<|im_end|>"),)print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))
Guardrails recomendados (implementação completa em spaces/userlm_core.py): temperatura 1.0 / top_p 0.8 como no paper; parar também em <|im_start|> para não atravessar a fronteira de turno (min_new_tokens=1); scrub de codepoints não-latinos (o base multilíngue cola 1 caractere tailandês/árabe no fim de perguntas boas — remover, não descartar); recusar artefatos de template (user, AbsoluteConstraints…); comprimento 3–150 palavras; re-amostrar em caso de repetição.
Limitações
- Português brasileiro apenas; patologias cobertas são as do dataset (ver card do dataset).
- Simula pergunta de paciente, não dá orientação médica — nada aqui é ferramenta clínica.
- Para "dezenas de perguntas" do mesmo intent, espere ~85–90% de aceitação após os filtros.
- Fase 2 (perguntas de acompanhamento após resposta do médico) planejada — o recipe do paper prevê
multi-turno com <|endconversation|>.
Autor
Rodrigo Florencio é especialista em Inteligência Artificial pelo PECE-USP, professor convidado no MBA de Inteligência Artificial Aplicada a Negócios da FAAP e fundador da GenSearch Me, startup de monitoramento e visibilidade de produtos e marcas de saúde nas IAs.
Se este modelo, o dataset de treino (duvidas-saude-ptbr) ou derivados forem úteis no seu trabalho, pesquisa ou demo, dê crédito ao autor.
Citação
@article{naous2025flipping, title={Flipping the Dialogue: Training and Evaluating User Language Models}, author={Naous, Tarek and Laban, Philippe and Xu, Heyang and Neville, Jennifer}, journal={arXiv preprint arXiv:2510.06552}, url={https://arxiv.org/abs/2510.06552}}