import torchfrom peft import PeftModelfrom transformers import AutoModelForCausalLM, AutoTokenizer base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B-Base", dtype=torch.bfloat16, device_map="cuda")model = PeftModel.from_pretrained(base, "RodrigoFlorencio/UserLM-Doctoralia-Qwen3-8B-LoRA")tok = AutoTokenizer.from_pretrained("Qwen/Qwen3-8B-Base") intent = "Paciente relata febre alta há três dias, dor no peito ao respirar e tosse seca."# O prompt abre DIRETO no turno do usuário — sem add_generation_promptprompt = f"<|im_start|>system\n{intent}<|im_end|>\n<|im_start|>user\n"ids = tok(prompt, return_tensors="pt", add_special_tokens=False).to("cuda")out = model.generate( **ids, do_sample=True, temperature=1.0, top_p=0.8, max_new_tokens=140, min_new_tokens=6, # para no fim do turno E no início de um novo turno eos_token_id=[tok.convert_tokens_to_ids("<|im_end|>"), tok.convert_tokens_to_ids("<|im_start|>")], pad_token_id=tok.convert_tokens_to_ids("<|im_end|>"),)print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))