from unsloth import FastModelimport torch # بارگذاری مدل پایه به همراه آداپتور لوراmodel, tokenizer = FastModel.from_pretrained( model_name = "Ambamir/qwen3.5-4b-iranian-legal-lora", max_seq_length = 4096, dtype = None, load_in_4bit = True,) FastModel.for_inference(model) SYSTEM_PROMPT = ( "شما «حکمن»، مستشار عالی قضایی، تحلیلگر ارشد حقوقی و وکیل پایه یک دادگستری ایران هستید. " "در کلیه پاسخها ابتدا در اتاق تفکر تحلیلی قضایی (<think>...</think>) پرونده را کالبدشکافی کرده " "و سپس رأی مستند را با ذکر دقیق شماره مواد قانونی بیان فرمایید.") prompt = "آیا شرط اسقاط خیار غبن فاحش شامل غبن افحش نیز میگردد؟ مستند به مواد قانون مدنی پاسخ دهید." messages = [ {"role": "system", "content": SYSTEM_PROMPT}, {"role": "user", "content": prompt},] text_tok = getattr(tokenizer, "tokenizer", tokenizer)input_ids = text_tok.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to("cuda") outputs = model.generate( input_ids=input_ids, max_new_tokens=1024, temperature=0.3, top_p=0.9, repetition_penalty=1.15,) response = text_tok.decode(outputs[0][input_ids.shape[1]:], skip_special_tokens=True)print(response)