from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfigfrom peft import PeftModelimport torch # 4-bit config (opsiyonel, bellek tasarrufu için)bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_compute_dtype=torch.float16) # Model yüklemebase_model = "Qwen/Qwen2.5-7B-Instruct"model = AutoModelForCausalLM.from_pretrained( base_model, quantization_config=bnb_config, # Opsiyonel device_map="auto") # LoRA adapter yüklemodel = PeftModel.from_pretrained(model, "Huseyin/yks-turkish-7b-lora")tokenizer = AutoTokenizer.from_pretrained("Huseyin/yks-turkish-7b-lora") # Soru çözmedef yks_coz(soru): prompt = f"""Sen bir YKS uzmanısın. Soruyu çöz ve Türkçe açıkla. Soru: {soru} Çözüm:""" inputs = tokenizer(prompt, return_tensors="pt") outputs = model.generate( **inputs, max_new_tokens=300, temperature=0.7, do_sample=True, top_p=0.9 ) return tokenizer.decode(outputs[0], skip_special_tokens=True) # Testprint(yks_coz("x² - 5x + 6 = 0 denkleminin kökleri nelerdir?"))