GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
Resad2173
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
Resad2173
Model Tree
unsloth/gemma-3-4b-it
Input Modalities
Output Modalities
Supported Functionality
Fine-tune edilmiş model (banka_model), taban model (gemma3:4b) ile Ollama üzerinden karşılaştırıldı.
| Benchmark | Banka Modeli | Taban Model (gemma3:4b) | Fark |
|---|---|---|---|
| MMLU-TR (62 bölümden 6200 soru) | %58.00 | %59.58 | -1.58 |
| TruthfulQA-TR (816 soru, malhajar/truthfull_qa-tr) | %61.76 | %56.86 | +4.90 |
Yorum: Fine-tuning, genel akademik bilgide (MMLU) küçük bir gerilemeye yol açtı — bu, literatürde "catastrophic forgetting" olarak bilinen, domain-spesifik fine-tuning'in bilinen bir yan etkisidir. Ancak doğruluk/halüsinasyon direncini ölçen TruthfulQA'da banka modeli taban modelden daha iyi performans gösterdi; bu, eğitim verisindeki temkinli, aşırı iddialı olmayan cevap tarzının modelin yanıltıcı bilgi üretme eğilimini azaltmış olabileceğini düşündürüyor.
python
from unsloth import FastLanguageModelmodel, tokenizer = FastLanguageModel.from_pretrained(model_name="Resad2173/Gemmas_Banka_LoRA_Magibu",max_seq_length=2048,load_in_4bit=True,)FastLanguageModel.for_inference(model)
Test setinden rastgele seçilen sorular, model hiç görmediği veriyle test edildi:
Soru: Kredi kartımdaki kampanya ve fırsatları nasıl öğrenebilirim? Model cevabı: Kampanyaları öğrenmek için bankanızın web sitesini kontrol edebilir, mobil uygulamanızdaki güncellemeleri takip edebilir ya da müşteri hizmetleriyle iletişime geçebilirsiniz.
Soru: DASK poliçemi yıllık mı, aylık mı ödeyebilirim? Model cevabı: DASK poliçesi genellikle yıllık olarak ödenir. Ancak bazı sigorta şirketleri aylık ödeme seçenekleri sunabilir.
Soru: Hangi kredileri alabileceğimi nasıl öğrenebilirim? Model cevabı: Hangi kredileri alabileceğinizi öğrenmek için bankanızın web sitesini ziyaret edebilir veya müşteri hizmetleri ile iletişime geçebilirsiniz.
Soru: Vadeli hesabımın faizi ne zaman yatacak? Model cevabı: Vadeli hesabınızın faizi, başvurduğunuz süreye bağlı olarak nakite çevrilip alınabilir. Çevrim süresi bankanıza göre değişiklik gösterebilir.
Hazırlayan: Resad2173