Toivo0

gemma-3-finetune

README

License: apache-2.0

Model Açıklaması

Model, kullanıcıdan gelen istatistik sorularına Gemma-3 sohbet şablonu (<start_of_turn>user ... <end_of_turn><start_of_turn>model ... <end_of_turn>) formatında, doğrudan ve yapılandırılmış (başlıklar, madde işaretleri, örnekler içeren) yanıtlar üretecek şekilde eğitilmiştir. Eğitim verisindeki her örnek, bir soru-cevap çiftinin yanında model geliştirme sürecinde kullanılan bir "thinking" (akıl yürütme) alanı da içeriyordu; ancak son eğitimde modele yalnızca nihai, temizlenmiş cevap metni öğretilmiştir — çıktılarda ayrı bir <think> etiketi bulunmaz, model doğrudan sonuç cevabını üretir.

Kapsanan Konular

Eğitim verisi 7 modül altında toplanmış, aşağıdaki istatistik konularını kapsayan 400 soru-cevap çiftinden oluşur:

Table with columns: Modül, Genel Konu Alanı
Modül	Genel Konu Alanı
1	İstatistiğe giriş, betimsel vs. çıkarımsal istatistik, anakütle/örneklem
2	Merkezi eğilim ve yayılım ölçüleri
3	Olasılık ve dağılımlar
4	Hipotez testleri
5	Güven aralıkları
6	Korelasyon ve ilişki analizleri
7	Regresyon analizi ve ileri konular

Sorular üç kategoriye ayrılır:

Kavramsal (%47) — temel tanım ve kavram soruları
Yorumlama (%32) — verilen bir senaryonun/sonucun yorumlanmasını gerektiren sorular
Tuzak/Yanılgı (%21) — istatistikte sık yapılan yanlış çıkarımları test eden, dikkat gerektiren sorular

Kullanım Amacı ve Sınırlamalar

Uygun kullanım alanları:

Türkçe istatistik eğitimi alan öğrenciler için kavram açıklama ve pekiştirme asistanı
Betimsel/çıkarımsal istatistik, hipotez testi, regresyon gibi konularda örnek destekli açıklamalar

Bilinmesi gereken sınırlamalar:

Model yalnızca 1 milyar parametre büyüklüğünde bir taban modele dayanır; büyük modellere kıyasla akıl yürütme derinliği ve genel bilgi kapasitesi sınırlıdır.
İnce ayar verisi yalnızca 400 örnek içerir. Bu, dar bir konu/format için stil ve derinlik kazandırmaya yeterli olsa da, eğitim verisinde bulunmayan istatistik konularında (örn. Bayesyen istatistik, zaman serileri) model taban modelin genel bilgisine geri döner ve tutarlılığı garanti edilmez.
Model resmi bir benchmark veya kıyaslama testinden geçirilmemiştir. Performans değerlendirmesi henüz niteliksel (örnek çıktı incelemesi) düzeydedir; sayısal bir doğruluk/başarı metriği paylaşılmamaktadır.
Her dil modelinde olduğu gibi, model yanlış veya yanıltıcı istatistiksel bilgi üretebilir (halüsinasyon). Kritik/akademik kullanımlarda çıktıların bir uzman tarafından doğrulanması önerilir.

Eğitim Detayları

Eğitim Verisi

Kaynak: Toivo0/Turkce-istatistik-reasoning
Örnek sayısı: 400 soru-cevap çifti
Format: Her örnek tek turluk (single-turn) user/model sohbet çifti olarak Gemma-3 chat template'ine dönüştürülmüştür.

Eğitim Prosedürü

Eğitim, Unsloth kütüphanesi ile 4-bit quantized taban model üzerinde LoRA (parametre-etkin ince ayar) yöntemiyle, Hugging Face TRL kütüphanesinin SFTTrainer'ı kullanılarak gerçekleştirilmiştir.

Hiperparametreler:

Table with columns: Parametre, Değer
Parametre	Değer
Efektif batch size	8 (`per_device_train_batch_size=2` × `gradient_accumulation_steps=4`)
Epoch sayısı	3
Öğrenme oranı (learning rate)	2e-4
LR scheduler	linear
Warmup steps	5
Optimizer	adamw_8bit
Weight decay	0.001
Seed

Toplam eğitim adımı: 150 (400 örnek × 3 epoch ÷ efektif batch 8).

Donanım

Eğitim, Unsloth'un sağladığı bellek-etkin (memory-efficient) 4-bit eğitim altyapısı ile tek GPU üzerinde gerçekleştirilmiştir.

Depo İçeriği ve Kullanım

Bu depoda iki farklı model artefaktı bulunmaktadır:

adapter_model.safetensors — Yalnızca eğitilen LoRA katmanlarını içerir (küçük dosya boyutu). Kullanmak için taban modeli (unsloth/gemma-3-1b-it-unsloth-bnb-4bit) ayrıca yüklemeniz gerekir.
model.safetensors — Taban model ile LoRA katmanlarının birleştirilmiş (merged), 16-bit (bfloat16) tam hassasiyetli hali (~2GB). Tek başına yüklenebilir, taban modele veya peft kütüphanesine ayrıca ihtiyaç duymaz.

Bu depoda GGUF formatında bir dosya bulunmamaktadır. Ollama veya llama.cpp gibi araçlarla kullanmak isterseniz, model.safetensors üzerinden kendi GGUF dönüşümünüzü yapmanız gerekir (Unsloth'un save_pretrained_gguf fonksiyonu ile mümkündür).

Unsloth ile Kullanım (önerilen)

python
from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    model_name = "Toivo0/gemma-3-finetune",
    max_seq_length = 2048,
    load_in_4bit = False,  # Depodaki model.safetensors zaten 16-bit; True yaparsanız yükleme sırasında ayrıca 4-bit'e kırpılır (daha az VRAM, hafif kalite kaybı)
)
FastModel.for_inference(model)  # 2x daha hızlı çıkarım

messages = [
    {"role": "user", "content": "Merkezi limit teoremi nedir ve neden istatistikte bu kadar önemlidir?"},
]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt = True,
    return_tensors = "pt",
).to(model.device)

outputs = model.generate(input_ids = inputs, max_new_tokens = 512, temperature = 0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens = True))

🤗 Transformers ile Kullanım

python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "Toivo0/gemma-3-finetune"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype = torch.bfloat16,
    device_map = "auto",
)

messages = [
    {"role": "user", "content": "Merkezi limit teoremi nedir ve neden istatistikte bu kadar önemlidir?"},
]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt = True, return_tensors = "pt"
).to(model.device)

outputs = model.generate(inputs, max_new_tokens = 512, temperature = 0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens = True))

Eğer yukarıdaki kod model.safetensors yerine yalnızca adapter_model.safetensors bulursa, önce taban modeli yükleyip ardından peft kütüphanesi ile adapter'ı üzerine eklemeniz gerekir:

python
from peft import PeftModel
base_model = AutoModelForCausalLM.from_pretrained("unsloth/gemma-3-1b-it-unsloth-bnb-4bit", ...)
model = PeftModel.from_pretrained(base_model, "Toivo0/gemma-3-finetune")

Örnek Girdi Formatı

Model aşağıdaki gibi düz metin sohbet formatıyla eğitilmiştir:

markdown
<bos><start_of_turn>user
{soru}<end_of_turn>
<start_of_turn>model
{cevap}<end_of_turn>

En iyi sonuçlar için tokenizer.apply_chat_template kullanarak bu formatı otomatik oluşturmanız önerilir.

Teşekkür

Bu model, Unsloth kütüphanesi kullanılarak standart eğitime göre daha hızlı ve daha az bellek ile eğitilmiştir.

bibtex
@misc{unsloth,
  author       = {Unsloth AI and Han-Chen, Daniel and Han-Chen, Michael},
  title        = {Unsloth},
  year         = {2025},
  publisher    = {Github},
  howpublished = {\url{https://github.com/unslothai/unsloth}}
}

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Container

Run this model inference with full control and performance in your environment.