menesnas

gemma_4_pharmacy_lora

README

License: apache-2.0

Kullanım

python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_id = "google/gemma-4-E4B-it"
adapter_id = "menesnas/gemma_4_pharmacy_lora"

tokenizer = AutoTokenizer.from_pretrained(base_model_id)
model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model = PeftModel.from_pretrained(model, adapter_id)
model.eval()

Benchmark Sonuçları

Model, Türkçe MMLU benchmark'ı ile değerlendirilmiştir (62 bölüm, bölüm başına 100 soru, toplam 6200 soru; greedy/deterministic decoding, max_new_tokens=42).

Genel Sonuç

Table with columns: Metrik, Değer
Metrik	Değer
Doğruluk (accuracy)	%70.53 (4373/6200)
Toplam süre	1901.4 saniye
Quantization	bfloat16

Bölüm Bazlı Sonuçlar

Table with columns: Bölüm, Doğru, Toplam, Başarı %
Bölüm	Doğru	Toplam	Başarı %
AUZEF	74	100	74.0
Acil Durum ve Afet Yönetimi	78	100	78.0
Adalet	71	100	71.0
Aşçılık	67	100	67.0
Bankacılık ve Sigortacılık

Genel Liderlik Tablosu Karşılaştırması

Aşağıdaki tablo, Türkçe MMLU Liderlik Tablosu'ndan alınan modellerle bu modelin karşılaştırmasını gösterir (tam liste 67 modelden oluşur; en düşük skorlu ~29 model kısaltılmıştır).

Table with columns: #, Model, Ortalama (%)
#	Model	Ortalama (%)
1	gpt-4o	84.84
2	claude-3-5-sonnet-20240620	84.40
3	llama3.3:latest	79.42
4	gemini-1.5-pro	76.74
5	qwen3:32b	75.98
6	gemma3:27b	75.06

Pharmacy Holdout Benchmark Sonucu

(jfpanu 2020-2021 sayılarından, eğitimde HİÇ kullanılmamış 100 çoktan seçmeli soru)

Table with columns: #, Model, Doğru, Toplam, Başarı %, Süre (s)
#	Model	Doğru	Toplam	Başarı %	Süre (s)
1	gemma-pharmacy-lora	96	100	96.0	32.1
2	gemma-4-E4B-it (base)	94	100	94.0	19.6
3	qwen3-4b-instruct	94

gemma-pharmacy-lora — Bölüm Bazlı Sonuçlar

Table with columns: Bölüm, Doğru, Toplam, Başarı %
Bölüm	Doğru	Toplam	Başarı %
Analitik Kimya	4	4	100.0
Botanik/Fitoterapi	7	8	87.5
Eczacılık Mesleği	6	6	100.0
Farmakognozi	20	20	100.0
Farmakoloji

Uploaded model

Developed by: menesnas
License: apache-2.0
Finetuned from model : unsloth/gemma-4-E4B-it

This gemma4 model was trained 2x faster with Unsloth

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Container

Run this model inference with full control and performance in your environment.

Learn more

Model Details

Model Provider

menesnas

Model Tree

Base

google/gemma-4-E4B-it

Adapter

this model

Input Modalities

TextImage

Output Modalities

Text

Supported Functionality

Dedicated EndpointsContainer

Explore FriendliAI today

Get started Talk to an engineer