GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
Endezyar
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
Endezyar
Model Tree
unsloth/gemma-3-1b-it-unsloth-bnb-4bit
Input Modalities
Output Modalities
Supported Functionality
Bu model, alibayram/yapay_zeka_turkce_mmlu_model_cevaplari veri seti ve Türkçe MMLU ölçüm betiği (olcum.py) kullanılarak değerlendirilmiştir.
google/gemma-3-1b-it base modeli üzerinden [Endezyar/siyer_datasets] veri seti eğiltilmişdi. Lakin sistem çıktıları tatmin edici değildi. Yapılan testlerde başarı oranı %25 rastlantı sınırının altında kalmıştır.
Ne var ki base model kendi haliyle teste sokulduğundan hemen hemen aynı sonuçlar alınmış ve sorunun veri setinden değil modelden olduğu sonucuna varılmıştır.
| Model | Model Türü | MMLU Başarı Skoru (%) | Test Süresi (sn) |
|---|---|---|---|
| google/gemma-3-1b-it | Base Model | %22.37 | 3704.42 saniye |
| Metrik | Değer |
|---|---|
| Soru Sayısı | 6200 |
| Doğru Cevap Sayısı | 1387 |
| Başarı Oranı | %22.37 |
| Toplam Süre | 3704.42 saniye |
This gemma3_text model was trained 2x faster with Unsloth and Huggingface's TRL library.