AhiskaAI

AhiskaAI-v0.4-35M-Base

Deploy Dedicated

README

License: apache-2.0

Türkçe

AhıskaAI v0.4 Serisi

AhıskaAI v0.4 serisi, Türkçe odaklı bir dil modeli serisidir. v0.3 serisine göre başlıca gelişmeler şunlardır;

Tamamen Türkçe odaklı bir veri seti
Daha gelişmiş bir eğitim ve SFT süreci
Kontrollü ve araştırma odaklı geliştirme
Farklı parametre seviyelerinde modeller

AhıskaAI v0.4 35M Base

AhıskaAI v0.4 35M Base, yaklaşık 43.2 milyon parametreye sahip ve tamamen from scratch (sıfırdan) geliştirilmiş bir küçük dil modelidir (SLM).

Model, Türkçe odaklı olarak ve düşük sistem gereksinimleri düşünülerek geliştirilmiştir. Bir sohbet modeli olarak değil, temel bir dil modeli (Base Model) olarak kullanılmak üzere tasarlanmıştır.

AhıskaAI v0.4 35M Base — AhıskaAI v0.1 Lite Benchmark Sonuçları

AhıskaAI v0.1 Lite Benchmark, 100 sorudan oluşan ve Türkçe düzgünlüğü, konu alakası ve doğruluk kriterlerini değerlendiren deneysel bir benchmark çalışmasıdır.

Benchmark Sonuçları ve veri seti: AhıskaAI v0.1 Lite Benchmark

Not: AhıskaAI v0.1 Lite Benchmark deneysel bir benchmark çalışmasıdır ve standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.

Genel Benchmark

Table with columns: Sıra, Model, Skor
Sıra	Model	Skor
1	Gemma 3 1B	85.86%
2	Qwen 3 0.6B	55.22%
3	AhıskaAI v0.4.1 135M	54.88%
4	AhıskaAI v0.4 235M	51.18%
5	AhıskaAI v0.4 135M	50.17%
6	Gemma 3 270M	46.46%

Türkçe Performansı

Table with columns: Sıra, Model, Skor
Sıra	Model	Skor
1	AhıskaAI v0.4 135M	100.00%
1	Gemma 3 1B	100.00%
3	AhıskaAI v0.4.1 135M	97.98%
4	AhıskaAI v0.4 235M	96.97%
4	Gemma 3 270M	96.97%
6

Konu Alakası

Table with columns: Sıra, Model, Skor
Sıra	Model	Skor
1	Gemma 3 1B	84.85%
2	Qwen 3 0.6B	47.47%
3	AhıskaAI v0.4.1 135M	44.44%
4	Llama 3.2 1B	40.40%
5	AhıskaAI v0.4 235M	38.38%
6	AhıskaAI v0.4 135M	36.36%

Doğruluk

Table with columns: Sıra, Model, Skor
Sıra	Model	Skor
1	Gemma 3 1B	72.73%
2	Qwen 3 0.6B	31.31%
3	AhıskaAI v0.4.1 135M	22.22%
4	AhıskaAI v0.4 235M	18.18%
5	Llama 3.2 1B	17.17%
6	Qwen 2.5 0.5B	16.16%

Model Özellikleri

AhıskaAI v0.4 35M Base, LlamaForCausalLM mimarisini kullanan ancak tamamen sıfırdan (from scratch) eğitilmiş bir Causal Language Model'dir.

Parametre sayısı: ~43.2M
Mimari: LlamaForCausalLM
Hidden size: 384
Hidden layers: 16
Attention heads: 8
Key/Value heads: 2
Intermediate size: 1024
Head dimension: 48
Maximum context length: 2048 tokens
Vocabulary size: 24,000
Activation: SiLU
Precision: bfloat16
Position embedding: RoPE
Word embeddings: Tied
Attention dropout: 0.0
MLP bias: Yok
Attention bias: Yok

Eğitim

AhıskaAI v0.4 35M Base, tamamen sıfırdan eğitilmiş ve toplam 3 epoch eğitim görmüştür.

Eğitimde FineWeb-2 HQ Türkçe verisi kullanılmıştır. Model, başka bir büyük modelden alınan ağırlıklarla başlatılmamış veya 1.7B parametreli bir model üzerinden fine-tune edilmemiştir.

Bu model doğrudan kendi mimarisi ve tokenizer'ı ile eğitilmiştir.

Tokenizer

AhıskaAI v0.4 serisinin tamamında ortak olarak kullanılan özel bir 24K vocabulary BPE tokenizer bulunmaktadır.

Tokenizer, özellikle Türkçe metinler için geliştirilmiş olup AhıskaAI v0.4 serisinin tüm modellerinde ortaktır.

Tokenizer: BPE
Vocabulary size: 24,000
Odak: Türkçe
AhıskaAI v0.4 serisi ile ortak

Kullanım Amacı

Bu model, Türkçe metin üretimi, küçük dil modelleri üzerine araştırmalar ve düşük kaynaklı sistemlerde SLM deneyleri için geliştirilmiştir.

35M Base, bir sohbet modeli değildir. Sohbet ve talimat takip performansı için AhıskaAI v0.4 35M Instruct sürümünün kullanılması daha uygundur.

Sınırlamalar

Bu model yaklaşık 43.2M parametreye sahip küçük bir dil modeli olduğu için daha büyük dil modellerine kıyasla bilgi birikimi, akıl yürütme ve metin üretim kalitesi sınırlıdır.

Model zaman zaman yanlış, anlamsız veya konu dışı metinler üretebilir. Özellikle doğruluk gerektiren görevlerde model çıktıları kontrol edilmelidir.

Benchmark sonuçları deneysel bir çalışmaya dayanmaktadır ve modelin tüm kullanım alanlarındaki gerçek performansını temsil etmeyebilir.

Diğer Sürümler

AhıskaAI v0.4 35M Base — Bu model
AhıskaAI v0.4 35M Instruct — Instruction-tuned sürüm

Nasıl Çalıştırılır

markdown
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI_v0.4_35M_Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri "

inputs = tokenizer(prompt, return_tensors="pt").to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Not: Bu bir Temel (Base) modeldir, talimatlara göre ince ayar yapılmış (instruction-tuned) bir sohbet modeli değildir. Talimat takibi ve sohbet amaçlı kullanım için AhıskaAI v0.4 35M Instruct modeline bakınız.

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Container

Run this model inference with full control and performance in your environment.