GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
AhiskaAI
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
AhiskaAI
Model Tree
Input Modalities
Output Modalities
Supported Functionality
AhıskaAI is an independent open-source AI research project focused on small language models, custom tokenization, Turkish and Ahıska Turkish, and reproducible low-resource AI experiments.
The AhıskaAI v0.4 series explores different model sizes and training approaches while keeping the models lightweight and accessible.
This release is the Base language model of the AhıskaAI v0.4 235M model line.
AhıskaAI v0.4 235M Base is the largest model in the AhıskaAI v0.4 series, trained completely from scratch for Turkish text generation and small language model research.
The model was trained from scratch using FineWeb-2 HQ Turkish and the custom tokenizer developed for the AhıskaAI v0.4 series.
Training note: Unlike the other AhıskaAI v0.4 Base models (which were trained for 2 epochs), this 235M Base model was trained for only 1 epoch over the same ~1.7B token FineWeb-2 HQ Turkish corpus.
This is an experimental small language model developed as part of the AhıskaAI research project.
| Specification | Value |
|---|---|
| Model name | AhıskaAI v0.4 235M Base |
| Architecture | LlamaForCausalLM |
| Hidden size | 1024 |
| Hidden layers | 20 |
| Attention heads | 16 |
| Key/Value heads | 4 |
| Intermediate size | 2560 |
| Head dimension | 64 |
| Maximum context length | 2048 |
| Vocabulary size | 24,000 |
| Activation |
The model uses the LlamaForCausalLM architecture, but it was trained completely from scratch rather than initialized from the weights of an existing Llama model.
AhıskaAI v0.4 235M Base was trained completely from scratch.
The pretraining data was based entirely on:
FineWeb-2 HQ Turkish
The model was trained for 1 epoch over approximately 1.7B tokens of training data — half the number of passes used for the smaller AhıskaAI v0.4 Base models (35M and 145M), which were each trained for 2 epochs over the same corpus.
The model was not initialized from a larger pretrained model and was not fine-tuned from an existing language model.
The training objective was causal language modeling, where the model learns to predict the next token based on the preceding context.
AhıskaAI v0.4 uses a custom 24K vocabulary BPE tokenizer.
The tokenizer is shared across the AhıskaAI v0.4 model series and was designed with a strong focus on:
A custom tokenizer was used instead of simply relying on the tokenizer of another pretrained language model.
AhıskaAI v0.4 235M Base can be used for:
The model is primarily intended for experimentation and research rather than production-critical applications.
As a Base model, it is not instruction-tuned and is not specifically optimized to behave as a conversational assistant. See AhıskaAI v0.4 235M IT for the instruction-tuned version.
bash
pip install -U transformers torch
python
import torchfrom transformers import AutoTokenizer, AutoModelForCausalLMmodel_id = "AhiskaAI/AhiskaAI-v0.4-235M-Base"device = "cuda" if torch.cuda.is_available() else "cpu"dtype = torch.bfloat16 if device == "cuda" else torch.float32tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(model_id,torch_dtype=dtype).to(device)prompt = "Ahıska Türkleri hakkında"inputs = tokenizer(prompt, return_tensors="pt").to(device)with torch.no_grad():outputs = model.generate(**inputs,max_new_tokens=100,temperature=0.8,top_p=0.9,do_sample=True,repetition_penalty=1.1)generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]print(tokenizer.decode(generated_tokens, skip_special_tokens=True))
Note: This is a Base language model and does not use an instruction/chat template. Text generation should be performed by providing a text prompt and continuing the sequence.
AhıskaAI v0.1 Lite Benchmark is an experimental benchmark consisting of 100 questions evaluating Turkish quality, topic relevance, and factual/logical correctness (binary scoring, averaged).
Note: AhıskaAI v0.1 Lite Benchmark is an experimental benchmark and should not be considered a standardized benchmark.
| Rank | Model | Score |
|---|---|---|
| 1 | Gemma 3 1B | 85.86% |
| 2 | Qwen 3 0.6B | 55.22% |
| 3 | AhıskaAI v0.4 145M IT (New) | 54.88% |
| 4 | AhıskaAI v0.4 235M | 51.18% |
| 5 | AhıskaAI v0.4 145M IT (Old) | 50.17% |
| 6 | Gemma 3 270M |
Note: The benchmark entry above corresponds to the instruction-tuned AhıskaAI v0.4 235M IT model, not this raw Base model — Base models are typically not directly comparable on instruction-style benchmarks. It is included here for completeness of the AhıskaAI v0.4 235M model line.
This model is intentionally small and experimental.
Because of its size, single-epoch pretraining, and Base-model nature, it may:
As a Base model, it has not been specifically trained to follow natural-language instructions or behave as a conversational assistant.
Do not rely on this model for medical, legal, financial, safety-critical, or other high-stakes decisions.
This model is a Base model and was trained completely from scratch.
It was not initialized from another pretrained language model and was not fine-tuned from a larger model.
The training process consisted of causal language model pretraining on FineWeb-2 HQ Turkish for 1 epoch over approximately 1.7B tokens.
This model is released under the Apache 2.0 License.
If you use this model in a project, publication, application, or other public work, attribution to AhıskaAI is appreciated.
AhıskaAI v0.4 235M Base — A small causal language model trained from scratch for Turkish and Ahıska Turkish research.
Project: AhıskaAI Model: AhıskaAI v0.4 235M Base
AhıskaAI; küçük dil modelleri, özel tokenizasyon, Türkçe ve Ahıska Türkçesi ve düşük kaynaklı yapay zekâ deneyleri üzerine çalışan bağımsız, açık kaynaklı bir AI araştırma projesidir.
AhıskaAI v0.4 serisi, farklı model boyutlarını ve eğitim yaklaşımlarını deneyerek hafif ve erişilebilir dil modelleri geliştirmeyi amaçlamaktadır.
Bu sürüm, AhıskaAI v0.4 235M Base dil modelidir ve serinin şu ana kadarki en büyük modelidir.
AhıskaAI v0.4 235M Base, Türkçe metin üretimi ve küçük dil modeli araştırmaları için tamamen sıfırdan eğitilmiş, AhıskaAI v0.4 serisinin en büyük modelidir.
Model, FineWeb-2 HQ Turkish verisi ve AhıskaAI v0.4 serisi için geliştirilen özel tokenizer kullanılarak sıfırdan eğitilmiştir.
Eğitim notu: Serideki diğer Base modellerin aksine (2 epoch eğitilmişlerdi), bu 235M Base model aynı ~1.7B token'lık FineWeb-2 HQ Turkish korpusu üzerinde yalnızca 1 epoch eğitilmiştir.
Bu model, AhıskaAI araştırma projesinin bir parçası olarak geliştirilmiş deneysel bir küçük dil modelidir.
| Özellik | Değer |
|---|---|
| Model adı | AhıskaAI v0.4 235M Base |
| Mimari | LlamaForCausalLM |
| Hidden size | 1024 |
| Hidden layers | 20 |
| Attention heads | 16 |
| Key/Value heads | 4 |
| Intermediate size | 2560 |
| Head dimension | 64 |
| Maksimum context | 2048 |
Model LlamaForCausalLM mimarisini kullanmaktadır ancak mevcut bir Llama modelinin ağırlıkları kullanılarak oluşturulmamıştır. Model tamamen sıfırdan eğitilmiştir.
AhıskaAI v0.4 235M Base modeli tamamen sıfırdan eğitilmiştir.
Ön eğitim verisi tamamen:
FineWeb-2 HQ Turkish
verisine dayanmaktadır.
Model yaklaşık 1.7B token üzerinde toplam 1 epoch boyunca eğitilmiştir — serideki daha küçük Base modellerin (35M ve 145M, her ikisi de aynı korpus üzerinde 2 epoch eğitilmişti) yarısı kadar geçiş sayısı ile.
Model daha büyük bir pretrained modelin ağırlıkları kullanılarak başlatılmamış ve mevcut başka bir dil modeli üzerinden fine-tune edilmemiştir.
Eğitimde causal language modeling yaklaşımı kullanılmıştır. Model, verilen bağlama göre bir sonraki tokenı tahmin etmeyi öğrenmektedir.
AhıskaAI v0.4 serisinde özel olarak geliştirilmiş 24K vocabulary BPE tokenizer kullanılmaktadır.
Tokenizer tüm AhıskaAI v0.4 serisi ile ortaktır ve özellikle:
üzerine odaklanmaktadır.
Başka bir pretrained dil modelinin tokenizer'ı doğrudan kullanılmamıştır.
AhıskaAI v0.4 235M Base şu alanlarda kullanılabilir:
Model öncelikli olarak deneysel ve araştırma amaçlıdır.
Base model olduğu için instruction-tuned değildir ve doğrudan sohbet asistanı olarak davranması için özel olarak eğitilmemiştir. Instruction-tuned sürüm için AhıskaAI v0.4 235M IT modeline bakınız.
bash
pip install -U transformers torch
python
import torchfrom transformers import AutoTokenizer, AutoModelForCausalLMmodel_id = "AhiskaAI/AhiskaAI-v0.4-235M-Base"device = "cuda" if torch.cuda.is_available() else "cpu"dtype = torch.bfloat16 if device == "cuda" else torch.float32tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(model_id,torch_dtype=dtype).to(device)prompt = "Ahıska Türkleri hakkında"inputs = tokenizer(prompt, return_tensors="pt").to(device)with torch.no_grad():outputs = model.generate(**inputs,max_new_tokens=100,temperature=0.8,top_p=0.9,do_sample=True,repetition_penalty=1.1)generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]print(tokenizer.decode(generated_tokens, skip_special_tokens=True))
Not: Bu model bir Base language modelidir ve instruction/chat template kullanmaz. Metin üretimi, bir metin prompt'u verilerek devam ettirme şeklinde gerçekleştirilmelidir.
100 sorudan oluşan, Türkçe kalitesi, konu ilgisi ve bilgisel/mantıksal doğruluğu değerlendiren deneysel bir benchmark (binary scoring, ortalama).
Not: Bu deneysel bir benchmark'tır, standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.
| Sıra | Model | Skor |
|---|---|---|
| 1 | Gemma 3 1B | 85.86% |
| 2 | Qwen 3 0.6B | 55.22% |
| 3 | AhıskaAI v0.4 145M IT (New) | 54.88% |
| 4 | AhıskaAI v0.4 235M | 51.18% |
| 5 | AhıskaAI v0.4 145M IT (Old) | 50.17% |
| 6 | Gemma 3 270M |
Not: Yukarıdaki benchmark sonucu bu ham Base modele değil, instruction-tuned AhıskaAI v0.4 235M IT modeline aittir — Base modeller genellikle instruction tarzı benchmark'larda doğrudan karşılaştırılabilir değildir. Bu sonuç, AhıskaAI v0.4 235M model ailesinin bütünlüğü açısından burada da verilmiştir.
Bu model özellikle küçük ve deneysel bir Base modelidir.
Boyutu, tek epoch'luk ön eğitimi ve Base model niteliği nedeniyle:
Base model olduğu için doğal dil talimatlarını takip etmek veya sohbet asistanı gibi davranmak üzere özel olarak eğitilmemiştir.
Model tıbbi, hukuki, finansal, güvenlik açısından kritik veya yüksek riskli kararlar için kullanılmamalıdır.
Bu model Base modeldir ve tamamen sıfırdan eğitilmiştir.
Başka bir pretrained dil modelinin ağırlıkları kullanılarak başlatılmamış ve daha büyük bir model üzerinden fine-tune edilmemiştir.
Eğitim süreci, FineWeb-2 HQ Turkish verisi üzerinde yaklaşık 1.7B token kullanılarak toplam 1 epoch süren causal language model ön eğitiminden oluşmaktadır.
Bu model Apache 2.0 License altında yayınlanmıştır.
Bu modeli bir proje, yayın, uygulama veya başka bir kamuya açık çalışmada kullanıyorsanız AhıskaAI'ye atıfta bulunmanız rica edilir.
AhıskaAI v0.4 235M Base — Türkçe ve Ahıska Türkçesi araştırmaları için sıfırdan eğitilmiş küçük bir causal language model.
Proje: AhıskaAI Model: AhıskaAI v0.4 235M Base
| SiLU |
| Data type | bfloat16 |
| Position encoding | RoPE (theta 10,000) |
| Word embeddings | Tied |
| Attention dropout | 0.0 |
| Attention bias | None |
| MLP bias | None |
| 46.46% |
| 7 | Qwen 2.5 0.5B | 43.77% |
| 8 | AhıskaAI v0.4 35M | 43.43% |
| 9 | Llama 3.2 1B | 35.35% |
| 10 | SmolLM2 1.7B | 22.89% |
| 11 | SmolLM2 360M | 12.12% |
| 12 | SmolLM2 135M | 1.01% |
| Vocabulary | 24,000 |
| Aktivasyon | SiLU |
| Veri tipi | bfloat16 |
| Position encoding | RoPE (theta 10.000) |
| Word embeddings | Tied |
| Attention dropout | 0.0 |
| Attention bias | Yok |
| MLP bias | Yok |
| 46.46% |
| 7 | Qwen 2.5 0.5B | 43.77% |
| 8 | AhıskaAI v0.4 35M | 43.43% |
| 9 | Llama 3.2 1B | 35.35% |
| 10 | SmolLM2 1.7B | 22.89% |
| 11 | SmolLM2 360M | 12.12% |
| 12 | SmolLM2 135M | 1.01% |