GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
AhiskaAI
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
AhiskaAI
Model Tree
Input Modalities
Output Modalities
Supported Functionality
AhıskaAI is an independent open-source AI research project focused on small language models, custom tokenization, Turkish and Ahıska Turkish, and reproducible low-resource AI experiments.
The AhıskaAI v0.4 series explores different model sizes and training approaches while keeping the models lightweight and accessible.
This release is the instruction-tuned (IT) version of the AhıskaAI v0.4 35M Base model.
AhıskaAI v0.4 35M IT is a small instruction-tuned language model designed for Turkish question answering, instruction following, text transformation, and conversational experiments.
The underlying Base model was trained completely from scratch. This version was then instruction-tuned using a ChatML-style conversation format with system, user, and assistant roles.
Despite the "35M" release name, the actual model contains approximately 43.2M parameters.
This is an experimental small language model developed as part of the AhıskaAI research project.
| Specification | Value |
|---|---|
| Model name | AhıskaAI v0.4 35M IT |
| Parameters | ~43.2M |
| Architecture | LlamaForCausalLM |
| Hidden size | 384 |
| Hidden layers | 16 |
| Attention heads | 8 |
| Key/Value heads | 2 |
| Intermediate size | 1024 |
| Head dimension | 48 |
| Maximum context length | 2048 |
| Vocabulary size | 24,000 |
| Activation | SiLU |
| Data type | bfloat16 |
| Position encoding | RoPE |
| Word embeddings | Tied |
| Attention dropout | 0.0 |
| Attention bias | None |
| MLP bias | None |
The model uses the LlamaForCausalLM architecture, but the underlying Base model was trained completely from scratch rather than initialized from the weights of an existing Llama model.
The underlying AhıskaAI v0.4 35M Base model was trained completely from scratch for a total of 3 epochs.
The pretraining data was based entirely on:
FineWeb-2 HQ Turkish
The Base model was not initialized from a larger pretrained model and was not fine-tuned from a 1.7B parameter model.
After the Base model training, this version received an instruction-tuning stage.
The instruction-tuning data uses a ChatML-style conversation format consisting of:
systemuserassistantroles.
A typical training example follows this structure:
text
<|im_start|>systemSen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|><|im_start|>userAşağıdaki cümleyi daha okunaklı hale getirmek için metin biçimlendirmesini değiştirin. Öğrencinin tamamlaması gereken karmaşık bir problemi vardı.<|im_end|><|im_start|>assistantÖğrencinin tamamlaması gereken karmaşık bir problem vardı.<|im_end|>
This format was used to teach the model to respond to user instructions while maintaining a conversational structure.
The instruction-tuning stage focused on improving:
AhıskaAI v0.4 uses a custom 24K vocabulary BPE tokenizer.
The tokenizer is shared across the AhıskaAI v0.4 model series and was designed with a strong focus on:
A custom tokenizer was used instead of simply relying on the tokenizer of another pretrained language model.
AhıskaAI v0.4 35M IT can be used for:
The model is particularly intended for experimentation and research rather than production-critical applications.
You can run the model using the Hugging Face Transformers library.
bash
pip install -U transformers torch
The model can be used with the system/user/assistant conversation structure used during instruction tuning.
python
import torchfrom transformers import AutoTokenizer, AutoModelForCausalLMmodel_id = "AhiskaAI/AhiskaAI-v0.4-35M-IT"device = "cuda" if torch.cuda.is_available() else "cpu"dtype = torch.bfloat16 if device == "cuda" else torch.float32tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(model_id,torch_dtype=dtype).to(device)messages = [{"role": "system","content": "Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın."},{"role": "user","content": "Ahıska Türkleri hakkında kısa bir bilgi ver."}]prompt = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)inputs = tokenizer(prompt,return_tensors="pt").to(device)with torch.no_grad():outputs = model.generate(**inputs,max_new_tokens=100,temperature=0.8,top_p=0.9,do_sample=True,repetition_penalty=1.1)generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]print(tokenizer.decode(generated_tokens,skip_special_tokens=True))
Note: This example uses
apply_chat_template(). The tokenizer should provide the appropriate chat template for the model's ChatML-style format.
If you want to construct the prompt manually, the model's instruction format is:
text
<|im_start|>systemSen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|><|im_start|>userKullanıcı sorusu buraya gelir.<|im_end|><|im_start|>assistant
Generation should begin after the assistant header.
AhıskaAI v0.1 Lite Benchmark is an experimental benchmark consisting of 100 questions and evaluating:
Each criterion is evaluated using a binary scoring system, and the final score is calculated as an overall average.
Note: AhıskaAI v0.1 Lite Benchmark is an experimental benchmark and should not be considered a standardized benchmark.
| Rank | Model | Score |
|---|---|---|
| 1 | Gemma 3 1B | 85.86% |
| 2 | Qwen 3 0.6B | 55.22% |
| 3 | AhıskaAI v0.4.1 135M | 54.88% |
| 4 | AhıskaAI v0.4 235M | 51.18% |
| 5 | AhıskaAI v0.4 135M | 50.17% |
| 6 | Gemma 3 270M | 46.46% |
The benchmark result above belongs to the AhıskaAI v0.4 35M Base model, which is the underlying Base model of this IT release.
| Rank | Model | Score |
|---|---|---|
| 1 | AhıskaAI v0.4 135M | 100.00% |
| 1 | Gemma 3 1B | 100.00% |
| 3 | AhıskaAI v0.4.1 135M | 97.98% |
| 4 | AhıskaAI v0.4 235M | 96.97% |
| 4 | Gemma 3 270M | 96.97% |
| 6 | AhıskaAI v0.4 35M |
| Rank | Model | Score |
|---|---|---|
| 1 | Gemma 3 1B | 84.85% |
| 2 | Qwen 3 0.6B | 47.47% |
| 3 | AhıskaAI v0.4.1 135M | 44.44% |
| 4 | Llama 3.2 1B | 40.40% |
| 5 | AhıskaAI v0.4 235M | 38.38% |
| 6 | AhıskaAI v0.4 135M | 36.36% |
| Rank | Model | Score |
|---|---|---|
| 1 | Gemma 3 1B | 72.73% |
| 2 | Qwen 3 0.6B | 31.31% |
| 3 | AhıskaAI v0.4.1 135M | 22.22% |
| 4 | AhıskaAI v0.4 235M | 18.18% |
| 5 | Llama 3.2 1B | 17.17% |
| 6 | Qwen 2.5 0.5B | 16.16% |
This model is intentionally very small and experimental.
Because of its size, it may:
Instruction tuning improves the model's usability and instruction-following behavior, but it does not eliminate these limitations.
Do not rely on this model for medical, legal, financial, safety-critical, or other high-stakes decisions.
This model is instruction-tuned from:
AhıskaAI v0.4 35M Base
The Base model was trained completely from scratch before the instruction-tuning stage.
This model is released under the Apache 2.0 License.
If you use this model in a project, publication, application, or other public work, attribution to AhıskaAI is appreciated.
AhıskaAI v0.4 35M IT — An instruction-tuned small language model for Turkish and Ahıska Turkish research.
Project: AhıskaAI Model: AhıskaAI v0.4 35M IT
AhıskaAI; küçük dil modelleri, özel tokenizasyon, Türkçe ve Ahıska Türkçesi ve düşük kaynaklı yapay zekâ deneyleri üzerine çalışan bağımsız, açık kaynaklı bir AI araştırma projesidir.
AhıskaAI v0.4 serisi, farklı model boyutlarını ve eğitim yaklaşımlarını deneyerek hafif ve erişilebilir dil modelleri geliştirmeyi amaçlamaktadır.
Bu sürüm, AhıskaAI v0.4 35M Base modelinin instruction-tuned (IT) sürümüdür.
AhıskaAI v0.4 35M IT, Türkçe soru-cevap, talimat takibi, metin dönüştürme ve sohbet deneyleri için geliştirilmiş küçük bir instruction-tuned dil modelidir.
Modelin temelini oluşturan Base model tamamen sıfırdan eğitilmiştir. Bu sürüm ise daha sonra system, user ve assistant rollerinden oluşan ChatML tarzı bir konuşma formatı kullanılarak instruction tuning sürecinden geçirilmiştir.
Modelin sürüm adı 35M olsa da gerçek parametre sayısı yaklaşık 43.2M'dir.
Bu model, AhıskaAI araştırma projesinin bir parçası olarak geliştirilmiş deneysel bir küçük dil modelidir.
| Özellik | Değer |
|---|---|
| Model adı | AhıskaAI v0.4 35M IT |
| Parametre sayısı | ~43.2M |
| Mimari | LlamaForCausalLM |
| Hidden size | 384 |
| Hidden layers | 16 |
| Attention heads | 8 |
| Key/Value heads | 2 |
| Intermediate size | 1024 |
| Head dimension | 48 |
Model LlamaForCausalLM mimarisini kullanmaktadır ancak temel model mevcut bir Llama modelinin ağırlıkları kullanılarak oluşturulmamıştır. Base model tamamen sıfırdan eğitilmiştir.
AhıskaAI v0.4 35M Base modeli tamamen sıfırdan toplam 3 epoch boyunca eğitilmiştir.
Ön eğitim verisi tamamen:
FineWeb-2 HQ Turkish
verisine dayanmaktadır.
Base model daha büyük bir pretrained modelin ağırlıkları kullanılarak başlatılmamış ve 1.7B parametreli bir model üzerinden fine-tune edilmemiştir.
Base model eğitiminden sonra bu sürüme instruction tuning uygulanmıştır.
Instruction tuning verileri ChatML tarzı bir konuşma formatı kullanmaktadır.
Format şu rollerden oluşmaktadır:
systemuserassistantÖrnek eğitim verisi:
text
<|im_start|>systemSen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|><|im_start|>userAşağıdaki cümleyi daha okunaklı hale getirmek için metin biçimlendirmesini değiştirin. Öğrencinin tamamlaması gereken karmaşık bir problemi vardı.<|im_end|><|im_start|>assistantÖğrencinin tamamlaması gereken karmaşık bir problem vardı.<|im_end|>
Bu format kullanılarak modelin kullanıcı talimatlarına uygun cevaplar üretmesi ve konuşma yapısını takip etmesi hedeflenmiştir.
Instruction tuning aşamasında özellikle:
üzerine odaklanılmıştır.
AhıskaAI v0.4 serisinde özel olarak geliştirilmiş 24K vocabulary BPE tokenizer kullanılmaktadır.
Tokenizer tüm AhıskaAI v0.4 serisi ile ortaktır ve özellikle:
üzerine odaklanmaktadır.
Başka bir pretrained dil modelinin tokenizer'ı doğrudan kullanılmamıştır.
AhıskaAI v0.4 35M IT şu alanlarda kullanılabilir:
Model öncelikli olarak deneysel ve araştırma amaçlıdır.
Modeli Hugging Face Transformers ile çalıştırabilirsiniz.
bash
pip install -U transformers torch
Model, instruction tuning sırasında kullanılan system/user/assistant konuşma yapısıyla çalıştırılabilir.
python
import torchfrom transformers import AutoTokenizer, AutoModelForCausalLMmodel_id = "AhiskaAI/AhiskaAI-v0.4-35M-IT"device = "cuda" if torch.cuda.is_available() else "cpu"dtype = torch.bfloat16 if device == "cuda" else torch.float32tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(model_id,torch_dtype=dtype).to(device)messages = [{"role": "system","content": "Sen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın."},{"role": "user","content": "Ahıska Türkleri hakkında kısa bir bilgi ver."}]prompt = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)inputs = tokenizer(prompt,return_tensors="pt").to(device)with torch.no_grad():outputs = model.generate(**inputs,max_new_tokens=100,temperature=0.8,top_p=0.9,do_sample=True,repetition_penalty=1.1)generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]print(tokenizer.decode(generated_tokens,skip_special_tokens=True))
Not: Bu örnekte
apply_chat_template()kullanılmaktadır. Tokenizer'ın model için uygun chat template bilgisini içermesi gerekir.
Prompt'u manuel olarak oluşturmak isterseniz modelin instruction formatı şu şekildedir:
text
<|im_start|>systemSen kibar, sorulan soruları tam cümlelerle yanıtlayan Türkçe bir asistansın.<|im_end|><|im_start|>userKullanıcı sorusu buraya gelir.<|im_end|><|im_start|>assistant
Üretim işlemi assistant başlığından sonra başlatılmalıdır.
AhıskaAI v0.1 Lite Benchmark, 100 sorudan oluşan deneysel bir benchmark'tır ve:
kriterlerini değerlendirmektedir.
Her kriter binary scoring sistemiyle değerlendirilmiş ve genel skor ortalama üzerinden hesaplanmıştır.
Not: AhıskaAI v0.1 Lite Benchmark deneysel bir benchmark'tır ve standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.
| Sıra | Model | Skor |
|---|---|---|
| 1 | Gemma 3 1B | 85.86% |
| 2 | Qwen 3 0.6B | 55.22% |
| 3 | AhıskaAI v0.4.1 135M | 54.88% |
| 4 | AhıskaAI v0.4 235M | 51.18% |
| 5 | AhıskaAI v0.4 135M | 50.17% |
| 6 | Gemma 3 270M | 46.46% |
Yukarıdaki benchmark sonucu bu IT modelinin temelini oluşturan AhıskaAI v0.4 35M Base modeline aittir.
| Sıra | Model | Skor |
|---|---|---|
| 1 | AhıskaAI v0.4 135M | 100.00% |
| 1 | Gemma 3 1B | 100.00% |
| 3 | AhıskaAI v0.4.1 135M | 97.98% |
| 4 | AhıskaAI v0.4 235M | 96.97% |
| 4 | Gemma 3 270M | 96.97% |
| 6 | AhıskaAI v0.4 35M |
| Sıra | Model | Skor |
|---|---|---|
| 1 | Gemma 3 1B | 84.85% |
| 2 | Qwen 3 0.6B | 47.47% |
| 3 | AhıskaAI v0.4.1 135M | 44.44% |
| 4 | Llama 3.2 1B | 40.40% |
| 5 | AhıskaAI v0.4 235M | 38.38% |
| 6 | AhıskaAI v0.4 135M | 36.36% |
| Sıra | Model | Skor |
|---|---|---|
| 1 | Gemma 3 1B | 72.73% |
| 2 | Qwen 3 0.6B | 31.31% |
| 3 | AhıskaAI v0.4.1 135M | 22.22% |
| 4 | AhıskaAI v0.4 235M | 18.18% |
| 5 | Llama 3.2 1B | 17.17% |
| 6 | Qwen 2.5 0.5B | 16.16% |
Bu model özellikle küçük ve deneysel bir modeldir.
Model:
Instruction tuning modelin kullanılabilirliğini ve talimat takip yeteneğini geliştirmeyi amaçlamaktadır ancak bu sınırlamaları tamamen ortadan kaldırmaz.
Model tıbbi, hukuki, finansal, güvenlik açısından kritik veya yüksek riskli kararlar için kullanılmamalıdır.
Bu model şu temel model üzerine instruction tuning uygulanarak oluşturulmuştur:
AhıskaAI v0.4 35M Base
Base model instruction tuning aşamasından önce tamamen sıfırdan eğitilmiştir.
Bu model Apache 2.0 License altında yayınlanmıştır.
Bu modeli bir proje, yayın, uygulama veya başka bir kamuya açık çalışmada kullanıyorsanız AhıskaAI'ye atıfta bulunmanız rica edilir.
AhıskaAI v0.4 35M IT — Türkçe ve Ahıska Türkçesi araştırmaları için geliştirilmiş instruction-tuned küçük dil modeli.
Proje: AhıskaAI Model: AhıskaAI v0.4 35M IT
| 7 | Qwen 2.5 0.5B | 43.77% |
| 8 | AhıskaAI v0.4 35M | 43.43% |
| 9 | Llama 3.2 1B | 35.35% |
| 10 | SmolLM2 1.7B | 22.89% |
| 11 | SmolLM2 360M | 12.12% |
| 12 | SmolLM2 135M | 1.01% |
| 87.88% |
| 7 | Qwen 3 0.6B | 86.87% |
| 8 | Qwen 2.5 0.5B | 81.82% |
| 9 | Llama 3.2 1B | 48.48% |
| 10 | SmolLM2 1.7B | 46.46% |
| 11 | SmolLM2 360M | 28.28% |
| 12 | SmolLM2 135M | 3.03% |
| 7 | Qwen 2.5 0.5B | 33.33% |
| 8 | AhıskaAI v0.4 35M | 32.32% |
| 9 | Gemma 3 270M | 26.26% |
| 10 | SmolLM2 1.7B | 13.13% |
| 11 | SmolLM2 360M | 5.05% |
| 12 | SmolLM2 135M | 0.00% |
| 6 | Gemma 3 270M | 16.16% |
| 8 | AhıskaAI v0.4 135M | 14.14% |
| 9 | AhıskaAI v0.4 35M | 10.10% |
| 10 | SmolLM2 1.7B | 9.09% |
| 11 | SmolLM2 360M | 3.03% |
| 12 | SmolLM2 135M | 0.00% |
| Maksimum context | 2048 |
| Vocabulary | 24,000 |
| Aktivasyon | SiLU |
| Veri tipi | bfloat16 |
| Position encoding | RoPE |
| Word embeddings | Tied |
| Attention dropout | 0.0 |
| Attention bias | Yok |
| MLP bias | Yok |
| 7 | Qwen 2.5 0.5B | 43.77% |
| 8 | AhıskaAI v0.4 35M | 43.43% |
| 9 | Llama 3.2 1B | 35.35% |
| 10 | SmolLM2 1.7B | 22.89% |
| 11 | SmolLM2 360M | 12.12% |
| 12 | SmolLM2 135M | 1.01% |
| 87.88% |
| 7 | Qwen 3 0.6B | 86.87% |
| 8 | Qwen 2.5 0.5B | 81.82% |
| 9 | Llama 3.2 1B | 48.48% |
| 10 | SmolLM2 1.7B | 46.46% |
| 11 | SmolLM2 360M | 28.28% |
| 12 | SmolLM2 135M | 3.03% |
| 7 | Qwen 2.5 0.5B | 33.33% |
| 8 | AhıskaAI v0.4 35M | 32.32% |
| 9 | Gemma 3 270M | 26.26% |
| 10 | SmolLM2 1.7B | 13.13% |
| 11 | SmolLM2 360M | 5.05% |
| 12 | SmolLM2 135M | 0.00% |
| 6 | Gemma 3 270M | 16.16% |
| 8 | AhıskaAI v0.4 135M | 14.14% |
| 9 | AhıskaAI v0.4 35M | 10.10% |
| 10 | SmolLM2 1.7B | 9.09% |
| 11 | SmolLM2 360M | 3.03% |
| 12 | SmolLM2 135M | 0.00% |