zero9tech

Qwen3.5-9B-Wikipedia-TR-CPT

Deploy Dedicated

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Get help setting up a custom Dedicated Endpoints.

Talk with our engineer to get a quote for reserved GPU instances with discounts.

README

License: apache-2.0

Eğitim Kurgusu

Bu modelde Türkçe düşünme adaptasyonu amacıyla wikimedia/wikipedia verisi ana kaynak olarak kullanılmıştır. Bu modelde Türkçe düşünme adaptasyonu için Continued PreTraining (CPT) uygulanmıştır. Adaptasyon kurgusunda veri bileşiminin yaklaşık %99'u wikimedia/wikipedia tabanlıdır.

Not: Yüzde oranı, modelin tüm tarihsel ön eğitimi değil; CPT aşamasındaki adaptasyon veri karışımını ifade eder.

Teknik Eğitim Ayrıntıları: QLoRA Tabanlı CPT

Bu model, tam-parametreli yeniden ön eğitim yerine QLoRA tabanlı Continued PreTraining (CPT) yaklaşımıyla adapte edilmiştir. Eğitim sürecinde temel model 4-bit olarak yüklenmiş, güncelleme işlemi LoRA adaptörleri üzerinden yapılmıştır. Bu nedenle model kartındaki CPT ifadesi, tam-parametre CPT değil, parametre-verimli QLoRA-CPT adaptasyonu olarak okunmalıdır.

QLoRA yapılandırmasında LoRA katmanları aşağıdaki modüllere uygulanmıştır:

q_proj, k_proj, v_proj, o_proj
gate_proj, up_proj, down_proj
embed_tokens, lm_head

Kullanılan başlıca LoRA ayarları:

r = 128
lora_alpha = 128
use_rslora = True
4-bit model yükleme
UnslothTrainer ile CPT eğitimi
dataset_text_field = "prompt"

Eğitim verisi, Türkçe Wikipedia içeriklerinden başlık ve makale gövdesi birleştirilerek hazırlanmıştır. Her örnek aşağıdaki metin formatına dönüştürülmüş ve örnek sonuna EOS_TOKEN eklenmiştir:

text
Vikipedi Makalesi
### Başlık: {title}

### Makale:
{text}<EOS>

Bu kurgu, modele Türkçe ansiklopedik metin dağılımı üzerinde ek dilsel uyum kazandırmayı hedefler. Çalışmanın teknik tanımı bu nedenle Wikipedia tabanlı Türkçe QLoRA-CPT adaptasyonu şeklindedir.