bubip-qwen3-14b-awq API & Inference Endpoint

Eğitim Süreci

Modelin eğitimi iki temel aşamadan oluşmaktadır:

SFT (Supervised Fine-Tuning): Model, "Düşünce Zinciri" (Chain-of-Thought) yaklaşımıyla eğitilmiştir.
DPO (Direct Preference Optimization): SFT aşamasının ardından model, yanıt kalitesini artırmak için tercih optimizasyonundan geçirilmiştir.

Çıkarım ve Düşünce Yeteneği

Model, kendisine yöneltilen sorulara (örneğin; öğrenci ders kayıtları, değişim programları veya idari bilgiler gibi) doğrudan bir çıktı vermek yerine önce bir mantık yürütme süreci işletir. Bu düşünce adımları <think> ... </think> etiketleri arasında üretilir ve sonrasında resmî belgelere dayalı, doğru ve bağlama sadık nihai cevap sunulur.

Çıktı Formatı ve Kullanım (vLLM 4-bit AWQ)

Model, doğrudan vLLM gibi çıkarım sunucularında çalıştırılmak üzere 4-bit AWQ formatında optimize edilmiştir. Modelin düşünce adımlarını (reasoning) arka planda gizlemesini engelleyip tam formatında çıktı alabilmek için aşağıdaki komutla başlatabilirsiniz:

bash
VLLM_USE_V2_MODEL_RUNNER=0 vllm serve nypgd/bubip-qwen3-14b-awq \
    --dtype float16 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.90 \
    --port 8000 \
    --enforce-eager

Eğitim Süreci

Modelin eğitimi iki temel aşamadan oluşmaktadır:

SFT (Supervised Fine-Tuning): Model, "Düşünce Zinciri" (Chain-of-Thought) yaklaşımıyla eğitilmiştir.
DPO (Direct Preference Optimization): SFT aşamasının ardından model, yanıt kalitesini artırmak için tercih optimizasyonundan geçirilmiştir.

Çıkarım ve Düşünce Yeteneği

Çıktı Formatı ve Kullanım (vLLM 4-bit AWQ)

bash
VLLM_USE_V2_MODEL_RUNNER=0 vllm serve nypgd/bubip-qwen3-14b-awq \
    --dtype float16 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.90 \
    --port 8000 \
    --enforce-eager

bubip-qwen3-14b-awq

Get help setting up a custom Dedicated Endpoints.

README

Eğitim Süreci

Çıkarım ve Düşünce Yeteneği

Çıktı Formatı ve Kullanım (vLLM 4-bit AWQ)

Explore FriendliAI today

README

Eğitim Süreci

Çıkarım ve Düşünce Yeteneği

Çıktı Formatı ve Kullanım (vLLM 4-bit AWQ)