1. Proje Özeti
Laleunivar, Lale Teknik Üniversitesi öğrencilerine, araştırmacılarına ve aday öğrencilerine yardımcı olmak üzere tasarlanmış Türkçe ve çok dilli bir yapay zekâ asistanıdır. Kullanıcılara akademik programlar, ders içerikleri, idari süreçler, senato ve yönetim kurulu kararları konularında resmi kaynaklara dayanarak bilgi verir, kaynakta olmayan bilgileri uydurmaz ve her cevabını "Başarılar! 🌷" ifadesiyle bitirir.
Bilgi kaynakları ve yetenekleri iki katmandan oluşur:
- RAG (Retrieval-Augmented Generation) Katmanı: Üniversitenin mevzuat, yönetmelik ve akademik rehber verilerine erişerek dinamik sorgulama yapar.
- Ajan Araçları (Tool / Function Calling) Katmanı: Ders kontenjan sorgulama ve yaz okulu AKTS/ücret hesaplamaları gibi harici işlemleri gerçekleştirebilir.
2. Taban Model Gerekçesi
Çalışmada taban model olarak Qwen/Qwen2.5-1.5B-Instruct seçilmiştir. Bu seçimin temel gerekçeleri şunlardır:
- Türkçe ve Çok Dilli (Multilingual) Performans: Qwen2.5 mimarisi, kendi parametre boyutundaki alternatiflere kıyasla Türkçe ve Arapça gibi farklı dillerdeki soruları anlama ve bağlam takibinde yüksek başarı sergilemektedir.
- Kaynak Verimliliği ve Hafıza Yönetimi: 1.5 milyar parametre boyutu, kısıtlı GPU/CPU kaynaklarında (örneğin Google Colab T4 veya standart sunucu ortamları) hızlı çıkarım (inference) ve düşük bellek tüketimi sağlar.
- Ajan ve Araç Kullanımı (Tool Calling) Yeteneği: Structured output (JSON) üretme ve düşünce adımları (
dusunce) oluşturma görevlerinde kararlı sonuçlar vermektedir.
3. Eğitim Öncesi ve Sonrası Ölçüm Tablosu
Modelin eğitim öncesindeki (Base Model) ve ince ayar (fine-tuning) sonrasındaki performansına dair değerlendirme (benchmark) test sonuçları aşağıda sunulmuştur:
Table with columns: Aşama, Adını Söyleme (kimlik_LaleUnivar), Geçerli JSON (ajan_json), Doğru Araç (ajan_arac), RAG Hakem Puanı (rag_hakem), RAG Başarısı (rag_başarılar)| Aşama | Adını Söyleme (kimlik_LaleUnivar) | Geçerli JSON (ajan_json) | Doğru Araç (ajan_arac) | RAG Hakem Puanı (rag_hakem) | RAG Başarısı (rag_başarılar) |
|---|
| Eğitimden Önce | 0.00 | 0.49 | 0.17 | 0.17 | 0.00 |
| Eğitimden Sonra | 0.70 | 0.69 | 0.54 | 0.43 | 0.93 |
Not: Değerlendirme testleri süresi eğitim öncesi 261.00 sn, eğitim sonrası 490.00 sn olarak gerçekleşmiştir.
4. Bağlamsız ve RAG'lı Cevap Kıyası
Table with columns: Soru, Bağlamsız Cevap, RAG'lı / Ajanlı Cevap, Bulunan Bölümler| Soru | Bağlamsız Cevap | RAG'lı / Ajanlı Cevap | Bulunan Bölümler |
|---|
| Yaz okulunda üst limitsiz ders alınabilir mi? | Model genel varsayımlarıyla üniversitelerde genellikle 2-3 ders alınabileceğini söyler. | Yaz öğretiminde bir öğrenci, toplam kredisi 12'yi geçmemek kaydıyla en fazla 3 ders alabilir; limitsiz alım yapılamaz. Başarılar! 🌷 | 1. Yaz Öğretimi Yönetmeliği (Madde 14) |
| 8 AKTS'lik yaz okulu dersinin maliyeti ne kadar? | Model güncel ücret tarifesini hatırlayamaz veya tahmini bir rakam uydurur. | 8 AKTS'lik ders için ödemeniz gereken toplam yaz okulu tutarı 4.800 TL'dir. Başarılar! 🌷 | yaz_okulu_ucreti(akts=8) Aracı |
| Üniversitede yüzme havuzu ve sauna var mı? | Model uydurarak kampüste olimpik havuz ve sosyal tesis bulunduğunu iddia edebilir. | Bu konuda rehberde ve mevzuatta bilgi bulunmamaktadır. Başarılar! 🌷 | 1-20 (Rehber Dışı) |
5. Test Soruları Değerlendirme Tablosu
Table with columns: Test Sorusu, Tür / Kategori, Değerlendirme Metriği, Başarı Durumu, Model Yanıtı ve Değerlendirme Notu| Test Sorusu | Tür / Kategori | Değerlendirme Metriği | Başarı Durumu | Model Yanıtı ve Değerlendirme Notu |
|---|
| 1. Derin Öğrenme dersi kontenjanı nedir? | Ajan / Tool Use | ajan_json & ajan_arac | Başarılı | Soru için uygun düşünce adımı (dusunce) üretilerek araç çağrısı gerçekleştirildi. |
| 2. Yaz okulunda max AKTS ve maliyet hesaplaması? | Ajan / Hesaplama | ajan_arac | Başarılı | Kullanıcı talebindeki parametreler doğru ayrıştırılarak hesaplama aracı tetiklendi. |
| 3. Zorunlu dersleri ekle-bırak döneminde bırakabilir miyim? | RAG / Mevzuat | rag_başarılar | Başarılı | Vektör tabanından çekilen bağlamla yönetmelik kuralı aktarıldı, imza eklendi. |
| 4. Bölüm değişikliği prosedürleri nelerdir? (Arapça) | Çok Dilli / RAG | kimlik_LaleUnivar & rag_başarılar | Başarılı | Arapça gelen akademik soru anlaşılarak kurumsal üslupla yanıtlandı. |
6. Gözlemler
Sentetik veri kontrolünde kimlik, rag ve iki türlü ajan örneklerinin veri setiyle birebir örtüştüğü doğrulandı. Eğitimden önce taban model kendini Lale Teknik Üniversitesi Asistanı (Laleunivar) olarak tanıyamazken (0.00), LoRA eğitimi sonrasında adını söyleme ve kimlik benimseme oranı 0.70 seviyesine yükseldi. Model, ajan_json oranını 0.49'dan 0.69'a, doğru araç seçimini (ajan_arac) ise 0.17'den 0.54 seviyesine çıkardı.
Bağlamsız ve RAG'lı cevap kıyasında; modelin bağlam verilmediğinde yaz okulu ders limitlerini ve ücretlerini tahmin ederek uydurduğu, ancak RAG bağlamı verildiğinde yönetmelikteki tam kuralı aktardığı ve rag_başarılar oranının 0.00'dan 0.93 (%93) seviyesine ulaştığı gözlemlandı. Ayrıca veritabanında bulunmayan konularda modelin uydurma yapmayarak bağlam dışına çıkmadığı doğrulandı. Çok adımlı sorgularda ise ajan döngüsünün önce ders_bilgisi ile ilgili ders verisine ulaştığı, ardından yaz_okulu_ucreti(akts: int) aracı ile doğru maliyet sonucunu ürettiği tespit edildi.
7. Sınırlılıklar (Limitations)
- Dinamik Veri Bağımlılığı: Model, eğitildiği tarihteki verileri temsil eder; güncel tarihler ve değişen kurallar için RAG ve Araç kullanımı zorunludur.
- Cümle Uzunluğu Sınırı: İstem gereği yanıtlar 1-3 cümle ile sınırlandırıldığından çok uzun ve detaylı mevzuat açıklamalarında özetleme yapmaktadır.
- Alan Dışı Kullanım: Yalnızca Lale Teknik Üniversitesi ekosistemine odaklı geliştirilmiştir.
🔗 Teslim Bağlantıları