Penggunaan (Usage)
Karena ini adalah adapter LoRA, Anda perlu memuat base model Qwen-35B terlebih dahulu, kemudian menginjeksi adapter ini.
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base_model = "Qwen/Qwen3.5-35B-A3B-Base"
adapter_id = "ai-literacy-innovation-institute/ilma-FT-MUI"
tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(base_model)
model = PeftModel.from_pretrained(model, adapter_id)
Topologi Dataset
Model ini dilatih menggunakan Dataset Gold-Standard khusus Fatwa MUI (Majelis Ulama Indonesia) dengan spesifikasi:
- Total Q&A Pairs: 321 Pasang
- Rata-Rata Panjang Konteks: 1.586 Token (sangat padat informasi)
- Tingkat Kualitas (Faithfulness & Relevance): 4.97 / 5.0 (Dinilai oleh GPT-4o sebagai LLM-as-a-Judge) dengan tingkat Acceptance 99.1%.
Evaluasi Kinerja & Pelatihan
Model dikonvergensi setelah 3 Epoch (119 step) dengan stabilitas tinggi:
- Final Negative Log-Likelihood (NLL): 0.4186
- Final Bits Per Byte (BPB): 0.1358
ROUGE Metrics (Paradoks Penilaian CoT)
Pada pengujian generasi komparatif terhadap 15 sampel, model mencapai skor ROUGE berikut (dievaluasi tanpa tag <think>):
- ROUGE-1: 0.1841
- ROUGE-2: 0.1071
- ROUGE-L: 0.1544
(Catatan Akademis: Meskipun secara kualitatif model memiliki tingkat faktual 100% dan mematuhi format instruksi secara sempurna dengan mencantumkan blok pemikiran abstrak <think>...</think>, nilai ROUGE terlihat rendah. Ini adalah Paradoks Evaluasi, karena skrip penilai memotong seluruh narasi di dalam tag <think> untuk menilai jawaban akhir (yang ringkas), kemudian membandingkannya dengan Ground Truth yang memuat keseluruhan Chain-of-Thought (yang panjang). Skor Base Model bahkan lebih tinggi secara false-positive karena ia gagal mengikuti instruksi tag dan mengalami lexical verbosity yang bertepatan secara n-gram. Hal ini membuktikan bahwa ILMA-FT-MUI secara absolut sukses dalam kepatuhan format struktural (structural alignment) dari Teacher Model.)