GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
zidanmubarak
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
zidanmubarak
Model Tree
Qwen/Qwen2.5-VL-3B-Instruct
Input Modalities
Output Modalities
Supported Functionality
Model ini adalah model Vision-Language (VLM) yang telah di- fine-tune secara khusus untuk melakukan dua tugas utama secara berurutan pada gambar teks cetak berbahasa Melayu/Indonesia:
Model ini dilatih menggunakan metode QLoRA (Parameter-Efficient Fine-Tuning) di atas arsitektur dasar Qwen2.5-VL-3B-Instruct. Pelatihan (Ablation Study Skenario C) menggunakan kombinasi dataset sintetik dan data manuskrip/dokumen autentik, menjadikannya sangat tangguh dalam menangani berbagai variasi font Jawi cetak.
Qwen/Qwen2.5-VL-3B-Instructzidanmubarak/jawi-qwen25-vl-qloraModel ini dirancang untuk langsung digunakan oleh:
Pengguna cukup memberikan gambar berisi teks Jawi beserta prompt instruksi standar, dan model akan mengembalikan teks Jawi sekaligus hasil transliterasinya.
Pengguna disarankan untuk memproses gambar dengan pencahayaan dan kontras yang baik. Untuk digitalisasi dokumen arsip resmi, hasil keluaran Rumi dari model ini sebaiknya tetap ditinjau ulang oleh ahli bahasa (Human-in-the-loop) sebelum dipublikasikan.
Untuk menjalankan model ini, Anda membutuhkan pustaka transformers, peft, dan qwen-vl-utils. Sangat disarankan untuk menjalankan model ini dalam format bfloat16 atau 4-bit menggunakan GPU.
python
import torchfrom PIL import Imagefrom peft import PeftModelfrom qwen_vl_utils import process_vision_infofrom transformers import AutoProcessor, Qwen2_5_VLForConditionalGenerationBASE_MODEL = "Qwen/Qwen2.5-VL-3B-Instruct"ADAPTER_ID = "zidanmubarak/jawi-qwen25-vl-qlora"# 1. Load Base Model dan Processorbase = Qwen2_5_VLForConditionalGeneration.from_pretrained(BASE_MODEL,device_map="auto",torch_dtype=torch.bfloat16,)model = PeftModel.from_pretrained(base, ADAPTER_ID)model.eval()processor = AutoProcessor.from_pretrained(ADAPTER_ID)# 2. Siapkan Gambar dan PromptSYSTEM_PROMPT = ("Anda adalah sistem multimodal untuk ekstraksi dan transliterasi aksara Jawi cetak. ""Tugas Anda terdiri dari dua langkah yang harus dilakukan secara berurutan:\\n""1. Ekstraksi: Baca gambar dan ekstrak teks aksara Jawi (huruf Arab) yang tertulis ""pada gambar secara akurat, persis seperti yang tertulis.\\n""2. Transliterasi: Konversi teks Jawi yang telah diekstrak ke huruf Latin (Rumi) ""sesuai pedoman Ejaan Jawi Yang Disempurnakan (PEJYD) oleh Dewan Bahasa dan Pustaka Malaysia.\\n\\n""ATURAN OUTPUT:\\n""- Keluarkan hasil dalam format berikut secara tepat:\\n"" Jawi: [teks aksara Arab hasil ekstraksi]\\n"" Rumi: [teks Latin hasil transliterasi]\\n""- Jangan menambahkan penjelasan, komentar, atau teks lain di luar format tersebut.\\n""- Transliterasi bersifat karakter ke karakter, bukan penerjemahan makna.")image = Image.open("contoh_jawi.jpg").convert("RGB")messages = [{"role": "system", "content": SYSTEM_PROMPT},{"role": "user", "content": [{"type": "image", "image": image},{"type": "text", "text": "Ekstrak teks aksara Jawi dari gambar ini, kemudian transliterasikan ke huruf Latin (Rumi)."},]},]# 3. Proses Inferensitext = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)image_inputs, _ = process_vision_info(messages)inputs = processor(text=[text], images=image_inputs, padding=True, return_tensors="pt").to("cuda")with torch.no_grad():generated = model.generate(**inputs, max_new_tokens=1024, do_sample=False)trimmed = [out[len(inp):] for inp, out in zip(inputs.input_ids, generated)]output_text = processor.batch_decode(trimmed, skip_special_tokens=True)[0].strip()print(output_text)
Model ini dilatih menggunakan dua jenis dataset yang dikurasi secara manual dan di- generate secara komputasional:
Pelatihan Ablation Study membuktikan bahwa pencampuran data sintetik dan autentik (Skenario C) memberikan generalisasi terbaik dibandingkan hanya dilatih pada satu jenis data saja.
Pelatihan dilakukan menggunakan pustaka Unsloth untuk mempercepat proses kalkulasi dan mengurangi penggunaan memori VRAM secara signifikan.
bfloat16.Evaluasi akhir (Mega Evaluasi) dilakukan pada subset 10% Data Autentik yang sama sekali tidak pernah dilihat oleh model selama proses training (Unseen Data).
Tiga metrik utama digunakan untuk mengukur keandalan sistem:
Ablation Study membuktikan bahwa integrasi LoRA berhasil menurunkan tingkat kesalahan secara drastis dibandingkan dengan kemampuan dasar (Zero-Shot) dari Qwen2.5-VL asli.
| Skenario Model | CER Jawi | CER Rumi | WER Rumi |
|---|---|---|---|
| Baseline (Qwen Asli Zero-Shot) | 82.51% | 90.59% | 107.08% |
| Model Final (Skenario C - Epoch 3) | 17.35% | 16.48% | 39.36% |
| Persentase Penurunan Error | ↓ 79% | ↓ 82% | ↓ 63% |
Performa model dalam mengekstrak dan mentransliterasi Jawi cetak mengalami lompatan raksasa. Model mampu menekan Character Error Rate untuk ekstraksi maupun transliterasi hingga di bawah batas ambang wajar (berkisar ~16%), menandakan bahwa model sudah sangat adaptif dalam membaca font Jawi nyata.
Pelatihan model dijalankan dengan optimasi tingkat tinggi menggunakan pustaka Unsloth yang memangkas waktu komputasi hingga 2x lebih cepat, secara signifikan mengurangi jejak karbon dibandingkan pelatihan full-parameter tradisional.