ผลลัพธ์
วัดด้วย protocol eval_v2 ชุดเดียวกับคู่แข่งทุกตัว (hash f1f03f053b40, greedy, language=th, chunker 30 วินาที) ค่าเป็น CER (%) ยิ่งต่ำยิ่งดี
Table with columns: ชุดทดสอบ, โมเดลนี้, คู่แข่งที่ดีที่สุด, ผล| ชุดทดสอบ | โมเดลนี้ | คู่แข่งที่ดีที่สุด | ผล |
|---|
| TVSpeech | 5.34 | 5.75 (typhoon-whisper-large-v3) | ชนะ −7%, CI95 [−0.80, −0.12] |
| Common Voice 17 | 2.25 | 2.03 (Pathumma-stt) | แพ้ |
| GigaSpeech2-Typhoon | 4.79 | 4.52 (typhoon-whisper-large-v3) | แพ้ |
| FLEURS | 8.70 | 6.04 (Pathumma-whisper) | แพ้ (ส่วนใหญ่เป็นเรื่องรูปแบบตัวเลข) |
โมเดลนี้ไม่เหมาะกับภาษาถิ่น (อีสาน 11.4, คำเมือง 18.7, โคราช 28.8, มลายูปัตตานี 67.6) ใช้โมเดลภาษาถิ่นของ Lab แทน
วิธีใช้
import torchfrom transformers import pipelineasr = pipeline("automatic-speech-recognition", model="BoomBigNoseLab/whisper-large-v3-thai-merge", torch_dtype=torch.float16, device="cuda")print(asr("audio.wav", generate_kwargs={"language": "th", "task": "transcribe"})["text"])
ถ้าจะวัดผลแบบเดียวกับตารางข้างบน (chunker และการทำข้อความให้เป็นมาตรฐานของ eval_v2):
git clone https://github.com/Boom-Vitt/thai-dialect-asr.git && cd thai-dialect-asr && pip install -e ".[eval]"python scripts/eval_v2.py run --run mine --models "mine=whisper:BoomBigNoseLab/whisper-large-v3-thai-merge" --datasets tvspeech cv
วิธีสร้าง
θ = θwhisper-large-v3 + 0.60·ΔTyphoon + 0.25·ΔPathumma + 0.15·ΔThonburian
โดย Δ คือผลต่างน้ำหนักของแต่ละโมเดลจาก openai/whisper-large-v3 tokenizer และ generation config มาจาก Typhoon
สัดส่วนเลือกบน FLEURS dev เท่านั้น (ลองหลายชุด เช่น 0.70/0.30, 0.50/0.50 และ TIES) บันทึกเป็น fp16
ข้อจำกัด
- ข้อมูลซ้อน: Pathumma และ Thonburian เคยเทรนบน Common Voice train ผล CV จึงอาจได้เปรียบ
- ภาษาถิ่น: ไม่ได้ออกแบบมาสำหรับภาษาถิ่น
สัญญาอนุญาต
Apache-2.0 · รวมจาก typhoon-ai/typhoon-whisper-large-v3 (MIT), nectec/Pathumma-whisper-th-large-v3 (Apache-2.0),
biodatlab/whisper-th-large-v3-combined (Apache-2.0) และ openai/whisper-large-v3 (Apache-2.0) ขอบคุณทุกทีมผู้สร้าง
อ้างอิง
พัฒนาโดย BoomBigNose Lab · โค้ดและชุดวัดผล: https://github.com/Boom-Vitt/thai-dialect-asr
@misc{thai_dialect_asr_2026, title = {Thai Dialect ASR: Same-Protocol Benchmarking of Central and Regional Thai Speech Recognition}, author = {{BoomBigNose Lab}}, year = {2026}, howpublished = {\url{https://github.com/Boom-Vitt/thai-dialect-asr}}}