touati-kamel

whisper-algerian-darja-medium

Résultats

WER final : 43.58% sur le test set complet (2440 exemples).

Le split train/test est groupé par épisode source (22 épisodes entiers réservés au test, aucun chevauchement) pour éviter toute fuite de données entre les deux ensembles.

Comparaison avec whisper-small

Table with columns: Modèle, WER final (test set complet)
Modèle	WER final (test set complet)
`touati-kamel/whisper-algerian-darja-small`	61.42%
`touati-kamel/whisper-algerian-darja-medium` (ce modèle)	43.58%

Passer de small (244M params) à medium (769M params) apporte un gain net de 17.8 points de WER sur ce dataset — la capacité du modèle de base était clairement un facteur limitant pour small.

Historique d'entraînement

Table with columns: Step, Training Loss, Validation Loss, WER
Step	Training Loss	Validation Loss	WER
200	5.539	0.836	68.69%
400	4.822	0.761	77.21%
600	4.803	0.725	57.73%
800	4.361	0.714	60.64%
1000

⚠️ Note méthodologique : l'entraînement a été repris sur plusieurs sessions Kaggle (limite de 12h/session). Le split train/test étant régénéré à chaque session (même graine aléatoire, mais ordre non garanti pour les identifiants d'épisodes), la taille exacte du test set a légèrement varié entre sessions (2269 → 2440 exemples). Le chiffre de WER final ci-dessus utilise le test set de la dernière session (2440 exemples).

Configuration d'entraînement

Modèle de base : openai/whisper-medium
Méthode : QLoRA (4-bit NF4 + LoRA)
Rank LoRA : 64 (alpha=128)
Modules ciblés : q_proj, k_proj, v_proj, out_proj, fc1, fc2
Paramètres entraînables : 69,206,016 / 833,063,936 (8.31%)
Dataset d'entraînement : oddadmix/arabic-audio-collection-algerian-kahwa-postcast — ~20216 exemples d'entraînement / ~2440 exemples de test

Utilisation

python
from transformers import WhisperForConditionalGeneration, WhisperProcessor
from peft import PeftModel
import torch

base_model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-medium")
model = PeftModel.from_pretrained(base_model, "touati-kamel/whisper-algerian-darja-medium")
processor = WhisperProcessor.from_pretrained("touati-kamel/whisper-algerian-darja-medium")

model.generation_config.forced_decoder_ids = processor.get_decoder_prompt_ids(
    language="arabic", task="transcribe"
)

# input_features : sortie de processor.feature_extractor sur de l'audio 16kHz
predicted_ids = model.generate(input_features)
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)

Limites connues

WER encore significatif (44%) — modèle de recherche/référence, pas encore adapté à un usage en production
Le dataset d'entraînement contient un fort code-switching français, ce qui reste difficile pour le modèle
Entraîné uniquement sur un seul dataset source (podcasts) — pas de garantie de performance en dehors de ce domaine (audio studio, accents variés, autres registres)
Pas de garantie de performance en dehors du domaine podcast

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Container

Run this model inference with full control and performance in your environment.

Learn more

Model Details

Model Provider

touati-kamel

Model Tree

Base

openai/whisper-medium

Adapter

this model

Input Modalities

Audio

Output Modalities

Text

Supported Functionality

Dedicated EndpointsContainer

Explore FriendliAI today

Get started Talk to an engineer

Résultats

WER final : 43.58% sur le test set complet (2440 exemples).

Le split train/test est groupé par épisode source (22 épisodes entiers réservés au test, aucun chevauchement) pour éviter toute fuite de données entre les deux ensembles.

Comparaison avec whisper-small

Table with columns: Modèle, WER final (test set complet)
Modèle	WER final (test set complet)
`touati-kamel/whisper-algerian-darja-small`	61.42%
`touati-kamel/whisper-algerian-darja-medium` (ce modèle)	43.58%

Passer de small (244M params) à medium (769M params) apporte un gain net de 17.8 points de WER sur ce dataset — la capacité du modèle de base était clairement un facteur limitant pour small.

Historique d'entraînement

Table with columns: Step, Training Loss, Validation Loss, WER
Step	Training Loss	Validation Loss	WER
200	5.539	0.836	68.69%
400	4.822	0.761	77.21%
600	4.803	0.725	57.73%
800	4.361	0.714	60.64%
1000

⚠️ Note méthodologique : l'entraînement a été repris sur plusieurs sessions Kaggle (limite de 12h/session). Le split train/test étant régénéré à chaque session (même graine aléatoire, mais ordre non garanti pour les identifiants d'épisodes), la taille exacte du test set a légèrement varié entre sessions (2269 → 2440 exemples). Le chiffre de WER final ci-dessus utilise le test set de la dernière session (2440 exemples).

Configuration d'entraînement

Modèle de base : openai/whisper-medium
Méthode : QLoRA (4-bit NF4 + LoRA)
Rank LoRA : 64 (alpha=128)
Modules ciblés : q_proj, k_proj, v_proj, out_proj, fc1, fc2
Paramètres entraînables : 69,206,016 / 833,063,936 (8.31%)
Dataset d'entraînement : oddadmix/arabic-audio-collection-algerian-kahwa-postcast — ~20216 exemples d'entraînement / ~2440 exemples de test

Utilisation

python
from transformers import WhisperForConditionalGeneration, WhisperProcessor
from peft import PeftModel
import torch

base_model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-medium")
model = PeftModel.from_pretrained(base_model, "touati-kamel/whisper-algerian-darja-medium")
processor = WhisperProcessor.from_pretrained("touati-kamel/whisper-algerian-darja-medium")

model.generation_config.forced_decoder_ids = processor.get_decoder_prompt_ids(
    language="arabic", task="transcribe"
)

# input_features : sortie de processor.feature_extractor sur de l'audio 16kHz
predicted_ids = model.generate(input_features)
transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)

Limites connues

WER encore significatif (44%) — modèle de recherche/référence, pas encore adapté à un usage en production
Le dataset d'entraînement contient un fort code-switching français, ce qui reste difficile pour le modèle
Entraîné uniquement sur un seul dataset source (podcasts) — pas de garantie de performance en dehors de ce domaine (audio studio, accents variés, autres registres)
Pas de garantie de performance en dehors du domaine podcast

whisper-algerian-darja-medium

README

Résultats

Comparaison avec whisper-small

Historique d'entraînement

Configuration d'entraînement

Utilisation

Limites connues

Explore FriendliAI today

README

Résultats

Comparaison avec whisper-small

Historique d'entraînement

Configuration d'entraînement

Utilisation

Limites connues