Evaluation
Deterministic held-out set of 3,000 pairs (seed=42),
decoded greedily (do_sample=False, no repetition penalty), scored with sacreBLEU:
Table with columns: Direction, sacreBLEU, chrF| Direction | sacreBLEU | chrF |
|---|
| MSA → Egyptian | 16.43 | 44.06 |
| Egyptian → MSA | 16.49 | 41.63 |
Saved weights are the best checkpoint by validation loss (eval_loss = 1.993). 20 samples
per direction with references are in eval_bidirectional.json.
Example translations
Real greedy-decoded outputs from the held-out set:
MSA → Egyptian
Table with columns: Source, Model output, Reference| Source | Model output | Reference |
|---|
| أنا فقط أحاول أن أطمئن نفسي. ما هو الأسوأ الذي يمكن أن يحدث؟ إنه مرهق عقليًا فقط، لكنهم يقفون بحزم. حقًا، إنهم يقفون بحز | أنا بس بحاول أهدّر نفسي. إيه الأسوأ اللي ممكن يحصل؟ ده مرهق عقلي بس، بس هما بيقعوا بحزم. بجد، هما بيقعوا بحزم. | انا بس بحاول اطمن نفسي. ايه أسوأ حاجة ممكن تحصل؟ الموضوع متعب نفسيًا، بس هم واقفين ثابتين فعلاً. |
| شكرًا جزيلًا لك، أنت لطيف للغاية. | شكراً جداً إنك حلوة قوي. | شكراً جداً، إنت طيب قوي. |
Egyptian → MSA
Table with columns: Source, Model output, Reference| Source | Model output | Reference |
|---|
| انا بس بحاول اطمن نفسي. ايه أسوأ حاجة ممكن تحصل؟ الموضوع متعب نفسيًا، بس هم واقفين ثابتين فعلاً. | أنا فقط أحاول أن أتحقق نفسي. ما هو أسوأ شيء يمكن أن يحدث؟ إنه متعب نفسي، لكنهم يقفون ثابتين حقًا. | أنا فقط أحاول أن أطمئن نفسي. ما هو الأسوأ الذي يمكن أن يحدث؟ إنه مرهق عقليًا فقط، لكنهم يقفون بحزم. حقًا، إنهم يقفون بحز |
| شكراً جداً، إنت طيب قوي. | شكرًا جزيلًا، أنت لطيف جدًا. | شكرًا جزيلًا لك، أنت لطيف للغاية. |
Usage
ChatML format. Pick the system prompt for the direction you want:
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer model_id = "oddadmix/Emhotob-10M-MSA-Egyptian-v2"tok = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16).to("cuda").eval() SYSTEM = "أنت مترجم محترف. ترجم النص من اللغة العربية الفصحى إلى اللهجة المصرية العامية." def translate(text, system=SYSTEM): prompt = (f"<|im_start|>system\n{system}<|im_end|>\n" f"<|im_start|>user\n{text.strip()}<|im_end|>\n<|im_start|>assistant\n") ids = tok(prompt, return_tensors="pt", add_special_tokens=False).to(model.device) if tok.bos_token_id is not None: bos = torch.tensor([[tok.bos_token_id]], device=model.device) ids["input_ids"] = torch.cat([bos, ids["input_ids"]], dim=1) ids["attention_mask"] = torch.cat([torch.ones_like(bos), ids["attention_mask"]], dim=1) out = model.generate(**ids, max_new_tokens=256, do_sample=False, eos_token_id=tok.eos_token_id, pad_token_id=tok.pad_token_id) return tok.decode(out[0, ids["input_ids"].size(1):], skip_special_tokens=True).strip()
Training
- Base model:
oddadmix/Emhotob-10M-v2 (Llama arch, hidden 256, 4 layers, 8 heads, vocab 32000, tied embeddings;
10,947,328 params after resizing for 2 ChatML tokens)
- Dataset:
oddadmix/egyptian-msa-2.9-openai-bytedance-translations
- Method: HuggingFace
Trainer, ChatML, prompt-masked cross-entropy (loss only on the
assistant turn). Each row is exploded into two training examples (one per direction).
- Hyperparameters: 3 epochs · effective batch 64 · LR 3e-4 (cosine, 5% warmup) ·
bf16 · max length 1024 ·
load_best_model_at_end on eval_loss.
- Eval split: 3,000 deterministic held-out pairs (
seed=42), scored both directions.
Limitations
A ~10.9M model: reliable on short/common sentences, but drift, repetition, and errors appear
on long or rare inputs. Gender is disambiguated only from context. For fluent translation use the
50M sibling.
License
Apache-2.0, inherited from the base model.