Training (SFT)

Prompt format (Alpaca, Kazakh)

markdown
Copy code
### Нұсқаулық:
{instruction}

### Жауап:

or with input:

markdown
Copy code
### Нұсқаулық:
{instruction}

### Кіріс:
{input}

### Жауап:

Usage

python
Copy code
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "TilQazyna/Til-Core-0.5B-Instruct"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto").eval()

prompt = "### Нұсқаулық:\nДені сау болу үшін үш кеңес беріңіз.\n\n### Жауап:\n"
ids = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**ids, max_new_tokens=120, do_sample=True,
                     temperature=0.7, top_p=0.9, repetition_penalty=1.2)
print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))

Examples

Real generations (temperature 0.7, top_p 0.9, repetition_penalty 1.2):

Tips (list following):

markdown
Copy code
### Нұсқаулық: Дені сау болу үшін үш кеңес беріңіз.
→ 1. Үнемі жаттығу жасаңыз және сіздің денеңізді босаңсытыңыз.
  2. Қажетсіз, тым көп тамақ жеуге болмайды.
  3. Тұрақты жаттығулар жасауды бастаңыз және үнемі үзіліс жасаңыз.

Short writing:

markdown
Copy code
### Нұсқаулық: Көктем мезгілі туралы қысқаша жаз.
→ Көктемде жердің жылуы, құстардың үні және адамдар өздерінің ерекше
  мерекесі үшін қуанды. Олар жаңбыр жауып, күн батқанда, өздерімен
  бірге жаңа жапырақтар мен гүлдерді әкелді.

Explanation:

markdown
Copy code
### Нұсқаулық: Достық деген не? Қысқаша түсіндір.
→ Дос — бұл достарына, олармен бірге жаңа адамдардың пайда болуына
  және олардың арасындағы қарым-қатынасты дамытуға мүмкіндік беретін
  ерекше тұлға. Ол әрқашан бір-бірінің достығын қолдайды...

The model reliably follows the format and writes fluent Kazakh; it is weaker on precise/factual tasks (see Limitations).

Limitations

• 498M params — follows instructions and writes fluent Kazakh, but factual accuracy is weak (it can hallucinate facts, e.g. wrong capitals). Use for fluency / format / as an SFT baseline, not as a knowledge source.
• SFT only (no RLHF/DPO); no safety alignment.
• Single-turn Alpaca format; not a multi-turn chat model.

Reproducibility

seed 42 · base TilQazyna/Til-Core-0.5B · data AmanMussa/kazakh-instruction-v2@c641407 · transformers==5.10.2, torch==2.11.0+cu128 · config exp053 · torchrun --nproc_per_node=8 -m slm.train_sft --config configs/experiments/exp053_sft_til_core_05b.yaml.