GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
TilQazyna
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
TilQazyna
Model Tree
TilQazyna/Til-Core-0.5B
Input Modalities
Output Modalities
Supported Functionality
Til-Core-0.5B-Instruct — қазақ тіліндегі нұсқауларға жауап беретін 498M параметрлі модель. Репозиторий көлемі — 2.02 ГБ; модель Til-Core-0.5B негізінде supervised fine-tune әдісімен бейімделген.
Модель Alpaca пішіміндегі бір айналымды тапсырмаларға арналған. Ол қазақша мәтін құрастырады және берілген жауап пішімін ұстанады, бірақ дәл дерек қажет міндеттерде қате мәлімет шығаруы мүмкін.
| Сипаттама | Мәні |
|---|---|
| Архитектура | Qwen2ForCausalLM |
| Параметр саны | 498M |
| Жасырын қабат өлшемі | 896 |
| Қабат саны | 18 |
| Attention басы | 14 |
| Сөздік | 256000 токен |
| Контекст ұзындығы | 32768 токен |
| Үйрету мысалы | 52,201 |
| Epoch | 3 |
| Қорытынды train loss | 3.12 |
Үйретуде жауап бөлігіне ғана loss есептелген. Бұл нұсқа RLHF немесе DPO кезеңінен өтпеген және көп айналымды chat үшін бапталмаған. Нәтижені факті көзі ретінде қолданар алдында тексеру қажет.
Модель нұсқауды ### Нұсқаулық: белгісінен кейін, ал жауаптың басталуын ### Жауап: белгісімен күтеді. Қосымша кіріс болса, ол ### Кіріс: бөлігіне жазылады.
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer repo = "TilQazyna/Til-Core-0.5B-Instruct"tokenizer = AutoTokenizer.from_pretrained(repo)model = AutoModelForCausalLM.from_pretrained( repo, dtype=torch.bfloat16, device_map="auto").eval() prompt = "### Нұсқаулық:\nДені сау болу үшін үш кеңес беріңіз.\n\n### Жауап:\n"inputs = tokenizer(prompt, return_tensors="pt").to(model.device)output = model.generate(**inputs, max_new_tokens=120, do_sample=True, temperature=0.7, top_p=0.9)answer = output[0][inputs["input_ids"].shape[1]:]print(tokenizer.decode(answer, skip_special_tokens=True))Репозиторий карточкасы мен файлдар тізімі баршаға көрінеді. Файлдарды жүктеу үшін «Request access» батырмасы арқылы өтінім жіберіледі; оны TilQazyna командасы қарайды.
Базалық checkpoint — Til-Core-0.5B. Supervised fine-tune деректерінің TilQazyna жинағы — Til-Instruct.
Til-Core-0.5B-Instruct — модель на 498M параметров для выполнения инструкций на казахском языке. Репозиторий занимает 2.02 ГБ; модель получила supervised fine-tune поверх Til-Core-0.5B.
Модель рассчитана на одношаговые задания в формате Alpaca. Она генерирует казахский текст и соблюдает заданный формат ответа, но может ошибаться в задачах, где нужна точная фактическая информация.
| Характеристика | Значение |
|---|---|
| Архитектура | Qwen2ForCausalLM |
| Параметров | 498M |
| Размер скрытого слоя | 896 |
| Слоёв | 18 |
| Голов attention | 14 |
| Словарь | 256000 токенов |
| Длина контекста | 32768 токенов |
| Обучающих примеров | 52,201 |
| Epoch | 3 |
Loss при обучении считался только по ответу. Версия не проходила RLHF или DPO и не настроена на многошаговый chat.
Инструкция ставится после маркера ### Нұсқаулық:, а начало ответа обозначается строкой ### Жауап:. Если у задания есть дополнительный ввод, он размещается в блоке ### Кіріс:.
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer repo = "TilQazyna/Til-Core-0.5B-Instruct"tokenizer = AutoTokenizer.from_pretrained(repo)model = AutoModelForCausalLM.from_pretrained( repo, dtype=torch.bfloat16, device_map="auto").eval() prompt = "### Нұсқаулық:\nДені сау болу үшін үш кеңес беріңіз.\n\n### Жауап:\n"inputs = tokenizer(prompt, return_tensors="pt").to(model.device)output = model.generate(**inputs, max_new_tokens=120, do_sample=True, temperature=0.7, top_p=0.9)answer = output[0][inputs["input_ids"].shape[1]:]print(tokenizer.decode(answer, skip_special_tokens=True))Карточка репозитория и список файлов открыты для просмотра. Скачивание доступно после одобрения заявки, отправленной кнопкой «Request access»; заявки проверяет команда TilQazyna.
Базовый checkpoint — Til-Core-0.5B. Набор TilQazyna с данными для supervised fine-tune — Til-Instruct.
Til-Core-0.5B-Instruct is a 498M-parameter model for following instructions in Kazakh. The repository is 2.02 GB; the checkpoint was produced by supervised fine-tuning Til-Core-0.5B.
The model targets single-turn Alpaca-style tasks. It can generate Kazakh responses and follow the expected answer format, although factual prompts may produce inaccurate information.
| Property | Value |
|---|---|
| Architecture | Qwen2ForCausalLM |
| Parameters | 498M |
| Hidden size | 896 |
| Layers | 18 |
| Attention heads | 14 |
| Vocabulary | 256000 tokens |
| Context length | 32768 tokens |
| Training examples | 52,201 |
| Epochs | 3 |
Training applied loss only to completion tokens. This checkpoint has no RLHF or DPO stage and is not tuned for multi-turn chat. Its output should be checked before use as a factual reference.
The instruction follows the ### Нұсқаулық: marker, and generation begins after ### Жауап:. Tasks with a separate input place it under a ### Кіріс: section.
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer repo = "TilQazyna/Til-Core-0.5B-Instruct"tokenizer = AutoTokenizer.from_pretrained(repo)model = AutoModelForCausalLM.from_pretrained( repo, dtype=torch.bfloat16, device_map="auto").eval() prompt = "### Нұсқаулық:\nДені сау болу үшін үш кеңес беріңіз.\n\n### Жауап:\n"inputs = tokenizer(prompt, return_tensors="pt").to(model.device)output = model.generate(**inputs, max_new_tokens=120, do_sample=True, temperature=0.7, top_p=0.9)answer = output[0][inputs["input_ids"].shape[1]:]print(tokenizer.decode(answer, skip_special_tokens=True))The repository card and file list are visible to everyone. File downloads become available after the TilQazyna team approves a request submitted with the “Request access” button.
The base checkpoint is Til-Core-0.5B. TilQazyna's supervised fine-tuning data collection is Til-Instruct.
Лицензия · License: apache-2.0 · TilQazyna
| Итоговый train loss | 3.12 |
| Final train loss | 3.12 |