GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
TilQazyna
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
TilQazyna
Model Tree
TilQazyna/Til-Core-1B
Input Modalities
Output Modalities
Supported Functionality
Til-Core-1B-Instruct — қазақ тіліндегі нұсқаулар мен бір айналымды диалогқа арналған 1.25B параметрлі модель. Репозиторий көлемі — 3.57 ГБ; модель Til-Core-1B негізінде supervised fine-tune арқылы бейімделген.
Модель native-Kazakh instruction–response жұптарымен үйретілген және ChatML пішімін қолданады. Ол қазақша жауап береді, бірақ дәл фактілерге сүйенетін міндеттерде қате ақпарат немесе тақырыптан ауытқу болуы мүмкін.
| Сипаттама | Мәні |
|---|---|
| Архитектура | LlamaForCausalLM |
| Параметр саны | 1.25B |
| Жасырын қабат өлшемі | 2048 |
| Қабат саны | 16 |
| Attention басы | 32 |
| Сөздік | 256002 токен |
| Контекст ұзындығы | 2048 токен |
| SFT жұбы | 52 173 |
| Epoch | 3 |
| Үйрету пішімі | ChatML |
Үйретуде loss тек assistant токендеріне есептелген. Модель RLHF кезеңінен өтпеген және safety alignment жасалмаған.
Репозиторийде chat_template.jinja бар. apply_chat_template user хабарын ChatML пішіміне келтіреді және generation басталатын assistant белгісін қосады.
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer repo = "TilQazyna/Til-Core-1B-Instruct"tokenizer = AutoTokenizer.from_pretrained(repo)model = AutoModelForCausalLM.from_pretrained( repo, dtype=torch.bfloat16, device_map="auto").eval() messages = [{"role": "user", "content": "Денсаулықты сақтаудың үш кеңесін айт."}]prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)inputs = tokenizer(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)output = model.generate(**inputs, max_new_tokens=160, do_sample=True, temperature=0.7, top_p=0.9)answer = output[0][inputs["input_ids"].shape[1]:]print(tokenizer.decode(answer, skip_special_tokens=True))Карточка мен файлдар тізімін өтінімсіз көруге болады. Файлдарды жүктеу үшін «Request access» батырмасы арқылы сұрау жіберіледі, оны TilQazyna командасы қарайды.
Базалық checkpoint — Til-Core-1B. Supervised fine-tune деректерінің TilQazyna жинағы — Til-Instruct.
Til-Core-1B-Instruct — модель на 1.25B параметров для инструкций и одношагового диалога на казахском языке. Репозиторий занимает 3.57 ГБ; модель получила supervised fine-tune поверх Til-Core-1B.
Для обучения использованы native-Kazakh пары instruction–response и формат ChatML. Модель отвечает по-казахски, но в заданиях на точные факты может сообщать неверные сведения или отклоняться от темы.
| Характеристика | Значение |
|---|---|
| Архитектура | LlamaForCausalLM |
| Параметров | 1.25B |
| Размер скрытого слоя | 2048 |
| Слоёв | 16 |
| Голов attention | 32 |
| Словарь | 256002 токена |
| Длина контекста | 2048 токенов |
| SFT-пар | 52 173 |
| Epoch | 3 |
Loss при обучении считался только по токенам assistant. Модель не проходила RLHF и не получила safety alignment.
В репозитории лежит chat_template.jinja. Метод apply_chat_template переводит сообщение user в формат ChatML и добавляет маркер assistant для начала generation.
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer repo = "TilQazyna/Til-Core-1B-Instruct"tokenizer = AutoTokenizer.from_pretrained(repo)model = AutoModelForCausalLM.from_pretrained( repo, dtype=torch.bfloat16, device_map="auto").eval() messages = [{"role": "user", "content": "Денсаулықты сақтаудың үш кеңесін айт."}]prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)inputs = tokenizer(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)output = model.generate(**inputs, max_new_tokens=160, do_sample=True, temperature=0.7, top_p=0.9)answer = output[0][inputs["input_ids"].shape[1]:]print(tokenizer.decode(answer, skip_special_tokens=True))Карточка и перечень файлов видны без заявки. Для скачивания нужно отправить запрос кнопкой «Request access»; заявки рассматривает команда TilQazyna.
Базовый checkpoint — Til-Core-1B. Коллекция TilQazyna с данными для supervised fine-tune — Til-Instruct.
Til-Core-1B-Instruct is a 1.25B-parameter model for Kazakh instructions and single-turn dialogue. The repository is 3.57 GB; the checkpoint was produced by supervised fine-tuning Til-Core-1B.
Training used native-Kazakh instruction–response pairs formatted as ChatML. The model responds in Kazakh, although prompts requiring precise factual knowledge can lead to inaccurate claims or topic drift.
| Property | Value |
|---|---|
| Architecture | LlamaForCausalLM |
| Parameters | 1.25B |
| Hidden size | 2048 |
| Layers | 16 |
| Attention heads | 32 |
| Vocabulary | 256002 tokens |
| Context length | 2048 tokens |
| SFT pairs | 52 173 |
| Epochs | 3 |
Training calculated loss only on assistant tokens. This checkpoint has no RLHF stage and no safety alignment.
The repository includes chat_template.jinja. Calling apply_chat_template converts the user message to ChatML and appends the assistant marker that starts generation.
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer repo = "TilQazyna/Til-Core-1B-Instruct"tokenizer = AutoTokenizer.from_pretrained(repo)model = AutoModelForCausalLM.from_pretrained( repo, dtype=torch.bfloat16, device_map="auto").eval() messages = [{"role": "user", "content": "Денсаулықты сақтаудың үш кеңесін айт."}]prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)inputs = tokenizer(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)output = model.generate(**inputs, max_new_tokens=160, do_sample=True, temperature=0.7, top_p=0.9)answer = output[0][inputs["input_ids"].shape[1]:]print(tokenizer.decode(answer, skip_special_tokens=True))The model card and file listing are visible without an access request. Downloads require approval after submission through “Request access”; the TilQazyna team reviews each application.
The base checkpoint is Til-Core-1B. TilQazyna's supervised fine-tuning data collection is Til-Instruct.
Лицензия · License: apache-2.0 · TilQazyna
| Формат обучения | ChatML |
| Training format | ChatML |