GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
TilQazyna
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
TilQazyna
Model Tree
Input Modalities
Output Modalities
Supported Functionality
Til-0.5B-multilingual-base — қазақ, орыс, ағылшын тілдері, код және математика үшін нөлден оқытылған 470.1 M параметрлі base-модель. Репозиторий көлемі — 952.8 МБ. Модель мәтінді жалғастыруға және кейінгі fine-tune жұмыстарына арналған.
| Сипаттама | Мәні |
|---|---|
| Архитектура | DeepseekV3ForCausalLM, dense decoder және MLA |
| Параметр саны | 470.1 M |
| Жасырын қабат өлшемі | 1024 |
| Қабат саны | 24 |
| Attention head саны | 8 |
| Контекст | 4096 токен |
| Сөздік | 131 072 токен |
Модель 24.96 B токенге оқытылған. Корпус токен саны бойынша теңгерілген: ағылшын — 5.00 B, орыс — 5.03 B, код — 5.00 B, математика — 5.00 B, қазақ — 4.93 B. Сапа бағасы q4 және q5 құжаттар қолданылып, q5 деректері learning-rate decay кезеңінің соңына орналастырылған.
| Домен | BPB |
|---|---|
| Орыс | 0.45 |
| Қазақ | 0.55 |
| Ағылшын | 0.70 |
| Код | 0.70 |
| Математика | 0.72 |
| Macro | 0.624 |
BPB көрсеткіші белгіленген тест жинағында есептелген; төмен мән жақсырақ. Base-модель нұсқауларды орындауға бейімделмеген және жауапты факт көзі ретінде қолдануға арналмаған.
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizermodel_id = "TilQazyna/Til-0.5B-multilingual-base"tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16).eval()inputs = tokenizer("Қазақстанның астанасы —", return_tensors="pt")output = model.generate(**inputs, max_new_tokens=40)print(tokenizer.decode(output[0], skip_special_tokens=True))
Карточка мен файлдар тізімі ашық көрінеді. Файлдарды жүктеу үшін репозиторий бетіндегі «Request access» түймесі арқылы өтінім жіберіледі; оны TilQazyna командасы қарайды.
Оқыту корпусы — Til-Corpus. Бір желідегі үлкенірек модель — Til-1B-multilingual-base.
Til-0.5B-multilingual-base — базовая модель на 470.1 M параметров, обученная с нуля на казахском, русском, английском, коде и математике. Объём репозитория — 952.8 МБ. Модель продолжает текст и служит основой для последующего fine-tune.
| Характеристика | Значение |
|---|---|
| Архитектура | DeepseekV3ForCausalLM, dense decoder и MLA |
| Параметров | 470.1 M |
| Размер скрытого слоя | 1024 |
| Слоёв | 24 |
| Attention heads | 8 |
| Контекст | 4096 токенов |
| Словарь | 131 072 токена |
Модель обучена на 24.96 B токенов. Корпус сбалансирован по числу токенов: английский — 5.00 B, русский — 5.03 B, код — 5.00 B, математика — 5.00 B, казахский — 4.93 B. В обучение вошли документы с оценками q4 и q5; данные q5 помещены в конец фазы learning-rate decay.
| Домен | BPB |
|---|---|
| Русский | 0.45 |
| Казахский | 0.55 |
| Английский | 0.70 |
| Код | 0.70 |
| Математика | 0.72 |
| Macro | 0.624 |
BPB рассчитан на зафиксированном тестовом наборе; меньшее значение лучше. Базовая модель не обучена следовать инструкциям, а её продолжения требуют проверки фактов.
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizermodel_id = "TilQazyna/Til-0.5B-multilingual-base"tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16).eval()inputs = tokenizer("Қазақстанның астанасы —", return_tensors="pt")output = model.generate(**inputs, max_new_tokens=40)print(tokenizer.decode(output[0], skip_special_tokens=True))
Карточка и список файлов видны без авторизации. Для скачивания файлов нужна заявка через кнопку «Request access» на странице репозитория; решение принимает команда TilQazyna.
Корпус обучения — Til-Corpus. Следующая модель в той же линейке — Til-1B-multilingual-base.
Til-0.5B-multilingual-base is a 470.1 M-parameter base model trained from scratch on Kazakh, Russian, English, code, and mathematics. The repository occupies 952.8 MB. It is intended for text completion and downstream fine-tune work.
| Characteristic | Value |
|---|---|
| Architecture | DeepseekV3ForCausalLM, dense decoder with MLA |
| Parameters | 470.1 M |
| Hidden size | 1024 |
| Layers | 24 |
| Attention heads | 8 |
| Context | 4096 tokens |
| Vocabulary | 131,072 tokens |
The model was trained on 24.96 B tokens. The corpus is balanced by token count: English contributes 5.00 B, Russian 5.03 B, code 5.00 B, mathematics 5.00 B, and Kazakh 4.93 B. Training uses q4 and q5 documents, with q5 material placed at the end of the learning-rate decay phase.
| Domain | BPB |
|---|---|
| Russian | 0.45 |
| Kazakh | 0.55 |
| English | 0.70 |
| Code | 0.70 |
| Mathematics | 0.72 |
| Macro | 0.624 |
BPB was measured on a fixed held-out set; lower is better. This base checkpoint is not instruction-tuned, and factual claims in generated continuations should be verified.
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizermodel_id = "TilQazyna/Til-0.5B-multilingual-base"tokenizer = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16).eval()inputs = tokenizer("Қазақстанның астанасы —", return_tensors="pt")output = model.generate(**inputs, max_new_tokens=40)print(tokenizer.decode(output[0], skip_special_tokens=True))
The model card and file list are public. Downloading files requires an approved request submitted with the repository’s “Request access” button; the TilQazyna team reviews applications.
Training data comes from Til-Corpus. The larger checkpoint in the same line is Til-1B-multilingual-base.
Лицензия · License: apache-2.0 · TilQazyna