Қазақша
Til-mini-1B-GEC — қазақ мәтініндегі грамматикалық, орфографиялық және пунктуациялық қателерді түзететін 956.3M параметрлі модель. Репозиторий көлемі — 1.93 ГБ. Ол Til-mini-1B негізінде Til-GEC деректерімен fine-tune жасалған.
Құрылымы мен міндеті
Table with columns: Сипаттама, Мәні| Сипаттама | Мәні |
|---|
| Архитектура | DeepseekV3ForCausalLM, MLA |
| Қабат саны | 24 |
| Контекст | 2048 токен |
| Формат | ChatML |
| Fine-tune деректері | шамамен 900 GEC жұбы |
Модель қазақ әріптерін, бас әріпті, тыныс белгілерін және жиі кездесетін қиысу мен емле қателерін түзетеді. Ұзын мәтінді сөйлем бойынша өңдеп, нәтижесінің бірінші жолын алу ұсынылады.
Іске қосу
from transformers import AutoModelForCausalLM, AutoTokenizer repo = "TilQazyna/Til-mini-1B-GEC"tokenizer = AutoTokenizer.from_pretrained(repo)model = AutoModelForCausalLM.from_pretrained(repo)message = "Мәтіндегі қателерді түзет. Тек түзетілген мәтінді қайтар.\n\nМәтін: кеше жанбыр жауды"prompt = tokenizer.apply_chat_template([{"role": "user", "content": message}], tokenize=False, add_generation_prompt=True)inputs = tokenizer(prompt, return_tensors="pt")output = model.generate(**inputs, max_new_tokens=128, do_sample=False)print(tokenizer.decode(output[0][inputs.input_ids.shape[1]:], skip_special_tokens=True).split("\n")[0])
Қолжетімділік
Карточка мен файлдар тізімі ашық. Файлдарды «Request access» өтінімін TilQazyna командасы мақұлдағаннан кейін жүктеуге болады.
Байланысты репозиторийлер
Base-модель — Til-mini-1B, оқыту деректері — Til-GEC.
Русский
Til-mini-1B-GEC — модель на 956.3M параметров для исправления грамматических, орфографических и пунктуационных ошибок в казахском тексте. Объём репозитория — 1.93 ГБ. Это fine-tune Til-mini-1B на Til-GEC.
Устройство и задача
Table with columns: Характеристика, Значение| Характеристика | Значение |
|---|
| Архитектура | DeepseekV3ForCausalLM, MLA |
| Слоёв | 24 |
| Контекст | 2048 токенов |
| Формат | ChatML |
| Данные fine-tune | около 900 GEC-пар |
Модель исправляет казахские буквы, регистр, пунктуацию и частые ошибки согласования и орфографии. Длинный текст лучше обрабатывать по предложениям и брать первую строку ответа.
Как запустить
from transformers import AutoModelForCausalLM, AutoTokenizer repo = "TilQazyna/Til-mini-1B-GEC"tokenizer = AutoTokenizer.from_pretrained(repo)model = AutoModelForCausalLM.from_pretrained(repo)message = "Мәтіндегі қателерді түзет. Тек түзетілген мәтінді қайтар.\n\nМәтін: кеше жанбыр жауды"prompt = tokenizer.apply_chat_template([{"role": "user", "content": message}], tokenize=False, add_generation_prompt=True)inputs = tokenizer(prompt, return_tensors="pt")output = model.generate(**inputs, max_new_tokens=128, do_sample=False)print(tokenizer.decode(output[0][inputs.input_ids.shape[1]:], skip_special_tokens=True).split("\n")[0])
Доступ
Карточка и список файлов открыты. Команда TilQazyna разрешает скачивание после рассмотрения заявки через «Request access».
Связанные репозитории
Базовая модель — Til-mini-1B, данные обучения — Til-GEC.
English
Til-mini-1B-GEC is a 956.3M-parameter model for correcting grammatical, spelling, and punctuation errors in Kazakh text. The repository occupies 1.93 GB. It fine-tunes Til-mini-1B on Til-GEC.
Architecture and task
Table with columns: Characteristic, Value| Characteristic | Value |
|---|
| Architecture | DeepseekV3ForCausalLM, MLA |
| Layers | 24 |
| Context | 2048 tokens |
| Format | ChatML |
| Fine-tune data | about 900 GEC pairs |
The model corrects Kazakh letters, capitalization, punctuation, and common agreement and spelling errors. Longer texts should be processed sentence by sentence, keeping the first response line.
Usage
from transformers import AutoModelForCausalLM, AutoTokenizer repo = "TilQazyna/Til-mini-1B-GEC"tokenizer = AutoTokenizer.from_pretrained(repo)model = AutoModelForCausalLM.from_pretrained(repo)message = "Мәтіндегі қателерді түзет. Тек түзетілген мәтінді қайтар.\n\nМәтін: кеше жанбыр жауды"prompt = tokenizer.apply_chat_template([{"role": "user", "content": message}], tokenize=False, add_generation_prompt=True)inputs = tokenizer(prompt, return_tensors="pt")output = model.generate(**inputs, max_new_tokens=128, do_sample=False)print(tokenizer.decode(output[0][inputs.input_ids.shape[1]:], skip_special_tokens=True).split("\n")[0])
Access
The card and file list are public. Downloads require approval of a request submitted through “Request access” and reviewed by the TilQazyna team.
The base checkpoint is Til-mini-1B, and the training dataset is Til-GEC.
Лицензия · License: apache-2.0 · TilQazyna