Что умеет
- перевод AZ ↔ RU и AZ ↔ EN, в том числе обращений граждан и официальных текстов;
- редактирование и раскрытие текста («улучшить текст»);
- краткое изложение и ответы на вопросы по тексту.
На вопросы о себе модель отвечает, что она — Actum, языковая модель команды 16th Research Lab. Технические подробности
об архитектуре и обучении модель не раскрывает.
Как запускать
Режим рассуждений в шаблоне диалога выключается параметром enable_thinking=False.
from transformers import AutoModelForCausalLM, AutoTokenizer path = "16th-research-lab-ai/actum-llm-az" # доступ по запросу: нужен токен аккаунта с одобренным доступомtok = AutoTokenizer.from_pretrained(path)model = AutoModelForCausalLM.from_pretrained(path, dtype="bfloat16", device_map="auto")messages = [{"role": "user", "content": "Переведите следующий текст с азербайджанского языка на русский. " "В ответе дайте только перевод.\n\nVergi bəyannaməsi vaxtında təqdim edilməlidir."}]text = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)ids = tok(text, return_tensors="pt", add_special_tokens=False).to(model.device)out = model.generate(**ids, max_new_tokens=512, do_sample=False)print(tok.decode(out[0, ids["input_ids"].shape[1]:], skip_special_tokens=True))
vLLM и llama.cpp запускают модель без дополнительного кода; файл GGUF F16 — gguf/actum-az-1.7b-F16.gguf.
Формулировки запросов, на которых модель обучалась:
- «Переведите следующий текст с азербайджанского языка на русский. В ответе дайте только перевод.» и такие же для
RU→AZ и AZ↔EN;
- «Aşağıdakı yazını daha geniş və səlis şəkildə yenidən yazın.» — раскрыть текст;
- «Mətnə əsasən suala cavab verin.» — ответить на вопрос по тексту.
Рекомендуемая генерация: жадная либо temperature 0,3 и top_p 0,9.
Качество
chrF++ на замороженных тестах с человеческим эталоном:
Table with columns: Тест, AZ→RU, RU→AZ| Тест | AZ→RU | RU→AZ |
|---|
| Официальные тексты (500 пар) | 78,2 | 78,5 |
| Школьные учебники (320 пар) | 60,7 | 61,1 |
| FLORES-200 (488 пассажей) | 41,5 | 41,5 |
Table with columns: Тест, AZ→EN, EN→AZ| Тест | AZ→EN | EN→AZ |
|---|
| FLORES-200 (488 пассажей) | 52,0 | 41,3 |
Обращения граждан RU→AZ против оригинала: 81,0. Понимание (вопросы с вариантами): Belebele az 64 %, вопросы по
обращениям 93 %, по школьным учебникам 95 %.
Проверка после настройки самоназвания: качество перевода и раскрытия текста не изменилось (в пределах
статистического разброса).
Ограничения
- При раскрытии текста модель может добавить пояснения, которых нет в оригинале; результат нужно проверять перед
отправкой.
- На общей (не налоговой) тематике перевод слабее крупных моделей.
- Изредка (менее 0,1 % ответов) в тексте появляются посторонние символы других письменностей.
- Модель не предназначена для маршрутизации обращений.
Лицензия
Apache 2.0. Сведения о сторонних компонентах — в файле NOTICE.