ai-sage

GigaChat3-702B-A36B-preview

Архитектура модели

GigaChat 3 Ultra Preview использует кастомную MoE-архитектуру:

Multi-head Latent Attention (MLA)

Вместо стандартного Multi-head Attention модель использует MLA. MLA обеспечивает эффективный инференс за счет сжатия Key-Value (KV) кэша в латентный вектор, что значительно снижает требования к памяти и ускоряет обработку.

Multi-Token Prediction (MTP)

Модель обучена с использованием задачи Multi-Token Prediction (MTP). Это позволяет модели предсказывать несколько токенов за один проход, что ускоряет генерацию до 40% с помощью техник спекулятивной/параллельной генерации.

Данные для обучения

Мы добавили в датасет 10 языков — от китайского и арабского до узбекского и казахского, а также расширили набор источников: книги, академические данные, датасеты по коду и математике. Все данные проходят дедупликацию, языковую фильтрацию и автоматические проверки качества при помощи эвристик и классификаторов. Ключевой вклад в качество внесла синтетика: мы сгенерировали около 5,5 триллионов токенов синтетических данных. В корпус входят вопросы-ответы к текстам, цепочки reverse-prompt для структурирования данных, LLM-заметки с комментариями от модели внутри текстов, миллионы синтетических задач с решениями по математике и олимпиадному программированию (с синтетическими тестами) на основе PromptCot.

Бенчмарки

Table with columns: Metric, GigaChat 3 Ultra, GigaChat 2 Max
Metric	GigaChat 3 Ultra	GigaChat 2 Max
MERA text	0.683	0.663
MERA industrial	0.645 / 0.824	—
MERA code	0.338	—
AUTOLOGI_EN_ZERO_SHOT	0.6857	0.6489
GPQA_COT_ZERO_SHOT	0.5572	0.4714
HUMAN_EVAL_PLUS_ZERO_SHOT	0.8659	0.7805
LBPP_PYTHON_ZERO_SHOT	0.5247	0.4753
MMLU_PRO_EN_FIVE_SHOT	0.7276	0.6655
GSM8K_FIVE_SHOT	0.9598	0.9052
MATH_500_FOUR_SHOT	0.7840	0.7160

Как проверить метрики модели

shell

# lm-eval[api]==0.4.9.1# sglang[all]==0.5.5# или # vllm==0.11.2 export HF_ALLOW_CODE_EVAL=1 # sglang server up # 702Bpython -m sglang.launch_server --model-path <path_to_model> --host 127.0.0.1 --port 30000 --nnodes 2 --node-rank <0/1> --tp 16 --ep 16 --dtype auto --mem-fraction-static 0.7 --trust-remote-code --allow-auto-truncate --speculative-algorithm EAGLE --speculative-num-steps 1 --speculative-eagle-topk 1 --speculative-num-draft-tokens 2 --dist-init-addr <master_node_ip>:50000 # mmlu pro checkpython -m lm_eval --model sglang-generate --output_path <path_to_model> --batch_size 16 --model_args base_url=http://127.0.0.1:30000/generate,num_concurrent=16,tokenized_requests=True,max_length=131072,tokenizer=<path_to_model> --trust_remote_code --confirm_run_unsafe_code --num_fewshot 5 --tasks mmlu_pro

Инференс и деплой

GigaChat 3 Ultra Preview ориентирована на кластерные и on-prem-сценарии с серьёзной инфраструктурой.

Основные моменты:

поддержка популярных inference-движков (vLLM, SGLang, LMDeploy, TensorRT-LLM и др.);
режимы BF16 и FP8 (для FP8 — отдельная сборка и рекомендации по конфигурации GPU);
использование MLA и MTP для уменьшения KV-кэша и ускорения генерации;
прокси- и gateway-слой для интеграции с внешними сервисами, инструментами и агентными фреймворками.

Для конфигурации можно ориентироваться на публикуемые гайды для моделей схожего масштаба:

DeepSeek-V3 — раздел How to run locally в официальной модельной карточке:
- https://github.com/deepseek-ai/DeepSeek-V3?tab=readme-ov-file#6-how-to-run-locally
Kimi-K2-Instruct — рекомендации по деплою (vLLM / SGLang / LMDeploy):
- https://huggingface.co/moonshotai/Kimi-K2-Instruct/blob/main/docs/deploy_guidance.md

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Model Details

Model Provider

ai-sage

Model Tree

Base

ai-sage/GigaChat3-702B-A36B-preview-bf16

Quantized

this model

Input Modalities

Text

Output Modalities

Text

Supported Functionality

Dedicated Endpoints

Explore FriendliAI today

Get started Talk to an engineer

Архитектура модели

GigaChat 3 Ultra Preview использует кастомную MoE-архитектуру:

Multi-head Latent Attention (MLA)

Multi-Token Prediction (MTP)

Данные для обучения

Бенчмарки

Table with columns: Metric, GigaChat 3 Ultra, GigaChat 2 Max
Metric	GigaChat 3 Ultra	GigaChat 2 Max
MERA text	0.683	0.663
MERA industrial	0.645 / 0.824	—
MERA code	0.338	—
AUTOLOGI_EN_ZERO_SHOT	0.6857	0.6489
GPQA_COT_ZERO_SHOT	0.5572	0.4714
HUMAN_EVAL_PLUS_ZERO_SHOT	0.8659	0.7805
LBPP_PYTHON_ZERO_SHOT	0.5247	0.4753
MMLU_PRO_EN_FIVE_SHOT	0.7276	0.6655
GSM8K_FIVE_SHOT	0.9598	0.9052
MATH_500_FOUR_SHOT	0.7840	0.7160

Как проверить метрики модели

shell

# lm-eval[api]==0.4.9.1# sglang[all]==0.5.5# или # vllm==0.11.2 export HF_ALLOW_CODE_EVAL=1 # sglang server up # 702Bpython -m sglang.launch_server --model-path <path_to_model> --host 127.0.0.1 --port 30000 --nnodes 2 --node-rank <0/1> --tp 16 --ep 16 --dtype auto --mem-fraction-static 0.7 --trust-remote-code --allow-auto-truncate --speculative-algorithm EAGLE --speculative-num-steps 1 --speculative-eagle-topk 1 --speculative-num-draft-tokens 2 --dist-init-addr <master_node_ip>:50000 # mmlu pro checkpython -m lm_eval --model sglang-generate --output_path <path_to_model> --batch_size 16 --model_args base_url=http://127.0.0.1:30000/generate,num_concurrent=16,tokenized_requests=True,max_length=131072,tokenizer=<path_to_model> --trust_remote_code --confirm_run_unsafe_code --num_fewshot 5 --tasks mmlu_pro

# lm-eval[api]==0.4.9.1# sglang[all]==0.5.5# или # vllm==0.11.2 export HF_ALLOW_CODE_EVAL=1 # sglang server up # 702Bpython -m sglang.launch_server --model-path <path_to_model> --host 127.0.0.1 --port 30000 --nnodes 2 --node-rank <0/1> --tp 16 --ep 16 --dtype auto --mem-fraction-static 0.7 --trust-remote-code --allow-auto-truncate --speculative-algorithm EAGLE --speculative-num-steps 1 --speculative-eagle-topk 1 --speculative-num-draft-tokens 2 --dist-init-addr <master_node_ip>:50000 # mmlu pro checkpython -m lm_eval --model sglang-generate --output_path <path_to_model> --batch_size 16 --model_args base_url=http://127.0.0.1:30000/generate,num_concurrent=16,tokenized_requests=True,max_length=131072,tokenizer=<path_to_model> --trust_remote_code --confirm_run_unsafe_code --num_fewshot 5 --tasks mmlu_pro

Инференс и деплой

GigaChat 3 Ultra Preview ориентирована на кластерные и on-prem-сценарии с серьёзной инфраструктурой.

Основные моменты:

поддержка популярных inference-движков (vLLM, SGLang, LMDeploy, TensorRT-LLM и др.);
режимы BF16 и FP8 (для FP8 — отдельная сборка и рекомендации по конфигурации GPU);
использование MLA и MTP для уменьшения KV-кэша и ускорения генерации;
прокси- и gateway-слой для интеграции с внешними сервисами, инструментами и агентными фреймворками.

Для конфигурации можно ориентироваться на публикуемые гайды для моделей схожего масштаба:

DeepSeek-V3 — раздел How to run locally в официальной модельной карточке:
- https://github.com/deepseek-ai/DeepSeek-V3?tab=readme-ov-file#6-how-to-run-locally
Kimi-K2-Instruct — рекомендации по деплою (vLLM / SGLang / LMDeploy):
- https://huggingface.co/moonshotai/Kimi-K2-Instruct/blob/main/docs/deploy_guidance.md

GigaChat3-702B-A36B-preview

README

Архитектура модели

Multi-head Latent Attention (MLA)

Multi-Token Prediction (MTP)

Данные для обучения

Бенчмарки

Как проверить метрики модели

Инференс и деплой

Explore FriendliAI today

README

Архитектура модели

Multi-head Latent Attention (MLA)

Multi-Token Prediction (MTP)

Данные для обучения

Бенчмарки

Как проверить метрики модели

Инференс и деплой