GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
Ar4ikov
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
Ar4ikov
Model Tree
Qwen/Qwen3.8-27B
Input Modalities
Output Modalities
Supported Functionality
| Схема | W4A16_ASYM (asymmetric, zero-point) |
| Group size | 128 |
| Стратегия | group, type: int, num_bits: 4 |
| Формат | compressed-tensors / pack-quantized |
| Активации | BF16 (weight-only) |
| Калибровка | HuggingFaceH4/ultrachat_200k, 512 сэмплов × 2048 токенов, через chat template |
Qwen3.8-27B — гибрид: 64 слоя по схеме 16 × (3 × Gated DeltaNet → 1 × Gated Attention),
плюс vision-башня и MTP-голова.
В INT4:
q_proj, k_proj, v_proj, o_projgate_proj, up_proj, down_projin_proj_qkv, in_proj_z, out_projОстались в BF16:
lm_head и эмбеддингиmodel.visual.*) — квантование визуального энкодера бьёт по качеству
распознавания сильнее, чем экономит памятьlinear_attn.in_proj_a / in_proj_b — чувствительные гейты SSM-веткиmtp.*) — чтобы не ломать спекулятивный декодингПро MTP.
transformersне инстанцирует MTP-голову дляqwen3_5(_keys_to_ignore_on_load_unexpected = [r"^mtp.*", ...]), поэтому llm-compressor её не видит и не сохраняет — наивный квант теряет MTP целиком. Здесь тензорыmtp.*скопированы из базового BF16-чекпоинта в готовый результат, зарегистрированы вmodel.safetensors.index.jsonи внесены вquantization_config.ignore. Спекулятивный декодинг сохранён.
Тот же набор ignore использован в других AWQ-квантах этой модели и в моих предыдущих
квантах Qwen3.5-гибридов.
bash
vllm serve Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM \--max-model-len 262144 \--tensor-parallel-size 2
python
from transformers import AutoModelForImageTextToText, AutoProcessormodel = AutoModelForImageTextToText.from_pretrained("Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM", dtype="auto", device_map="auto")processor = AutoProcessor.from_pretrained("Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM")
transformers при загрузке распаковывает веса обратно в BF16, так что экономии VRAM здесь не будет. Реальная экономия видна только в рантаймах с нативными INT4-ядрами (vLLM, SGLang).
Наследуются от базовой модели:
temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5Поддерживается reasoning_effort (low / medium / xhigh), контекст 262 144 токена
нативно (до 1M через YaRN — см. карточку базовой модели).
В репозитории лежит recipe.yaml, сгенерированный llm-compressor. Ключевая часть рецепта:
python
from llmcompressor.modifiers.awq import AWQModifierrecipe = [AWQModifier(targets=["Linear"],scheme="W4A16_ASYM",ignore=["re:.*lm_head",r"re:model\.visual\..*",r"re:.*\.linear_attn\.in_proj_a",r"re:.*\.linear_attn\.in_proj_b",r"re:mtp\..*",],)]