GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
Ar4ikov
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
Ar4ikov
Model Tree
orcarouter/Qwen3.8-27B-Uncensored
Input Modalities
Output Modalities
Supported Functionality
| Схема | W4A16_ASYM (asymmetric, zero-point) |
| Group size | 128 |
| Стратегия | group, type: int, num_bits: 4 |
| Формат | compressed-tensors / pack-quantized |
| Активации | BF16 (weight-only) |
| Калибровка | HuggingFaceH4/ultrachat_200k, 256 сэмплов × 2048 токенов, через chat template |
| Размер | 19 GB (было 52 GB в BF16) |
Qwen3.8-27B — гибрид: 64 слоя по схеме 16 × (3 × Gated DeltaNet → 1 × Gated Attention),
плюс vision-башня и MTP-голова.
В INT4:
q_proj, k_proj, v_proj, o_projgate_proj, up_proj, down_projin_proj_qkv, in_proj_z, out_projОстались в BF16:
lm_head и эмбеддингиmodel.visual.*) — квантование визуального энкодера бьёт по качеству
распознавания сильнее, чем экономит памятьlinear_attn.in_proj_a / in_proj_b — чувствительные гейты SSM-веткиmtp.*) — чтобы не ломать спекулятивный декодингПро MTP.
transformersне инстанцирует MTP-голову дляqwen3_5, поэтому llm-compressor её не видит и не сохраняет — наивный квант теряет MTP целиком. Здесь тензорыmtp.*скопированы из исходного BF16-чекпоинта в готовый результат, зарегистрированы вmodel.safetensors.index.jsonи внесены вquantization_config.ignore. Спекулятивный декодинг сохранён.
Про AWQ-mappings. У гибридной архитектуры нет общего для всех слоёв набора проекций, поэтому дефолтные маппинги AWQ не резолвятся. В
recipe.yamlлежат кастомные: отдельный маппинг дляinput_layernormfull-attention слоёв и отдельный — для DeltaNet-слоёв, где вbalance_layersобязаны быть все потребители выхода нормы, включая неквантуемыеin_proj_a/in_proj_b, иначе сглаживание ломает математику.
bash
vllm serve Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM \ --max-model-len 262144 \ --tensor-parallel-size 2python
from transformers import AutoModelForImageTextToText, AutoProcessor model = AutoModelForImageTextToText.from_pretrained( "Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM", dtype="auto", device_map="auto")processor = AutoProcessor.from_pretrained("Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM")transformers при загрузке распаковывает веса обратно в BF16, так что экономии VRAM здесь не будет. Реальная экономия видна только в рантаймах с нативными INT4-ядрами (vLLM, SGLang): ожидаемо ≈ размер файла + KV-кэш.
Наследуются от базовой модели:
temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5Поддерживается reasoning_effort (low / medium / xhigh), контекст 262 144 токена нативно.
В репозитории лежит recipe.yaml, сгенерированный llm-compressor. Ключевая часть:
python
from llmcompressor.modifiers.awq import AWQModifier recipe = [AWQModifier( targets=["Linear"], scheme="W4A16_ASYM", ignore=[ "re:.*lm_head", r"re:model\.visual\..*", r"re:.*\.linear_attn\.in_proj_a", r"re:.*\.linear_attn\.in_proj_b", r"re:mtp\..*", ], mappings=MAPPINGS, # см. recipe.yaml)]weight_packed (I32-упаковка INT4) с weight_scale и weight_zero_point.orcarouter/Qwen3.8-27B-Uncensored.vllm serve Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM \ --max-model-len 262144 \ --tensor-parallel-size 2from transformers import AutoModelForImageTextToText, AutoProcessor model = AutoModelForImageTextToText.from_pretrained( "Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM", dtype="auto", device_map="auto")processor = AutoProcessor.from_pretrained("Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM")from llmcompressor.modifiers.awq import AWQModifier recipe = [AWQModifier( targets=["Linear"], scheme="W4A16_ASYM", ignore=[ "re:.*lm_head", r"re:model\.visual\..*", r"re:.*\.linear_attn\.in_proj_a", r"re:.*\.linear_attn\.in_proj_b", r"re:mtp\..*", ], mappings=MAPPINGS, # см. recipe.yaml)]