Quantization details
- Scheme — W8A8 — FP8 E4M3 weights (per-output-channel scale), dynamic per-token FP8 activations, stored as compressed-tensors
float-quantized (scheme FP8_DYNAMIC).
- Kept in BF16 — the vision tower & projector (
model.visual.*), the multi-token-prediction head (mtp.*), all RMSNorms, token embeddings, the LM head, the MoE router (mlp.gate) and shared-expert gate, the SSM non-linear parts (linear_attn.conv1d/A_log/dt_bias). Left unquantized to preserve quality (about 6% of all parameters in this build).
- Tokenizer /
chat_template / generation_config are identical to the original. config.json is the original plus a quantization_config block.
This is post-training quantization (PTQ) — no retraining. FP8 dynamic is calibration-free.
Benchmarks (measured)
Every column was measured with the same harness and settings — lm-evaluation-harness on vLLM, greedy, completion-style prompts without a chat template (0- or 5-shot, as listed in each row). MMLU here is lm-eval's generative variant (mmlu_generative: the model writes the answer letter and only an exact match on the first line counts), so it is not directly comparable with MMLU scores measured another way (e.g. log-likelihood scoring). Percentages are recovery vs. the BF16 original.
Table with columns: Benchmark, BF16 (original), FP8-dynamic (this repo), AWQ-8bit, NVFP4A16, NVFP4, AWQ-4bit| Benchmark | BF16 (original) | FP8-dynamic (this repo) | AWQ-8bit | NVFP4A16 | NVFP4 | AWQ-4bit |
|---|
| MMLU (5-shot, generative) | 64.44 | 67.45 (104.7%) | 64.02 (99.3%) | 69.31 (107.6%) | 68.39 (106.1%) | 74.12 (115.0%) |
| GSM8K (5-shot, strict) | 30.40 | 21.53 (70.8%) | 28.81 (94.8%) | 24.49 (80.5%) | 46.55 (153.1%) | 71.11 (233.9%) |
| ARC-Challenge (0-shot) | 55.38 | 54.61 (98.6%) | 55.46 (100.2%) | 55.03 (99.4%) | 56.23 (101.5%) | 54.78 (98.9%) |
| Winogrande (5-shot) | 76.32 | 75.37 (98.8%) | 76.24 (99.9%) | 74.43 (97.5%) | 74.27 (97.3%) | 75.85 (99.4%) |
| KMMLU (5-shot, direct) | 65.14 | 64.86 (99.6%) | 65.18 (100.1%) | 64.50 (99.0%) | 64.09 (98.4%) | 64.61 (99.2%) |
| HAE-RAE (0-shot) | 74.89 | 74.89 (100.0%) | 75.07 (100.2%) | 75.34 (100.6%) | 74.06 (98.9%) | 73.69 (98.4%) |
| Average | 61.09 | 59.78 (97.9%) | 60.80 (99.5%) | 60.52 (99.1%) | 63.93 (104.6%) | 69.03 (113.0%) |
| Average without MMLU · GSM8K | 67.93 | 67.43 (99.3%) | 67.99 (100.1%) | 67.33 (99.1%) | 67.16 (98.9%) | 67.23 (99.0%) |
Note on MMLU and GSM8K: these tasks are scored on generated text (mmlu_generative, gsm8k strict-match), so the score depends on whether the model answers in exactly the format the scorer expects (for MMLU only a bare answer letter on the first line counts). For this model they swing widely between builds of the same model (MMLU 64.0–74.1; GSM8K 21.5–71.1), and two quantized builds score well above the BF16 original (MMLU: AWQ-4bit 115.0%; GSM8K: AWQ-4bit 233.9%, NVFP4 153.1%). This most likely reflects how each build formats its answers rather than quantization quality, but per-question outputs were not saved, so it was not checked answer by answer. The second average leaves them out.
Evaluation (measured)
Fidelity to the BF16 original on an internal mixed English/Korean set (100 prompts, BF16 greedy answers scored under each build — same harness for every row).
Table with columns: Metric, This model, BF16 original| Metric | This model | BF16 original |
|---|
| Perplexity (lower = closer) | 1.3065 | 1.2934 (+1.0%) |
| Top-1 next-token agreement | 95.7% | 98.0% |
These measure fidelity to the base model, not absolute task scores.
Requirements
Table | |
|---|
| Runtime | vLLM — the architecture is in vLLM ≥ 0.17.0; tested here with vLLM 0.32.0. |
| vLLM install | vLLM 0.32 itself needs Python 3.11–3.14, torch 2.13 (CUDA 13.0 build, so an NVIDIA driver with CUDA 13 support), transformers ≥5.16.1,<5.20 and compressed-tensors 0.17.0 (both pinned by vLLM; 0.17.0 reads this checkpoint, which was saved with 0.19.0 — do not upgrade it separately). |
| GPU | NVIDIA Turing (sm75, e.g. T4) or newer. FP8 math runs on Ada / Hopper / Blackwell (sm89+); on Turing and Ampere vLLM switches to weight-only FP8 automatically. V100 (sm70) is not supported. (Kernel choice per GPU from vLLM 0.32's selection code; only B200 was run here.) |
| Memory | Weights: 38.4 GB. Add KV cache (grows with context length × concurrent requests) and a few GB for activations / CUDA graphs; use --tensor-parallel-size N when the weights do not fit one GPU. |
| Transformers (without vLLM) | transformers>=5.15.0 (earlier 5.x load the per-expert FP8 weights wrongly). |
| trust_remote_code | not needed |
Usage (vLLM)
Start an OpenAI-compatible server:
vllm serve axteam/Qwen3.6-35B-A3B-FP8-dynamic --max-model-len 32768
Query it:
curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "axteam/Qwen3.6-35B-A3B-FP8-dynamic", "messages": [{"role": "user", "content": "대한민국의 수도는 어디인가요?"}], "temperature": 1.0, "top_p": 0.95, "top_k": 20, "max_tokens": 512}'
Offline inference in Python:
from vllm import LLM, SamplingParams llm = LLM(model="axteam/Qwen3.6-35B-A3B-FP8-dynamic", max_model_len=32768)params = SamplingParams(temperature=1.0, top_p=0.95, top_k=20, max_tokens=1024)out = llm.chat([{"role": "user", "content": "Explain model quantization in two sentences."}], params)print(out[0].outputs[0].text) # image input (URL or data: URI)messages = [{"role": "user", "content": [ {"type": "image_url", "image_url": {"url": "https://example.com/your-image.png"}}, {"type": "text", "text": "Describe this image."},]}]out = llm.chat(messages, params)print(out[0].outputs[0].text)
Recommended sampling (from the original generation_config.json): temperature=1.0, top_p=0.95, top_k=20.
Thinking mode is on by default in the chat template; to turn it off pass chat_template_kwargs={"enable_thinking": False} (Python llm.chat(..., chat_template_kwargs=...), or "chat_template_kwargs": {"enable_thinking": false} in the request body).
Text-only serving: add --limit-mm-per-prompt '{"image": 0, "video": 0}' to skip loading the vision encoder's memory budget.
Reducing KV-cache memory (optional, serve-time)
The KV cache is kept in BF16 by default. KV-cache precision is a runtime choice, independent of the weight quantization above. This is a hybrid model: only its 10 full-attention layers keep a KV cache, while its 30 linear-attention (Gated DeltaNet) layers keep a fixed-size state per request, which --kv-cache-dtype does not change. FP8 halves the full-attention KV cache, so the saving grows with context length and is small for many short requests:
vllm serve axteam/Qwen3.6-35B-A3B-FP8-dynamic --kv-cache-dtype fp8
License
Quantized derivative of Qwen/Qwen3.6-35B-A3B (Apache-2.0). All original weights, tokenizer and chat template belong to the Qwen team.
한국어 요약
Qwen/Qwen3.6-35B-A3B의 FP8 (W8A8) 양자화 빌드 · 제작 axteam
개요
Table with columns: 항목, 내용| 항목 | 내용 |
|---|
| 원본 모델 | Qwen/Qwen3.6-35B-A3B |
| 양자화 방식 | FP8 동적 양자화 (W8A8) |
| 저장 형식 | compressed-tensors float-quantized (scheme FP8_DYNAMIC) |
| 모델 구조 | 하이브리드 어텐션(선형 어텐션 + 풀 어텐션) · MoE (전문가 256개 + 공유 전문가, 총 35B 중 약 3B 활성) · 멀티모달(비전) · MTP 헤드 |
| 용량 | 약 38.4 GB |
| 보정 데이터 | 없음 (가중치 스케일은 가중치만으로 계산, 활성화 스케일은 실행 시 계산) |
양자화 상세
- 가중치: FP8(E4M3), 출력 채널별 스케일
- 활성화: 실행 시 토큰별 동적 FP8
- 양자화 절차: PTQ(학습 후 양자화, 재학습 없음), 가중치 스케일은 미리 계산하고 활성화 스케일은 실행 시 토큰마다 계산
- BF16 유지: 비전 타워·투영층(
model.visual.*), MTP 헤드(mtp.*), 모든 RMSNorm, 토큰 임베딩, LM 헤드, MoE 라우터(mlp.gate)와 공유 전문가 게이트, SSM의 선형층 외 파라미터(linear_attn.conv1d·A_log·dt_bias) — 전체 파라미터의 약 6%
- 원본 파일: 토크나이저·chat template·generation config는 원본과 동일,
config.json은 원본에 quantization_config 블록만 추가
품질 (실측)
- 원본 대비 충실도: PPL 1.3065 (원본 1.2934, +1.0%, 낮을수록 원본에 가까움), 다음 토큰 top-1 일치율 95.7% (원본 자체 기준값 98.0%) — 내부 영어·한국어 혼합 프롬프트 100개, 원본(BF16)의 greedy 답변을 기준 텍스트로 측정
- 벤치마크 평균: 59.78 (원본 61.09, 97.9%) — MMLU(생성형)·GSM8K·ARC-Challenge·Winogrande·KMMLU·HAE-RAE 6종 평균, lm-evaluation-harness + vLLM, chat template 없는 완성형 프롬프트(과제별 0·5-shot, 표 참고)·greedy, 모든 빌드를 같은 설정으로 측정
- MMLU(생성형)·GSM8K 제외 평균: 67.43 (원본 67.93, 99.3%) — MMLU(생성형)·GSM8K는 생성한 답이 채점기가 기대하는 형식 그대로여야 점수가 나는 과제; 이 모델에서는 같은 모델의 빌드끼리 MMLU(생성형) 64.0
74.1·GSM8K 21.571.1로 크게 흔들리고 양자화 빌드 2개가 원본보다 크게 높음(MMLU(생성형): AWQ-4bit 115.0%; GSM8K: AWQ-4bit 233.9%·NVFP4 153.1%), 답 형식 차이로 보이나 문항별 출력을 저장하지 않아 문항 단위로는 확인하지 않음
- 한국어 벤치마크: KMMLU 64.86 (원본 65.14, 99.6%) · HAE-RAE 74.89 (원본 74.89, 100.0%)
- MMLU 방식: lm-eval 생성형 변형(
mmlu_generative) — 모델이 답 글자를 생성하고 첫 줄이 정확히 일치해야 정답으로 채점하므로, 다른 방식(예: log-likelihood 채점)으로 잰 MMLU 점수와 직접 비교 불가
요구사항
- 실행 엔진: vLLM 0.17.0 이상(이 구조를 지원하는 첫 버전), 이 빌드는 vLLM 0.32.0에서 실행 확인
- vLLM 0.32 설치 조건: Python 3.11~3.14, torch 2.13(CUDA 13.0 빌드, CUDA 13 지원 드라이버 필요), transformers 5.16.1 이상 5.20 미만, compressed-tensors 0.17.0 — transformers·compressed-tensors는 vLLM이 버전을 고정하므로 compressed-tensors를 따로 업그레이드하지 말 것 (이 체크포인트는 0.19.0으로 저장됐지만 0.17.0에서도 로드됨)
- GPU: NVIDIA Turing(sm75, 예: T4) 이상, V100(sm70) 미지원 — FP8 연산은 Ada·Hopper·Blackwell(sm89 이상)에서 수행, Turing·Ampere는 vLLM이 가중치 전용 FP8로 자동 전환 (GPU별 지원 여부는 vLLM 0.32 커널 선택 코드 기준, 실제 실행은 B200에서만 확인)
- 메모리: 가중치 38.4 GB + KV 캐시(컨텍스트 길이 × 동시 요청 수에 비례) + 활성화·CUDA graph용 수 GB — GPU 한 장에 다 들어가지 않으면
--tensor-parallel-size N으로 분산
- Transformers로 직접 사용: transformers 5.15.0 이상 (그 이전 5.x는 전문가별 FP8 가중치를 잘못 읽음)
- trust_remote_code: 불필요
사용법
- 서버 실행:
vllm serve axteam/Qwen3.6-35B-A3B-FP8-dynamic --max-model-len 32768 — OpenAI 호환 API
- Python:
LLM(model="axteam/Qwen3.6-35B-A3B-FP8-dynamic", max_model_len=32768).chat(...) — 전체 예시는 위 영어 본문 'Usage (vLLM)' 절 참고
- 권장 샘플링:
temperature=1.0, top_p=0.95, top_k=20 (원본 generation_config.json 기준)
- thinking 모드: 기본 켜짐 — 끄려면
chat_template_kwargs={"enable_thinking": False} 전달(Python은 llm.chat() 인자, HTTP는 요청 본문의 "chat_template_kwargs": {"enable_thinking": false})
- 이미지 입력: 메시지에
image_url 항목 사용
- 텍스트만 사용할 때:
--limit-mm-per-prompt '{"image": 0, "video": 0}' — 비전 타워용 메모리 예약을 생략해 메모리 절약
- KV 캐시 절감(선택):
vllm serve에 --kv-cache-dtype fp8 추가 — 하이브리드 구조라 KV 캐시는 풀 어텐션 10개 층에만 있고, 선형 어텐션(Gated DeltaNet) 30개 층의 요청별 고정 크기 상태는 이 옵션으로 바뀌지 않음 → 풀 어텐션 KV 캐시만 절반으로 줄어 긴 컨텍스트에서 효과가 크고 짧은 요청이 많을 때는 작음 (가중치 양자화와 별개인 실행 옵션)
참고
- 수정 이력 (2026-11-02, 설정 수정): 이전
config.json은 비전 타워를 양자화에서 빼는 규칙(re:model\.visual\..*)이 vLLM이 쓰는 모듈 이름(visual.*)과 맞지 않아, vLLM 0.32가 비전 층을 FP8로 만들고 BF16 비전 가중치를 그대로 넣었음 → 이미지 입력 답이 틀림(텍스트 입력은 영향 없음) — config.json의 규칙만 vLLM 이름까지 맞게 고침(가중치 동일) — vLLM 0.32.0 확인(2026-11-02): 비전 가중치가 BF16으로 로드됨, 모델이 시험 그림(빨간 원·파란 사각형·글자 "QWEN TEST 2026")을 바르게 설명 — 2026-11-01 23:22:52 UTC(리비전 b70d947) 이전에 받았다면 config.json만 다시 받을 것
라이선스
- 라이선스: Apache-2.0 — 원본 모델의 라이선스를 그대로 따름
- 권리: 원본 가중치·토크나이저·chat template은 Qwen 팀(Alibaba) 소유, 이 리포는 양자화 파생물