GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
cjm-n0
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
cjm-n0
Model Tree
Qwen/Qwen3.6-27B
Input Modalities
Output Modalities
Supported Functionality
| 항목 | 값 |
|---|---|
| 베이스 | Qwen/Qwen3.6-27B (GDN 하이브리드, 4bit NF4 로 로드) |
| 방식 | QLoRA, r=256 / α=512 |
| 대상 모듈 | q,k,v,o,gate,up,down_proj (비전 타워 포함, GDN 층은 동결) |
| 학습 가능 파라미터 | 1,275,068,416 (4.4533%) |
베이스 모델을 학습 때와 동일한 4bit NF4 로 로드한 뒤 어댑터를 얹어야 정합합니다.
python
import torchfrom transformers import AutoModelForImageTextToText, BitsAndBytesConfigfrom peft import PeftModelbnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4",bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True,)model = AutoModelForImageTextToText.from_pretrained("Qwen/Qwen3.6-27B", dtype=torch.bfloat16, attn_implementation="sdpa",device_map="cuda", quantization_config=bnb,)model = PeftModel.from_pretrained(model, "cjm-n0/snu-ai-challenge-lobstar")
전체 추론 파이프라인(24순열 로그확률 채점 · KV 캐시 스냅샷 · 셔플 TTA)과 재현 절차는 제출 저장소의 README 를 참조하세요.
베이스 모델의 Apache-2.0 을 따릅니다.