Anserwise/AWAXIS-Hybrid-28B API & Inference Endpoint

🧬 모델 설명 — 부모 모델 교배·진화 (Darwin 방식)

본 모델은 두 부모 LLM의 가중치를 layer 단위로 교배·결합하는 Darwin Platform 진화적 머지 기법 (Smart MRI Layer-wise)으로 제작됐습니다. 일반 SFT/CPT 학습이 아닌 가중치 합성 진화 방식이라는 점이 핵심입니다.

Table
구간	어머니 채택률	의도
Embed / LM-head	50%	출력 통로 균형
Norm	30%	안정성
Visual encoder	0%	아버지 100% 보존
Layers 0~15 (초기)	40%	한국어 표면 패턴 흡수
Layers 16~50 (중기)	0%	추론 능력 보존
Layers 51~63 (후기)	70%	도메인 지식 채택

각 부모의 강점이 어느 layer에 저장되는지 분석한 후 layer-wise로 부모 가중치 비율을 다르게 적용하여 두 모델의 강점만 선택적으로 결합하는 방식입니다.

📚 데이터셋 활용

본 모델은 가중치 머지(Weight Merge) 산물이므로 추가 SFT/CPT 학습은 수행하지 않았습니다. 대신 두 부모 모델이 사전에 학습한 광범위한 한국어 데이터셋의 강점을 layer 단위로 흡수합니다. 부모 모델들이 학습한 주요 한국어 데이터셋은 다음과 같습니다:

일반 Instruction: kai-sft / kai-combined 시리즈 (한국어 다양 도메인 instruction-following)
KMMLU-Pro: 한국 도메인 지식 (역사·법률·의료·과학·공학 등)
CLIcK: 한국 문화·상식 (역사·전통·사회 규범)
HAERAE: 한국어 표면 패턴 (언어학·일반상식·역사)
KOBEST: 한국어 reasoning (HellaSwag·COPA·BoolQ)
Com2-main(ko): 한국어 commonsense (사회적 추론·의도 파악)
MuSR(Ko): 한국어 다단계 추론 (Murder Mystery·Object Placements 등)

가중치 머지 단계에서 각 부모의 학습 결과를 layer 비율로 보존·결합하여, 단일 SFT보다 catastrophic forgetting 위험이 낮고 부모 강점 손실이 적은 것이 특징입니다.

📊 평가 결과

1) K-AI 리더보드 기준 (5과목)

KMMLU-Pro / CLIcK / HLE(Ko) / MuSR(Ko) / Com2-main(ko)

외부 모델: K-AI 리더보드(leaderboard.aihub.or.kr) 실측값
본 시리즈: 자체 mirror eval(100문항) × Rogue-28B-MIX 기준 ratio 환산 추정값

Table
Model	KMMLU-Pro	CLIcK	HLE(Ko)	MuSR(Ko)	Com2-main(ko)	Sum	Macro
Hybrid (예상)	0.674	0.787	0.07	0.611	0.657	2.799	0.560
AWAXIS-Hybrid-28B ⭐ (이 모델, 예상)	0.674	0.787	0.07	0.611	0.657	2.799	0.560
Rogue-28B-MIX (실측)	0.666	0.797	0.07	0.611	0.650	2.794	0.559
Warecube-KO-27B-v3 (실측)	0.668	0.799	0.07	0.584	0.638	2.756	0.551
AWAXIS-Think-28B (실측)	0.603	0.770	0.06	0.591	0.632	2.651	0.530
KR-Pro (예상)	0.643	0.661	0.07	0.585	0.650	2.609	0.522
KR-Plus (예상)	0.643	0.703	0.07	0.532	0.657	2.605	0.521

HLE(Ko)는 28B급 공통 약점 (난이도 매우 높음).

2) 종합 한국어 능력 (10과목 mirror eval)

CLIcK + KMMLU(history/law/health) + HAERAE(gk/hist/ling) + KOBEST(hella/copa/boolq)

Table
Model	CLIcK	KMMLU 평균	HAERAE 평균	KOBEST 평균	Sum (10과목)	Macro
AWAXIS-Hybrid-28B ⭐ (이 모델)	0.83	0.530	0.813	0.967	7.760	0.7760
Rogue-28B-MIX	0.83	0.513	0.807	0.967	7.690	0.7690

사용 방법

python
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Anserwise/AWAXIS-Hybrid-28B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "Anserwise/AWAXIS-Hybrid-28B",
    torch_dtype="bfloat16",
    device_map="auto",
    trust_remote_code=True,
)

messages = [{"role": "user", "content": "한국 역사에서 임진왜란이 발생한 시기는?"}]
inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(model.device)
outputs = model.generate(inputs, max_new_tokens=256, temperature=0.0)
print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))

라이선스

Apache 2.0 (부모 모델 라이선스 계승)

2026-04-30

학습 데이터셋

AI Hub(과학기술정보통신부 산하 NIA 운영) 공개 한국어 말뭉치를 활용하여 학습하였습니다.

한국어 대화 데이터셋 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=272

대규모 웹데이터 기반 한국어 말뭉치 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=624

멀티세션·대화 관련 말뭉치 데이터 https://aihub.or.kr/aihubdata/data/view.do?currMenu=511&topMenu=100&aihubDataSe=dataPckage&dataPckageSn=1

한국어 생성 기반 상식추론 데이터셋 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=459

전문 의학지식 데이터 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=71874

의료·법률 전문 서적 말뭉치 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=71487

AWAXIS-Hybrid-28B

Get help setting up a custom Dedicated Endpoints.

README