Anserwise

AWAXIS-Hybrid-28B

README

License: apache-2.0

🧬 모델 설명 — 부모 모델 교배·진화 (Darwin 방식)

본 모델은 두 부모 LLM의 가중치를 layer 단위로 교배·결합하는 Darwin Platform 진화적 머지 기법 (Smart MRI Layer-wise)으로 제작됐습니다. 일반 SFT/CPT 학습이 아닌 가중치 합성 진화 방식이라는 점이 핵심입니다.

Table with columns: 구간, 어머니 채택률, 의도
구간	어머니 채택률	의도
Embed / LM-head	50%	출력 통로 균형
Norm	30%	안정성
Visual encoder	0%	아버지 100% 보존
Layers 0~15 (초기)	40%	한국어 표면 패턴 흡수
Layers 16~50 (중기)	0%	추론 능력 보존
Layers 51~63 (후기)	70%	도메인 지식 채택

각 부모의 강점이 어느 layer에 저장되는지 분석한 후 layer-wise로 부모 가중치 비율을 다르게 적용하여 두 모델의 강점만 선택적으로 결합하는 방식입니다.

📚 데이터셋 활용

본 모델은 가중치 머지(Weight Merge) 산물이므로 추가 SFT/CPT 학습은 수행하지 않았습니다. 대신 두 부모 모델이 사전에 학습한 광범위한 한국어 데이터셋의 강점을 layer 단위로 흡수합니다. 부모 모델들이 학습한 주요 한국어 데이터셋은 다음과 같습니다:

일반 Instruction: kai-sft / kai-combined 시리즈 (한국어 다양 도메인 instruction-following)
KMMLU-Pro: 한국 도메인 지식 (역사·법률·의료·과학·공학 등)
CLIcK: 한국 문화·상식 (역사·전통·사회 규범)
HAERAE: 한국어 표면 패턴 (언어학·일반상식·역사)
KOBEST: 한국어 reasoning (HellaSwag·COPA·BoolQ)
Com2-main(ko): 한국어 commonsense (사회적 추론·의도 파악)
MuSR(Ko): 한국어 다단계 추론 (Murder Mystery·Object Placements 등)

가중치 머지 단계에서 각 부모의 학습 결과를 layer 비율로 보존·결합하여, 단일 SFT보다 catastrophic forgetting 위험이 낮고 부모 강점 손실이 적은 것이 특징입니다.

📊 평가 결과

1) K-AI 리더보드 기준 (5과목)

KMMLU-Pro / CLIcK / HLE(Ko) / MuSR(Ko) / Com2-main(ko)

외부 모델: K-AI 리더보드(leaderboard.aihub.or.kr) 실측값
본 시리즈: 자체 mirror eval(100문항) × Rogue-28B-MIX 기준 ratio 환산 추정값

Table with columns: Model, KMMLU-Pro, CLIcK, HLE(Ko), MuSR(Ko), Com2-main(ko), Sum, Macro
Model	KMMLU-Pro	CLIcK	HLE(Ko)	MuSR(Ko)	Com2-main(ko)	Sum	Macro
Hybrid (예상)	0.674	0.787	0.07	0.611	0.657	2.799	0.560
AWAXIS-Hybrid-28B ⭐ (이 모델, 예상)	0.674	0.787

HLE(Ko)는 28B급 공통 약점 (난이도 매우 높음).

2) 종합 한국어 능력 (10과목 mirror eval)

CLIcK + KMMLU(history/law/health) + HAERAE(gk/hist/ling) + KOBEST(hella/copa/boolq)

Table with columns: Model, CLIcK, KMMLU 평균, HAERAE 평균, KOBEST 평균, Sum (10과목), Macro
Model	CLIcK	KMMLU 평균	HAERAE 평균	KOBEST 평균	Sum (10과목)	Macro
AWAXIS-Hybrid-28B ⭐ (이 모델)	0.83	0.530	0.813	0.967	7.760	0.7760
Rogue-28B-MIX	0.83	0.513	0.807	0.967

사용 방법

python
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Anserwise/AWAXIS-Hybrid-28B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    "Anserwise/AWAXIS-Hybrid-28B",
    torch_dtype="bfloat16",
    device_map="auto",
    trust_remote_code=True,
)

messages = [{"role": "user", "content": "한국 역사에서 임진왜란이 발생한 시기는?"}]
inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(model.device)
outputs = model.generate(inputs, max_new_tokens=256, temperature=0.0)
print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))

라이선스

Apache 2.0 (부모 모델 라이선스 계승)

2026-04-30

학습 데이터셋

AI Hub(과학기술정보통신부 산하 NIA 운영) 공개 한국어 말뭉치를 활용하여 학습하였습니다.

한국어 대화 데이터셋 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=272

대규모 웹데이터 기반 한국어 말뭉치 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=624

멀티세션·대화 관련 말뭉치 데이터 https://aihub.or.kr/aihubdata/data/view.do?currMenu=511&topMenu=100&aihubDataSe=dataPckage&dataPckageSn=1

한국어 생성 기반 상식추론 데이터셋 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=459

전문 의학지식 데이터 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=71874

의료·법률 전문 서적 말뭉치 https://aihub.or.kr/aihubdata/data/view.do?dataSetSn=71487

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Model Details

Model Provider

Anserwise

Model Tree

Base

FINAL-Bench/Darwin-28B-KR