구조
Table with columns: 구성, 내용| 구성 | 내용 |
|---|
| 본체 | Qwen/Qwen3.5-4B-Base 텍스트 부분 (32층, hidden 2560). 가중치 고정, 비전 부분 제거 |
| LoRA | r=16, alpha=32, 어텐션·FFN 투영층 7종 (q/k/v/o/gate/up/down_proj) — adapter_model.safetensors |
| Pointer 헤드 | 선형층 2개 (2560→256). [판정] 위치와 각 보기 끝 위치의 은닉 상태 내적 → 보기 점수 — pointer_head.safetensors |
| 보정 | 사후 온도 T = 1.55 (pointer_head.safetensors 의 metadata) |
| 출력 | softmax(점수 / T). 최고 확률 0.6 미만이면 보류 |
LM 헤드를 쓰지 않으므로 transformers 의 generate 로는 쓸 수 없습니다. jev_infer.py 를 쓰세요.
사용법
from jev_infer import load, judgetok, model, head, T = load("yblee-dacon/kojev-4b")judge(tok, model, head, T, state="65세 이상이고 소득 1,500만 원 미만이면 지급한다.\n신청인은 68세, 소득 1,200만 원이다.", question="지급 대상인가?", options=["지급", "미지급"])# {'probs': {'지급': 0.9..., '미지급': 0.0...}, 'answer': '지급'} answer 가 None 이면 보류
입력은 학습 때와 같은 모양으로 조립됩니다: [상태]\n{state}\n\n[질문]\n{question}\n\n[보기]\n{보기1}\n{보기2}\n…\n[판정]
학습
Table with columns: 항목, 내용| 항목 | 내용 |
|---|
| 학습 데이터 | 78,964행 (답이 있는 행 + 근거 없음·"알 수 없음" 보기 행 + 전제 불일치 질문 행). 전체 88,498행 공개: yblee-dacon/kojev-4b-data |
| 데이터 출처 | 자체 생성 판정 데이터(일반 판정·업무 규칙·용어 적용), KoBEST·KLUE 학습 분할 |
| 목표 | 답이 있는 행은 정답 1.0, 답할 수 없는 행은 보기에 균일 확률 (교차엔트로피) |
| 설정 | 2 에폭 · 배치 8 · 학습률 5e-5 · 최대 입력 768 토큰 · bf16 |
| 자원 | 광주 국가 AI데이터센터(AICA) NVIDIA H100 1장, 126분 |
| 버전 | 2026-11-01 학습분 |
평가
학습에 쓰지 않은 고정 평가셋 3,132문항. 비교 LLM 은 Qwen3.8-27B(FP8, vLLM), "상태만으로 답을 정할 수 없으면 '알 수 없음'" 지시 포함.
Table with columns: 묶음, 지표, 문항, LLM thinking 끔, LLM thinking 켬, kojev-4b| 묶음 | 지표 | 문항 | LLM thinking 끔 | LLM thinking 켬 | kojev-4b |
|---|
| 답이 있는 문항 | 정답률 | 1,079 | 91.1% | 95.7% | 97.8% |
| 처음 보는 벤치 (KMMLU·Belebele·CLIcK·APEACH) | 정답률 | 800 | 72.9% | 77.4% | 62.1% |
| 보류해야 정답 | 보류율 | 803 | 64.6% | 82.6% | 84.7% |
| "알 수 없음" 보기 포함 | 정답률 | 450 | 83.6% | 77.8% | 88.7% |
같은 구조로 답이 있는 행만 학습한 버전은 보류율 14.7%, "알 수 없음" 보기 포함 정답률 48.4% 였습니다.
속도 (H100 1장씩, 32건 동시): kojev-4b 73.6 건/초, LLM thinking 끔 23.1 건/초, thinking 켬 1.4 건/초.
한계
- 규칙이 주어지지 않은 상식·전문지식 문제는 27B LLM 보다 약합니다 (위 "처음 보는 벤치").
- 날짜·기간 계산은 학습하지 않았습니다. 숫자 계산은 코드로 하고 의미 판단만 맡기세요.
- 768 토큰을 넘는 긴 입력, 개방형 답변 채점에는 맞지 않습니다.
라이선스
LoRA 어댑터와 Pointer 헤드는 베이스 모델과 같은 Apache 2.0 으로 공개합니다.
학습 데이터의 일부(KoBEST·KLUE)는 CC BY-SA 4.0 입니다.