학습
Teacher(Qwen3.8-27B)가 같은 RAG 프롬프트·도구로 만든 답변과 에이전트 기록을 학생(Qwen/Qwen3.5-9B)에 SFT 로 증류했습니다.
운영은 첫 라운드만 생각하고 이전 생각을 빼고 다음 라운드를 보내므로, 에이전트 기록 하나를 두 샘플로 나눠 학습 입력을 운영 입력과 같게 맞췄습니다.
Table with columns: 데이터, 원본 수, 학습 샘플, 토큰, 손실을 거는 곳| 데이터 | 원본 수 | 학습 샘플 | 토큰 | 손실을 거는 곳 |
|---|
| answers (RAG 형식) | 3,000 | 3,000 | 24.6M | 최종 답변 |
| traces · think (첫 라운드, 생각 포함) | 716 × 2 (강화 148개는 × 4) | 1,728 | 23.8M | 첫 라운드 생각 + 도구 호출 |
| traces · full (생각 제거) | | 1,604 | 33.0M | 나머지 도구 호출 + 최종 답변 |
- 합계 6,332줄 · 81.4M 토큰 중 손실 토큰 2.99M. 그림이 든 기록 21개는 그림을
[그림] 자리 텍스트로 바꿔 넣었고, 32K 토큰 초과 샘플은 자르지 않고 뺐습니다.
- 강화: 검색을 바꿔 다시 찾아낸 기록(회복)과 처음부터 종료를 표시한 기록을 더 많이 넣었습니다.
- 데이터셋의 test 분할은 학습에 쓰지 않았습니다(평가용).
- LoRA r=32, alpha=32, dropout=0.0 · 대상:
q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj, in_proj_qkv, in_proj_z, out_proj (언어 모델의 full attention · MLP · Gated DeltaNet 투영, 비전 타워 제외)
- bf16 LoRA (Unsloth) · 1 epoch · lr 0.0001 cosine · 실효 배치 16 · 최대 32,768 토큰 · H100 2.8시간
- 학습 손실(평균) 0.2448 · 최종 검증 손실 answers 0.2739 / traces 0.2608
검증 손실
Table with columns: 스텝, answers 검증 손실, traces 검증 손실| 스텝 | answers 검증 손실 | traces 검증 손실 |
|---|
| 50 | 0.3254 | 0.3016 |
| 100 | 0.3015 | 0.2820 |
| 150 | 0.2911 | 0.2713 |
| 200 | 0.2845 | 0.2667 |
| 250 | 0.2799 | 0.2649 |
| 300 | 0.2760 | 0.2630 |
| 350 | 0.2743 | 0.2612 |
| 396 | 0.2739 | 0.2608 |
한계
- 순천향대학교 공지·규정 RAG 챗봇(순라이프) 전용입니다. 학습에 쓴 시스템 프롬프트·도구 형식 밖에서는 원본 Qwen/Qwen3.5-9B 보다 나아진다는 보장이 없습니다.
- 비전 타워와 MTP(추측 디코딩) 가중치는 학습하지 않고 원본 그대로입니다. 추측 디코딩을 켜면 수락률이 원본보다 조금 낮을 수 있습니다.
- 평가(test 분할 비교)는 아직 진행 전입니다.