GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
orbit01
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
orbit01
Model Tree
kakaocorp/kanana-1.5-8b-instruct-2505
Input Modalities
Output Modalities
Supported Functionality
| 입력 | 여행 조건(지역·날짜·동행·취향) + 이미 짜인 일정(날짜·순서·시각 고정) + 장소별 개요 |
| 출력 | 가이드북 글만 담은 JSON. 제목, 소개, 하루 요약, 장소별 추천 이유 |
일정은 바꾸지 않습니다. 일정은 앞 단계에서 정하고, 이 모델은 "왜 여기인지"를 씁니다.
Qwen3-32B-AWQ로 정답을 만들고(증류), 규칙 검사기로 걸렀습니다.
Trainer와 peft로 SFT를 직접 구현했습니다.
자동 규칙 검사 (test 200건): 학습 전 44건(22%) → v7 162건(81%)
블라인드 품질 비교 (GPT 심판, test 50건, 기준별 1~5점):
| 기준 | v7 / Sonnet (같은 입력) |
|---|---|
| 사실 | 95% |
| 입력과 맞음 | 88% |
| 구체성 | 84% |
| 자연스러움 | 79% |
| 반복 | 70% |
| 평균 | 84% (학습 전 74%) |
KGB에서는 RunPod Serverless(vLLM)로 매일 오후 1시~5시에 이 모델을 쓰고, 그 외 시간에는 Claude Sonnet을 씁니다.
아래는 vLLM, RunPod L4 측정 결과입니다(에러 0).
| 동시 요청 | 첫 토큰(TTFT) | 시간당 처리 | 비용 (Sonnet 대비) |
|---|---|---|---|
| 1 | 1.94초 | 55건 | 25% |
| 3 | 2.23초 | 141건 | 10% |
| 5 | 2.45초 | 189건 | 7% |
bash
vllm serve kakaocorp/kanana-1.5-8b-instruct-2505 \ --enable-lora --max-lora-rank 16 \ --lora-modules writer=orbit01/kgb-writer-v7model="writer"로 부릅니다. 개요는 학습 때와 같이 자릅니다.
개요가 없는 장소는 overview 필드를 빼고 보냅니다.
model/)vllm serve kakaocorp/kanana-1.5-8b-instruct-2505 \ --enable-lora --max-lora-rank 16 \ --lora-modules writer=orbit01/kgb-writer-v7