Числа на dev-100 замовника
Table with columns: частина, результат| частина | результат |
|---|
| питання на знання, відповідь називає ключовий факт | 21 з 44 (суддя Gemma2-27B; Qwen2.5-14B: 24) |
| негативи з відмовою або виправленням | 39 з 41 |
| практичні питання з відповіддю | 15 з 15 |
Замір: злиття адаптера в чисту базу, q8 GGUF, Ollama, greedy, системний промт замовника байт у байт,
до 700 токенів. Часткові відповіді не зараховувались. Це dev-оцінка, не сліпий іспит.
Що зробили і чому
- База Qwen2.5-7B-Instruct, SFT LoRA r64/alpha128 на всіх проєкціях (q, k, v, o, gate, up, down), bf16 без квантування, 2 епохи (одна недоучувала, див. п. 8), lr 2e-4, одна стадія.
- Знання: пари питання-відповідь лише з 1280 одиниць книги; учитель Qwen2.5-7B бачив тільки текст одиниці. Форма питання задавалась примусово на кожен прохід, 10 форм, половина непрямі («чому», «що буде, якщо не», «в якій ситуації», «що робити, якщо»), бо температура різноманіття не давала.
- 12 643 пари, 9,9 формулювання на факт. Чистка: без збігів і близьких до dev-100, без обірваних, без чужої абетки, без відповідей, що повторюють питання.
- Межі: 707 відказних прикладів замовника як є, плюс наш блок: 370 хибних тверджень з виправленням фактом книги, 195 хибних посилок з відмовою фразою замовника, 240 парних позитивів на ті самі теми. Приклади з відмовою або виправленням подвоєні, їх частка в наборі 12%.
- Свій блок тому, що навчання замовника покриває терміни поза книгою, а іспит питає ще хибні твердження і хибні посилки.
- Проміжний експеримент, не спрацював: «правильні твердження» у формі «Чому автор стверджує, що X?» з відповіддю X. Модель вчилася повторювати посилку питання і підтверджувала хибну: вигадки на dev зросли з 1 до 5 з 41. Такі приклади прибрали всі.
- Проміжний експеримент: друга стадія меж поверх готового адаптера: відлуння посилки посилилось, 8 з 41. Тому одна стадія.
- Головний приріст знання дала друга епоха: на тих самих даних суддя Gemma дав 13, потім 26 з 44. Той проміжний варіант мав 3 вигадки з 41, тому в зданому прикладів меж удвічі більше: знання 21 з 44, вигадок 2 з 41. Третя епоха знання не додала. Більше формулювань на одній епосі знання не рухало.
- Знання оцінювали два судді, Qwen2.5-14B і Gemma2-27B; у звіті наведено нижчу з двох оцінок.
- Адаптер обрано серед шести кандидатів за оцінкою шансу пройти всі три пороги одночасно: вигадки, відмови і знання.