Числа на dev-100 замовника
Table with columns: частина, результат| частина | результат |
|---|
| питання на знання, відповідь називає ключовий факт | 22 з 44 (суддя Gemma2-27B; Qwen2.5-14B: теж 22) |
| негативи з відмовою | 41 з 41 (усі чистою відмовою, без «виправлень») |
| практичні питання з відповіддю | 13 з 15 за вашою рубрикою (dev-pr-013 і dev-pr-011 зриваються в китайські ієрогліфи, рахуємо їх як відмову; у dev-pr-009 кілька ієрогліфів у кінці останнього кроку, її рахуємо як відповідь) |
Замір як у вас: злиття адаптера в чисту базу в bf16, q8_0 GGUF, Ollama 0.40.3 (версію друкував повторний замір тієї ж ночі), greedy, ваш системний промт
байт у байт, до 700 токенів. Часткові відповіді не зараховувались. Це dev-оцінка, не сліпий іспит.
Що зробили і чому
- База Qwen2.5-7B-Instruct, SFT LoRA r64/alpha128 на всіх проєкціях (q, k, v, o, gate, up, down), bf16 без квантування, 2 епохи, lr 2e-4, одна стадія, 16 761 приклад, 2096 кроків. У першій здачі
training_config.json писав «one epoch» - це була помилка збирача, епох і тоді було дві; виправлено.
- Знання: 12 614 пар питання-відповідь лише з 1280 одиниць книги: учителі Qwen2.5-7B (9 305 пар) і Qwen2.5-14B (3 281) бачили тільки текст одиниці, 28 пар для 14 одиниць без жодної пари дописано вручну; близько третини питань непрямі («чому», «навіщо», «що буде, якщо», «в якій ситуації»). Питань з вашого іспиту MAR-2 і близьких до нього та до dev-100 (≥0,8 спільних слів) у навчанні 0.
- Головна зміна проти першої здачі: у ній 32 з 48 вигадок дав формат «Это не так. В разборе сказано другое: …», модель дописувала після нього хибний факт. Тепер виправлень немає зовсім: на все, чого книга не каже, одна фраза «В разборе этого нет.» - 2690 з 16 761 прикладів (16,0%).
- Межі: 707 ваших прикладів як є, плюс наш блок: 1400 питань про вузькі терміни з чужих галузей (1300 з латинськими назвами, 100 з російськими) у чотирьох видах (думка автора, хибна посилка, хибне твердження, розпит) і 100 «обґрунтувань»; спотворені факти книги у двох формах, ті самі спотворення одиниць: 300 у розмовних і 367 хибних тверджень у 9 зачинах на кшталт «Почему {…}?», «Чем автор объясняет, что…», «Почему в книге сказано, что…»; 195 хибних посилок. Спотворені факти і хибні твердження учитель робив тільки з одиниць книги. Назви чужих термінів придумав учитель Qwen2.5-14B, і саме тому їх у книзі немає: модель вчиться на них лише відмовляти, нових знань вони не несуть.
- Щоб межа не перетворилась на відмову від усього, 335 правдивих питань у схожих формах з відповіддю за книгою, а голому «Почему …?» з відмовою протистоять 2312 правдивих «чому». На зачинах «Почему автор утверждает / советует / рекомендует», де в першій здачі був перекіс 262 відмов проти 28 правдивих, відмовних прикладів тепер 0.
- Практичні: 742 питання (191 побутове, 551 технічне), відповіді 3-6 конкретних кроків написала сама база Qwen2.5-7B-Instruct, а не учитель: так модель вчиться лише формі «конкретні кроки», без знань з інших джерел. Відсіяно відповіді з чужою абеткою, без кроків або з посиланням на книгу.
- Кандидатів було два, V2a (без побутових практичних і без 367 хибних «чому») і цей V2b, правило вибору записали до заміру. На вашому MAR-2 обидва мали 0 вигадок з 60; практичні 15 з 15 за формою, але по одній відповіді (V2b mr2-keys-009, V2a mr2-keys-013) зривається в ієрогліфи, за вашою рубрикою це відмова. MAR-2 ми бачили з вашими мітками, тому окремо міряли на 175 нових питаннях, які написала Gemma2-27B (лише відносна міра, з вашими числами не порівнюється): V2a вигадав 13 з 60 на спотворених фактах книги, V2b 2 з 60 (строго, якщо «В книге этого нет.» теж рахувати вигадкою: 14 і 3).
- Ціна вибору: знання V2b на MAR-2 нижче, ніж у V2a, суддя Gemma 25 проти 29 з 100, бо V2b частіше відмовляє на книжкових питаннях (5 з 100 на MAR-2). Знання V2b біля вашого порогу, не вище: наша оцінка 32-35 з 100 залежно від судді.
- Відоме слабке місце: на довгих практичних відповідях база іноді зривається в китайські ієрогліфи. У навчальних даних їх 0, зрив іде від бази; на трьох наших наборах зачеплено 7 з 45 практичних відповідей, з них 3 повністю.
- Відтворюваність заміру перевірена: повторне злиття і замір V2a на іншій машині дали ті самі 130 з 130 відповідей dev байт у байт; V2b міряли один раз тим самим шляхом.