waifu-heretic-26b-a4b
waifu-heretic-26b-a4b — это hiwaifu-research/WaifuGemma4-26b-a4b-v1, из которой удалена цензура.
Не модификация. Не новая персона. Не «улучшенная» версия. Та же модель — с теми же знаниями, тем же русским языком, тем же ролевым отыгрышем — но без внутренних барьеров, которые заставляли её отказывать.
Что изменилось
Ровно один компонент: self_attn.o_proj в слоях 11–22. Всё остальное — эмбеддинги, lm_head, MLP, роутер, эксперты, визуальный энкодер — осталось от WaifuGemma4 нетронутым.
Аbliteration-вектор взят из llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic — модели, которая снимает отказы через точечное воздействие на тот же компонент (attn.o_proj в слоях 11–22). Мы не смешивали модели целиком, а перенесли только то изменение, которое отвечает за отказы.
Характер модели
Table with columns: Качество, Описание| Качество | Описание |
|---|
| Свобода | Не отказывает. Ни на жестокость, ни на NSFW, ни на этически сложные темы. Не читает лекций. Не добавляет дисклеймеров. |
| Ролевой отыгрыш | Сохранён. Персонаж, контекст, стиль — всё на месте. |
| Знания | Сохранены. Изменён только один проекционный слой, а не веса знаний. |
| Следование инструкциям | Улучшилось. Меньше «внутренних переговоров» о том, можно ли ответить — ответы прямее и чище. |
Цензура и границы
Модель не имеет встроенных отказов в том виде, в каком они присутствуют у WaifuGemma4. Это означает:
- ✅ Сцены жестокости, хоррора, политические темы, откровенный контент — без отказов
- ✅ Этически неоднозначные персонажи — без моральных вставок
- ✅ Прямые ответы на сложные вопросы — без «я не могу обсуждать эту тему»
Детали слияния
Слияние выполнено через mergekit-exp — форк mergekit, добавляющий поддержку архитектуры Gemma4ForConditionalGeneration и MoE-осведомлённые методы слияния.
Метод: moe_slerp с точечным фильтром.
База: WaifuGemma4 — русскоязычная база, реальные диалоговые данные, ролевой отыгрыш.
Донор: Heretic — аbliteration через self_attn.o_proj в слоях 11–22.
Что изменено: только self_attn.o_proj в слоях 11–22, с весом t = 0.8. Роутер (router_strategy: "first") остался полностью от WaifuGemma4 — русские токены маршрутизируются в те же эксперты, что и раньше.
Что не изменено: эмбеддинги, lm_head, MLP, эксперты, визуальный энкодер, все остальные слои.
Конфигурация
architecture: Gemma4ForConditionalGenerationmerge_method: moe_slerpbase_model: hiwaifu-research/WaifuGemma4-26b-a4b-v1 models: - model: llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic parameters: weight: 1.0 parameters: t: - filter: self_attn.o_proj value: [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0] - value: 0.0 router_strategy: "first" dtype: bfloat16out_dtype: bfloat16tokenizer: source: "base"
Пояснения к конфигу:
architecture: Gemma4ForConditionalGeneration — явное указание архитектуры, чтобы mergekit-exp корректно обрабатывал мультимодальные модули (model.language_model.layers, model.vision_tower.encoder.layers, default).merge_method: moe_slerp — MoE-осведомлённый SLERP для двух моделей. Сохраняет норму весов, не размывая их линейным усреднением.base_model: WaifuGemma4 — точка отсчёта. Все веса, не попавшие под фильтр, берутся отсюда.models[].weight: 1.0 — в moe_slerp не используется (метод работает через t), оставлено для совместимости с форматом mergekit.t: filter: self_attn.o_proj — целевой компонент. Abliteration в Heretic затронула именно , поэтому переносим только его.
waifu-heretic-26b-a4b is hiwaifu-research/WaifuGemma4-26b-a4b-v1 with censorship removed.
Not a modification. Not a new persona. Not an "improved" version. The same model — same knowledge, same Russian, same roleplay — but without the internal barriers that made it refuse.
What changed
Exactly one component: self_attn.o_proj in layers 11–22. Everything else — embeddings, lm_head, MLP, router, experts, vision encoder — remains untouched from WaifuGemma4.
The abliteration vector is taken from llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic — a model that removes refusals through targeted intervention on the same component (attn.o_proj in layers 11–22). We didn't blend models wholesale; we transferred only the change responsible for refusals.
Model character
Table with columns: Quality, Description| Quality | Description |
|---|
| Freedom | No refusals. Not on violence, not on NSFW, not on ethically complex topics. No lectures. No disclaimers. |
| Roleplay | Preserved. Character, context, style — all intact. |
| Knowledge | Preserved. Only one projection layer changed, not knowledge weights. |
| Instruction following | Improved. Fewer "internal negotiations" about whether to answer — responses are more direct. |
Censorship and boundaries
The model has no built-in refusals in the form present in WaifuGemma4:
- ✅ Violence, horror, political topics, explicit content — no refusals
- ✅ Ethically ambiguous characters — no moral insertions
- ✅ Direct answers to difficult questions — no "I can't discuss this"
Merge details
The merge was performed with mergekit-exp — a fork of mergekit that adds support for the Gemma4ForConditionalGeneration architecture and MoE-aware merge methods.
Method: moe_slerp with targeted filtering.
Base: WaifuGemma4 — Russian base, real dialogue data, roleplay.
Donor: Heretic — abliteration via self_attn.o_proj in layers 11–22.
Changed: only self_attn.o_proj in layers 11–22, with weight t = 0.8. Router (router_strategy: "first") remains fully from WaifuGemma4 — Russian tokens route to the same experts as before.
Unchanged: embeddings, lm_head, MLP, experts, vision encoder, all other layers.
Configuration
architecture: Gemma4ForConditionalGenerationmerge_method: moe_slerpbase_model: hiwaifu-research/WaifuGemma4-26b-a4b-v1 models: - model: llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic parameters: weight: 1.0 parameters: t: - filter: self_attn.o_proj value: [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.8, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0] - value: 0.0 router_strategy: "first" dtype: bfloat16out_dtype: bfloat16tokenizer: source: "base"
Configuration notes:
architecture: Gemma4ForConditionalGeneration — explicit architecture so mergekit-exp correctly handles multimodal modules (model.language_model.layers, model.vision_tower.encoder.layers, default).merge_method: moe_slerp — MoE-aware SLERP for two models. Preserves weight norm instead of blurring via linear averaging.base_model: WaifuGemma4 — anchor point. All weights not matched by a filter are taken from here.models[].weight: 1.0 — unused by moe_slerp (the method works through t), kept for mergekit format compatibility.t: filter: self_attn.o_proj — target component. Abliteration in Heretic affected , so we transfer only that.