GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
guifav
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
guifav
Model Tree
google/gemma-4-E4B-it
Input Modalities
Output Modalities
Supported Functionality
google/gemma-4-E4B-it @ fee6332c (revision pinada; training_config.json registra o snapshot completo de hiperparâmetros, versões e revisions)guifav/caramelo-dataset, 414 pares de correção de estilo (o mesmo dataset e a mesma receita do ciclo anterior, documentados no relatório técnico)guifav/caramelo-gemma4-e4b-lora-adapter; este repo contém o merge em bf16 e o GGUF Q4_K_M usado em produçãofinetune/gemma4_e4b/train_lora.py no repositório do projetoA arquitetura base Gemma4ForConditionalGeneration é multimodal (any-to-any: texto, imagem e áudio), mas o Caramelo opera apenas em texto: o LoRA é anexado só no decoder textual (model.language_model.layers.*) e as pernas de vision/audio ficam congeladas. Por isso o pipeline_tag é text-generation.
Nos 24 prompts held-out do benchmark do projeto:
| Comparação | Estilo | Qualidade |
|---|---|---|
| vs. Gemma 4 E4B base (sem fine-tune) | 100% | 95–100% |
| vs. caramelo 3.4.2 (versão anterior, Gemma 3 4B) | 79–87% | 87–91% |
O 4.4.1 escreve respostas mais completas que o 3.4.2 (~400 vs ~270 tokens em média); no julgamento cego, os juízes apontaram que a versão anterior omitia conteúdo relevante com mais frequência.
Esses números sustentam a premissa: treinar comunicação melhora a performance medida da tarefa. No ciclo anterior (3.4.2), o raciocínio bruto foi medido em 1.432 questões do ENEM e ficou no nível do base (57,5% vs 57,2%), enquanto a qualidade julgada às cegas venceu o base em 66–70%.
Servido em CPU (llama.cpp, GGUF Q4_K_M, 5,0 GiB) a ~18,5 tokens/s em 4 vCPUs. O chat template do Gemma 4 liga thinking por padrão; em produção o servidor roda com --reasoning off. A persona e a camada de segurança são injetadas server-side pelo gateway e têm prioridade sobre instruções do usuário.
O modelo base google/gemma-4-E4B-it é distribuído sob Apache-2.0; este fine-tune segue os mesmos termos. O dataset guifav/caramelo-dataset é de propriedade de Guilherme Favaron. Confirme a licença vigente na página do modelo base antes de redistribuir.
A camada de segurança do Caramelo em produção é aplicada server-side pelo gateway em ia-caramelo.com. Estes pesos não devem ser usados sem moderação própria.