Uso
Requiere transformers 5 o posterior.
from transformers import AutoModelForCausalLM, AutoTokenizer repo = "LICDIA-UNLu/Liminar-Gemma-4-E4B"tok = AutoTokenizer.from_pretrained(repo, revision="v2026.11")modelo = AutoModelForCausalLM.from_pretrained( repo, revision="v2026.11", dtype="auto", device_map="auto") mensajes = [{"role": "user", "content": "¿Qué establece la Ley de Educación Superior sobre la autonomía universitaria?"}]entrada = tok.apply_chat_template( mensajes, add_generation_prompt=True, return_dict=True, return_tensors="pt").to(modelo.device)salida = modelo.generate(**entrada, max_new_tokens=400)print(tok.decode(salida[0, entrada["input_ids"].shape[1]:], skip_special_tokens=True))
Para consultas sobre normas concretas conviene usarlo con recuperación de documentos (RAG) sobre una fuente
actualizada: el modelo no sabe qué normas siguen vigentes.
Versiones cuantizadas (GGUF)
Para usarlo con llama.cpp, Ollama o LM Studio, también sin GPU. La plantilla de chat de estos archivos deja apagado el razonamiento, como en el entrenamiento.
Table with columns: Archivo, Cuantización, Tamaño| Archivo | Cuantización | Tamaño |
|---|
Liminar-Gemma-4-E4B-Q8_0.gguf | Q8_0 (8 bits) | 8,0 GB |
ollama run hf.co/LICDIA-UNLu/Liminar-Gemma-4-E4B:Q8_0llama-server -hf LICDIA-UNLu/Liminar-Gemma-4-E4B:Q8_0
La evaluación de esta ficha es la del modelo en bf16: las versiones cuantizadas no se evaluaron aparte.
Del E4B no se publica una versión de 4 bits: en las pruebas escribía palabras deformadas, algo que no pasaba con la de 8 bits ni con el modelo sin cuantizar.
Datos
- Normativa universitaria nacional de Infoleg (base de datos.jus.gob.ar, CC BY 4.0), curada a mano.
- Textos públicos sobre la vida universitaria: argentina.gob.ar (CC BY 4.0), CONICET (CC BY 2.5 AR) y el Consejo
Interuniversitario Nacional (con su permiso).
- Datos generados a partir de ese corpus con el documento a la vista: fragmentos con su ficha, versiones reescritas,
preguntas y respuestas, abstención, identidad, respuestas del propio modelo base a consignas generales y ejemplos de
consulta con documentos. Las respuestas de entrenamiento las escribió Qwen 3.5 27B, así que el modelo aprende en parte su estilo.
Entrenamiento
Ajuste completo de todos los pesos salvo la tabla de embeddings por capa (embed_tokens_per_layer, 2.820 millones de parámetros), que quedó fija, con FSDP en un nodo de la supercomputadora Clementina XXI (8 tiles de GPU Intel Data
Center Max 1550): una época de preguntas y respuestas y cuatro épocas con todos los datos. El entrenamiento usó 77 horas de GPU (horas de tile).
Evaluación
Cada modelo se compara con su modelo base. Las respuestas abiertas las califica Llama 3.3 70B, que no pertenece a
ninguna de las familias evaluadas. El benchmark de normativa pregunta sin documentos por normas del corpus y mide
cuánto recuerda el modelo de lo que aprendió. La consulta con documentos usa los fragmentos que devuelve un sistema de
recuperación real y la rúbrica de la evaluación humana de ChatDigesto (utilidad, fidelidad, completitud y claridad).
Table with columns: Evaluación, Modelo base, Liminar| Evaluación | Modelo base | Liminar |
|---|
| Normativa sin documentos (300 preguntas): respuestas correctas | 5,7 % | 31,7 % |
| Normativa sin documentos: nota media del juez (0 a 2) | 0,37 | 1,10 |
| Consulta con documentos, RAG (60 consultas): promedio del juez (1 a 5) | 4,89 | 5,00 |
| RAG: respuestas con algún dato incorrecto | 0 de 60 | 0 de 60 |
Como referencia, gpt-4.1-mini responde bien el 14,3 % de las preguntas de normativa sin documentos (nota media 0,77) y promedia 4,98 en la consulta con documentos, con 0 respuestas incorrectas de 60.
Límites
- No sabe qué normas siguen vigentes ni cuáles cambiaron después de la fecha del corpus.
- Puede equivocar números de normas, fechas y montos.
- No conoce los actos internos de cada universidad: esa es la capa que cada institución puede sumar con la receta.
- El ajuste usó solo texto: la parte que procesa imágenes y audio es la del modelo base, sin cambios.
In English
Liminar-Gemma-4-E4B belongs to Liminar, a family of open language models from the Argentine university system, adapted to
its regulations, institutions and academic life and to formal Argentine Spanish. It is based on Gemma 4 E4B and
developed by LICDIA at Universidad Nacional de Luján. Code, recipe and documentation:
github.com/LICDIA-UNLu/liminar.