Dominio
Asistente que explica conceptos de inteligencia artificial generativa a ejecutivos, con ejemplos aplicados a
distintas industrias (banca, retail, AFP, logística, universidades, clínicas). Cubre 5 temas:
Agentes de IA, Ajuste fino, Fundamentos de LLM, Ingeniería de prompts, RAG.
Datos de entrenamiento
- 162 pares pregunta-respuesta generados por el profesor (
datos/entrenamiento.jsonl).
- Examen fijo de 12 preguntas separado del entrenamiento, calificado por un LLM juez (nota 1–10).
- LoRA r=16, alpha=32, dropout 0.05 sobre todas las proyecciones de atención y MLP.
- Pérdida de entrenamiento: 2.6739 → 0.0025.
Resultados en el examen fijo

Table with columns: Antes (base), Después (destilado) | Antes (base) | Después (destilado) |
|---|
| Nota media (1–10) | 1.33 | 8.58 |
| Aprobación (≥ 7) | 0% | 75% |
Table with columns: Tema, Antes, Después| Tema | Antes | Después |
|---|
| Agentes de IA | 1.50 | 10.00 |
| Ajuste fino | 1.00 | 10.00 |
| Fundamentos de LLM | 1.33 | 8.67 |
| Ingeniería de prompts | 1.00 | 10.00 |
| RAG | 1.33 | 5.67 |
Uso
from transformers import AutoModelForCausalLM, AutoTokenizerfrom peft import PeftModel base = "HuggingFaceTB/SmolLM2-360M-Instruct"tok = AutoTokenizer.from_pretrained(base)m = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained(base), "EumenesXIII/finbot-slm")msgs = [{"role": "user", "content": "Explica qué es RAG para un banco."}]ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True)out = m.generate(**ids, max_new_tokens=80)print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))
Limitaciones y uso responsable
- Modelo educativo de 360M parámetros: tiende a reproducir casi literalmente las respuestas del profesor
y puede inventar definiciones fuera de lo que vio (p. ej. falló en "embeddings" con nota 1).
- El examen es pequeño (12 preguntas) y lo califica un LLM: las notas son indicativas, no una evaluación rigurosa.
- No usar para decisiones reales ni como fuente de verdad. Las salidas del profesor provienen de OpenAI; sus términos
restringen usarlas para desarrollar modelos competidores. Uso educativo.