Dominio
Asistente que explica a analistas nuevos de un equipo de datos de energía cómo funciona el Sistema Eléctrico Nacional
(SEN) de Chile y cómo se pronostica la generación renovable variable (solar y eólica) por zona. Está pensado como apoyo
de inducción: conceptos como el rol del Coordinador Eléctrico Nacional, el vertimiento, los datos meteorológicos y del
CEN, y cómo se evalúa un pronóstico.
Temas: Operación del SEN y el Coordinador, Generación solar y eólica en Chile, Transmisión y vertimiento, Datos meteorológicos y del CEN, Modelos de pronóstico, Evaluación e incertidumbre del pronóstico.
Datos de entrenamiento
- 60 pares pregunta-respuesta generados por un LLM comercial (
gpt-6-luna, API de OpenAI)
actuando como profesor, en español, con un máximo de 90 palabras por respuesta.
- Un examen fijo de 12 preguntas (2 por tema), separado, que nunca se usó para entrenar.
- Revisión de una muestra de 10 respuestas del profesor (asistida por un LLM y revisada por la autora): contenido
correcto; 2 tenían el tema mal asignado.
- Los datos no se publican en este repositorio.
Entrenamiento
Table with columns: Parámetro, Valor| Parámetro | Valor |
|---|
| Modelo base | Qwen/Qwen2.5-1.5B-Instruct |
| Método | SFT con LoRA (solo se aprende la respuesta; la pregunta se enmascara) |
| LoRA | r = 16, alpha = 32, dropout = 0.05 |
| Módulos | down_proj, gate_proj, k_proj, o_proj, q_proj, up_proj, v_proj |
| Épocas · tasa de aprendizaje · lote | 3 · 0.0005 · 4 |
| Pasos · pérdida inicial → final | 45 · 2,51 → 0,89 |
| Hardware | Mac con Apple Silicon (MPS) |
Resultados en el examen fijo
Notas de 1 a 10 asignadas por un LLM juez que compara cada respuesta con la referencia del profesor (7 = aceptable para
un usuario real).
Table with columns: Antes (modelo base), Después (destilado) | Antes (modelo base) | Después (destilado) |
|---|
| Nota media | 2,58 | 4,83 |
| Aprobación (nota ≥ 7) | 0% | 25% |
Table with columns: Tema (2 preguntas cada uno), Antes, Después| Tema (2 preguntas cada uno) | Antes | Después |
|---|
| Datos meteorológicos y del CEN | 2,50 | 3,50 |
| Evaluación e incertidumbre del pronóstico | 3,00 | 6,00 |
| Generación solar y eólica en Chile | 1,50 | 3,50 |
| Modelos de pronóstico | 2,50 | 4,50 |
| Operación del SEN y el Coordinador | 2,50 | 6,00 |
| Transmisión y vertimiento | 3,50 | 5,50 |
Cómo leer estas cifras:
- El juez es ruidoso: calificó con notas distintas respuestas idénticas (±1 punto por ítem, hasta ≈ 0,3 en la media).
Diferencias menores a ~0,5 no son concluyentes.
- El juez es generoso: en una auditoría de 10 ítems (calificación asistida por otro LLM y revisada por la autora),
la revisión puso en promedio 0,9 puntos menos que el juez (correlación de Spearman 0,96). La aprobación real
probablemente es menor a la reportada.
- Con 2 preguntas por tema, las notas por tema son solo indicativas.
Uso
from transformers import AutoModelForCausalLM, AutoTokenizerfrom peft import PeftModel base = "Qwen/Qwen2.5-1.5B-Instruct"tok = AutoTokenizer.from_pretrained(base)modelo = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained(base), "macarenacolomes/sen-vre-asistente-qwen1.5b-lora") mensajes = [{"role": "system", "content": "Eres un asistente experto en el Sistema Eléctrico Nacional de Chile y en pronóstico de generación renovable. Responde en español, de forma clara y breve."}, {"role": "user", "content": "¿Qué es el vertimiento de energía solar y por qué ocurre en el norte de Chile?"}]entrada = tok.apply_chat_template(mensajes, add_generation_prompt=True, return_tensors="pt", return_dict=True)salida = modelo.generate(**entrada, max_new_tokens=120, do_sample=False, repetition_penalty=1.15)print(tok.decode(salida[0, entrada["input_ids"].shape[1]:], skip_special_tokens=True))
Limitaciones y uso responsable
- No usar para decisiones operacionales, regulatorias ni de inversión. La mayoría de sus respuestas no alcanza el
nivel aceptable.
- Inventa cifras y mecanismos con tono seguro, y comete errores de redacción en español.
- No rechaza preguntas fuera de su dominio: responde igual, a veces con información inventada.
- Su conocimiento proviene de un LLM y no fue verificado contra la normativa ni contra datos oficiales del Coordinador
Eléctrico Nacional.
- Para información confiable sobre el SEN, consultar las fuentes oficiales del Coordinador y la CNE.
Licencia y origen
- El adaptador se distribuye bajo Apache 2.0, la misma licencia de Qwen/Qwen2.5-1.5B-Instruct.
- Los datos de entrenamiento los generó un LLM comercial (OpenAI). Sus términos restringen usar sus salidas para
desarrollar modelos que compitan con OpenAI. Este modelo es de uso educativo; revisa los términos vigentes antes de
cualquier uso no educativo.