Modelo base
Qwen/Qwen3-0.6B (licencia Apache-2.0)
- Chat template original del modelo, con
enable_thinking=False en entrenamiento e inferencia.
{"categoria": "envio", "prioridad": "media", "respuesta": "Sentimos el retraso. Revisamos el estado del pedido y te escribimos en 24 horas."}
categoria: facturacion · acceso_cuenta · envio · tecnico · devolucion
prioridad: alta · media · baja
Datos
- 100 % sintéticos, generados por plantillas (
generar_datos.py, semilla 42). Sin datos personales.
- 200 ejemplos de entrenamiento, 30 de validación y 30 de test, estratificados por categoría y prioridad.
- Separación por plantilla de frase: 6 plantillas por clase (4 train, 1 val, 1 test). Ninguna
plantilla, núcleo ni texto se repite entre grupos, así que el test mide generalización a formas de
expresar la incidencia no vistas al entrenar.
Configuración de entrenamiento
Table with columns: Parámetro, Valor| Parámetro | Valor |
|---|
| Método | LoRA (PEFT) con SFTTrainer (TRL), pérdida solo en la respuesta |
| r / alpha / dropout | 16 / 32 / 0,05 |
| Capas objetivo | q_proj, v_proj |
| Épocas / lr / scheduler | 2 / 2e-4 / cosine, warmup 5 pasos |
| Batch / longitud máxima | 8 / 512 tokens |
| Semilla | 42 |
Configuración fija (la de la sesión 7), sin búsqueda de hiperparámetros.
Versiones: {"OPEN_MODEL_ID": "Qwen/Qwen3-0.6B", "python": "3.13.16", "torch": "2.14.1+cu130", "transformers": "5.22.1", "datasets": "4.8.5", "trl": "1.17.1", "peft": "0.21.2", "device": "cuda", "dtype": "torch.float32", "seed": 42, "gen_kwargs": {"max_new_tokens": 128, "do_sample": false}}
Resultados (30 casos de test)
Generación idéntica en las tres condiciones: greedy (do_sample=False), max_new_tokens=128.
JSON pedido solo por prompt, sin JSON mode, reparación ni reintentos; una salida no interpretable cuenta como error.
Table with columns: Condición, JSON válido %, Acierto categoría %, Acierto prioridad %| Condición | JSON válido % | Acierto categoría % | Acierto prioridad % |
|---|
| base_basico | 3.3 | 0.0 | 0.0 |
| base_fewshot | 100.0 | 40.0 | 46.7 |
| lora | 96.7 | 76.7 | 70.0 |
Few-shot: v1: 1 ejemplo por categoría (ejemplos de train, prompt fijado con validación antes de ver el test).
Uso
from transformers import AutoModelForCausalLM, AutoTokenizerfrom peft import PeftModel tok = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B")model = PeftModel.from_pretrained(base, "<este-repositorio>")
Usa las mismas instrucciones de sistema del notebook y apply_chat_template(..., enable_thinking=False).
Limitaciones
- Datos sintéticos generados con 90 plantillas: el vocabulario es limitado y los resultados no se
trasladan a incidencias reales.
- La frontera entre prioridades (alta/media/baja) es una convención del dataset, no un criterio de negocio real.
- Las respuestas son frases fijas por clase; el modelo no investiga ni resuelve la incidencia.
- 30 casos de test: cada caso vale 3,3 puntos porcentuales, la varianza es alta.
- Modelo de 0,6B: puede fallar con incidencias ambiguas, largas o en otros idiomas.
- No usar para decisiones reales sobre clientes sin evaluación con datos reales y revisión humana.