GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
Mithoz
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
Mithoz
Model Tree
Qwen/Qwen2.5-0.5B-Instruct
Input Modalities
Output Modalities
Supported Functionality
Asistente que explica conceptos de IA generativa (fundamentos de LLM, ingeniería de prompts, RAG, agentes, ajuste fino) a ejecutivos de empresas chilenas, con ejemplos de negocio, en español.
gpt-6-luna, API de OpenAI),
respuestas de 45 palabras o menos. Los datos no se publican en este repositorio.Examen de 12 preguntas que nunca se usaron para entrenar; un LLM juez (gpt-6-luna) califica de 1 a 10 contra la respuesta del profesor
(7 = aceptable).
| Base (sin adaptador) | Con adaptador | |
|---|---|---|
| Nota media (1–10) | 3.42 | 5.17 |
| Respuestas aprobadas (≥ 7) | 0% | 8% |
| Tema | Base | Con adaptador |
|---|---|---|
| Agentes de IA | 4 | 4.33 |
| Ajuste fino | 2 | 7 |
| Fundamentos de LLM | 4 | 6 |
| Ingeniería de prompts | 3.33 | 5.33 |
| RAG | 3.5 | 3.5 |
Una revisión de 10 respuestas del examen (detalle en el informe del taller) encontró que el juez califica en promedio ~0,7 puntos más alto, por lo que estas notas probablemente sobrestiman la calidad. El examen es pequeño (12 preguntas): diferencias de ±0,2 son ruido.
python
from transformers import AutoModelForCausalLM, AutoTokenizerfrom peft import PeftModel base = "Qwen/Qwen2.5-0.5B-Instruct"tok = AutoTokenizer.from_pretrained(base)modelo = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained(base), "Mithoz/taai2-destilado-qwen05b")msgs = [{"role": "system", "content": "Eres un asistente experto en IA generativa. Responde en español, de forma clara y breve."}, {"role": "user", "content": "¿Para qué sirve RAG en una clínica?"}]ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True)out = modelo.generate(**ids, max_new_tokens=200, repetition_penalty=1.15)print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))from transformers import AutoModelForCausalLM, AutoTokenizerfrom peft import PeftModel base = "Qwen/Qwen2.5-0.5B-Instruct"tok = AutoTokenizer.from_pretrained(base)modelo = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained(base), "Mithoz/taai2-destilado-qwen05b")msgs = [{"role": "system", "content": "Eres un asistente experto en IA generativa. Responde en español, de forma clara y breve."}, {"role": "user", "content": "¿Para qué sirve RAG en una clínica?"}]ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True)out = modelo.generate(**ids, max_new_tokens=200, repetition_penalty=1.15)print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))