agusnieto77

qwen2.5-0.5b-conflict-classifier

README

License: apache-2.0

Demo

Familia de clasificadores

Mismo gold (4.034 notas) y la misma definición operacional v5.

Table with columns: Modelo, Método, Parámetros, Demo
Modelo	Método	Parámetros	Demo
BETO	Full FT + ventanas	110 M	vivo · Space
Qwen2.5-0.5B	Full SFT	494 M	vivo · Space
Qwen2.5-1.5B	LoRA	1,54 B + adapter 18,5 M	vivo · Space

Table with columns: BETO, Qwen 0.5B, Qwen 1.5B LoRA
	BETO	Qwen 0.5B	Qwen 1.5B LoRA
Accuracy OOF	0.924	0.959	0.959
Recall CONFLICTO	0.963	0.895	0.906
Precisión CONFLICTO	0.765	0.917	0.910
FN / FP	33 / 273	94 / 72	84 / 80

Dataset

agusnieto77/conflicto-social-noticias-4034

Uso

El modelo responde exclusivamente con una de las dos etiquetas. El score es la probabilidad teacher-forced normalizada por longitud de cada etiqueta (ver Cómo se calcula el score); se predice CONFLICTO cuando score >= 0.5.

python
import math
import torch
from huggingface_hub import hf_hub_download
from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "agusnieto77/qwen2.5-0.5b-conflict-classifier"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo)
model.eval()

definition = open(
    hf_hub_download(repo, "conflict_definition.md"), encoding="utf-8"
).read()
LABEL_IDS = {L: tok.encode(L, add_special_tokens=False)
             for L in ("CONFLICTO", "NO_CONFLICTO")}

def clasificar(texto: str) -> tuple[str, float]:
    system = (
        "Eres un clasificador de notas periodísticas.\n\n"
        "Tu tarea consiste exclusivamente en determinar si la nota contiene\n"
        "un conflicto según la siguiente definición operacional:\n\n"
        f"{definition}\n\n"
        "Debes responder exclusivamente con una de estas dos etiquetas:\n\n"
        "CONFLICTO\n"
        "NO_CONFLICTO"
    )
    messages = [
        {"role": "system", "content": system},
        {"role": "user", "content": f"Clasifica la siguiente nota:\n\n{texto}"},
    ]
    prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    prompt_ids = tok.encode(prompt, add_special_tokens=False)
    # teacher-forced: promediar log-prob por token de cada etiqueta
    seqs, labels = [], []
    for L in ("CONFLICTO", "NO_CONFLICTO"):
        seqs.append(prompt_ids + LABEL_IDS[L]); labels.append(L)
    maxlen = max(len(s) for s in seqs)
    input_ids = torch.full((2, maxlen), tok.pad_token_id, dtype=torch.long)
    attn = torch.zeros((2, maxlen), dtype=torch.long)
    for j, s in enumerate(seqs):
        input_ids[j, maxlen - len(s):] = torch.tensor(s)
        attn[j, maxlen - len(s):] = 1
    keep = 6
    with torch.no_grad():
        logits = model(input_ids, attention_mask=attn, logits_to_keep=keep).logits
    mean_lp = {}
    for j, L in enumerate(labels):
        llen = len(LABEL_IDS[L])
        logp = torch.log_softmax(logits[j, keep - llen - 1:keep - 1], dim=-1)
        toks = torch.tensor(LABEL_IDS[L])
        mean_lp[L] = logp[torch.arange(llen), toks].mean().item()
    p_c, p_n = math.exp(mean_lp["CONFLICTO"]), math.exp(mean_lp["NO_CONFLICTO"])
    score = p_c / (p_c + p_n)
    etiqueta = "CONFLICTO" if score >= 0.5 else "NO_CONFLICTO"
    return etiqueta, score

texto_de_la_nota = (
    "Los trabajadores del hospital municipal decidieron continuar con el paro "
    "de actividades en reclamo de mejoras salariales. El gremio anunció una "
    "movilización hacia la Municipalidad y rechazó la propuesta de aumento "
    "del Ejecutivo."
)

etiqueta, score = clasificar(texto_de_la_nota)
print(f"{etiqueta} (score = {score:.3f})")

El umbral operacional es 0.50 (no se bajó para forzar recall: un corte ~0.28 sube recall pero pierde accuracy). El score oficial del entrenamiento es teacher-forced con normalización por longitud; el snippet de arriba usa el primer token, igual que la ficha del 1.5B.

Cómo se calcula el score

El score es teacher-forced con normalización por longitud (el mismo que se usa en el entrenamiento y la CV): se fuerza cada etiqueta como continuación, se promedia el log-prob de sus tokens (CONFLICTO = 3 tokens, NO_CONFLICTO = 4) y se aplica softmax entre ambos promedios:

score = exp(m_C) / (exp(m_C) + exp(m_NC))

La normalización hace comparables secuencias de distinto largo y evita la confianza exagerada de usar solo el primer token. Se predice CONFLICTO cuando score >= 0.5.

Evaluación

Validación cruzada de 5 folds sobre las 4.034 notas de entrenamiento (predicciones out-of-fold, umbral fijo 0.5). Matriz de confusión agregada (C, N) × (C, N): TP=802, FN=93, FP=69, TN=3070.

Table with columns: Métrica, Media, Desvío
Métrica	Media	Desvío
Accuracy	0.9598	0.0068
Precisión CONFLICTO	0.9207	0.0261
Recall CONFLICTO	0.8965	0.014
F1 CONFLICTO	0.9082	0.0146
Macro F1	0.9412	0.0094
PR-AUC	0.9717

Entrenamiento

Full SFT sobre Qwen/Qwen2.5-0.5B-Instruct (revisión fijada arriba)
4.034 notas: 895 CONFLICTO (22,2%) / 3.139 NO_CONFLICTO (77,8%)
Learning rate 2e-5, 2 épocas en el refit de producción, batch efectivo 16
max_seq_length 12288 (cero recortes, igual que el 1.5B)
Template oficial de chat de Qwen
La CV usó 3 épocas con early stopping (best_epoch = 2, 2, 1, 2, 3)

Definición operacional (v5)

Una nota es CONFLICTO si contiene un acto colectivo civil/social ligado a una disputa real entre partes identificables, o a una necesidad, agravio o condición social explícita frente a la cual un colectivo protesta, se rebela o ejerce presión.

Actos que hacen CONFLICTO: medida de fuerza laboral; petición o reclamo formal de un actor colectivo con objeto concreto o contraparte identificada; manifestación popular con reclamo; violencia o acción colectiva en una disputa social; reacción colectiva frente a un delito o abuso; motín carcelario; conflicto resuelto cuando la nota establece el reclamo subyacente.

Casos NO_CONFLICTO: asambleas sin disputa; gestión habitual de entidades civiles; opinión individual; delito común sin reacción social; violencia interpersonal; conflicto puramente militar; cobertura de crisis sin reclamo; asistencia solidaria sin disputa; campaña y retórica electoral; contienda político-institucional ordinaria entre poderes del Estado; marchas conmemorativas, educativas o de concientización sin reclamo.

El clasificador requiere esta definición exacta en el system prompt; usar otra definición cambia el comportamiento. El archivo completo está en conflict_definition.md.

python
from huggingface_hub import hf_hub_download

definition = open(
    hf_hub_download(
        "agusnieto77/qwen2.5-0.5b-conflict-classifier",
        "conflict_definition.md",
    ),
    encoding="utf-8",
).read()

Limitaciones

Dominio: noticias locales argentinas. El desempeño en otras regiones o estilos periodísticos no está validado.
Las métricas provienen de validación cruzada sobre el conjunto de entrenamiento; el modelo publicado fue reentrenado sobre la totalidad de los datos.

Créditos

Guillermina Laitano, Luciana Nogueira, Nicolás Rabino, Rodrigo Fernández, Ivana Teijón, Agustín Nieto

English version / Versión en inglés: README.en.md

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Container

Run this model inference with full control and performance in your environment.

Learn more

Model Details

Model Provider

agusnieto77

Model Tree

Base

Qwen/Qwen2.5-0.5B-Instruct

Fine-tuned

this model

Input Modalities

Text

Output Modalities