Resultats (mesurats)
Referència manual — 30 oracions anotades a mà

Table with columns: model, anàlisi exacta, F1 complements, subjecte, nucli verbal, sortida vàlida, tokens de prompt, ms/frase*| model | anàlisi exacta | F1 complements | subjecte | nucli verbal | sortida vàlida | tokens de prompt | ms/frase* |
|---|
| Qwen3.5-0.8B base (amb prompt) | 0.0 % | 18.9 % | 53.3 % | 66.7 % | 53.3 % | 578 | 21 |
| destil·lat 4k (només l'oració) | 60.0 % | 77.4 % | 86.7 % | 90.0 % | 96.7 % | 23 | 11 |
| destil·lat 10k (només l'oració) | 70.0 % | 80.7 % | 93.3 % | 90.0 % | 96.7 % | 23 | 11 |
| Qwen3.8-27B professor (amb prompt, raonant) | 93.3 % | 96.4 % | 100.0 % | 100.0 % | 100.0 % | 614 | 1712 |
* ms/frase: temps mitjà per oració processant les 30 en lot amb vLLM en una RTX PRO 6000 (96 GB); no és la latència d'una crida aïllada. El professor raona abans de respondre; el petit base i el professor reben un prompt amb instruccions i un exemple (~580–615 tokens), el destil·lat només l'oració.
Test — 300 oracions (etiquetes del professor, filtrades)
Table with columns: model, anàlisi exacta, F1 complements, subjecte, nucli verbal, sortida vàlida, tokens de prompt| model | anàlisi exacta | F1 complements | subjecte | nucli verbal | sortida vàlida | tokens de prompt |
|---|
| Qwen3.5-0.8B base (amb prompt) | 0.3 % | 10.1 % | 77.3 % | 64.3 % | 58.7 % | 581 |
| destil·lat 4k (només l'oració) | 86.7 % | 92.4 % | 98.3 % | 96.3 % | 96.0 % | 26 |
| destil·lat 10k (només l'oració) | 92.3 % | 94.4 % | 99.3 % | 98.0 % | 98.3 % | 26 |
Aquest test mesura com imita el professor, no la correcció absoluta.
Exemples: verbs incoatius (oracions fora del dataset)
Table with columns: oració, Qwen3.5-0.8B base (amb prompt), destil·lat (només l'oració)| oració | Qwen3.5-0.8B base (amb prompt) | destil·lat (només l'oració) |
|---|
| La Núria prefereix el te verd. | ❌ «el» CC lloc, «verd» CC quantitat | ✅ CD «el te verd» |
| Els obrers construeixen un pont nou sobre el riu. | ❌ «sobre» CC lloc, «nou» CC manera | ✅ CD «un pont nou» · CC lloc «sobre el riu» |
| L'àvia serveix la sopa als néts. | ❌ sense CD; «als néts» CC lloc | ✅ CD «la sopa» · CI «als néts» |
| Els avis envelleixen tranquils al poble. | ❌ nucli «envelleixen tranquil» | ✅ CPRED «tranquils» · CC lloc «al poble» (el 4k hi fallava) |
| Cada matí llegeixo el diari amb calma. | ❌ subjecte «Cada matí» | ✅ subj. el·líptic · CC temps · CD · CC manera |
| Els ametllers floreixen a la primavera. | ✅ | ✅ CC temps «a la primavera» |
| Els alumnes compleixen les normes de l'escola. | ❌ «de l'escola» CC manera | ✅ CD «les normes de l'escola» |
| Els nens obeeixen els seus pares. | ❌ fragments inventats («os», «ses») | ⚠️ estructura bona, però verb «oboeixen» |
| La tempesta enfosqueix el cel. | ❌ subjecte «La» | ✅ CD «el cel» |
| Repeteixo la pregunta al professor. | ❌ subjecte «la pregunta» | ✅ subj. el·líptic · CD · CI |
Avaluació independent — eval250 (mesurada)
Test nou de 250 oracions escrites i anotades a mà, separat de tot el procés de destil·lació: cap oració no l'ha generada el professor i
cap no coincideix amb les ~20.500 oracions generades per als datasets (comprovat). Cobreix 11 tipus d'oració, entre ells verbs incoatius,
pronoms febles, passiva, impersonals, CPRED i CRV. Dataset: xaviviro/sintaxi-catala-eval250. El model d'aquesta fitxa és el mini 10k.
Table with columns: model, anàlisi exacta, F1 complements, F1 funcions, subjecte, nucli verbal, tipus i veu, JSON vàlid, ms/oració| model | anàlisi exacta | F1 complements | F1 funcions | subjecte | nucli verbal | tipus i veu | JSON vàlid | ms/oració |
|---|
| mini base (sense destil·lar) | 0.4 | 12.7 | 20.6 | 62.0 | 67.2 | 81.2 | 100.0 | 8.8 |
| mini 4k | 62.0 | 74.9 | 80.2 | 90.8 | 88.8 | 99.2 | 100.0 | 3.9 |
| mini 10k | 69.2 | 80.5 | 84.1 | 94.4 | 93.6 | 98.4 | 100.0 | 4.0 |
| mini 20k | 73.2 | 83.8 | 86.2 | 93.6 | 93.6 | 98.4 | 99.6 | 4.0 |
| mini 20k + reforç | 80.8 | 87.4 | 90.1 | 97.2 | 97.2 | 99.2 | 100.0 | 3.9 |
| professor Qwen3.8-27B | 91.2 | 95.2 | 95.5 | 98.8 | 98.0 | 99.6 | 99.6 | 881.1 |

Anàlisi exacta (%) per tipus d'oració:
Table with columns: tipus d'oració (n), mini base (sense destil·lar), mini 4k, mini 10k, mini 20k, mini 20k + reforç, professor Qwen3.8-27B| tipus d'oració (n) | mini base (sense destil·lar) | mini 4k | mini 10k | mini 20k | mini 20k + reforç | professor Qwen3.8-27B |
|---|
| CD (30) | 0 | 93 | 90 | 90 | 100 | 100 |
| CD+CI (20) | 0 | 85 | 100 | 85 | 85 | 100 |
| pronoms febles (15) | 0 | 33 | 40 | 60 | 60 | 93 |
| predicat nominal (25) | 0 | 84 | 80 | 96 | 88 | 88 |
| veu passiva (20) | 0 | 100 | 95 | 85 | 95 | 95 |
| impersonal (15) | 0 | 0 | 47 | 47 | 60 | 80 |
| CPRED (15) | 0 | 47 | 47 | 53 | 60 | 67 |
| CRV (15) | 0 | 0 | 7 | 7 | 80 | 73 |
| CC (50) | 0 | 46 | 68 | 74 | 78 | 94 |
| verbs incoatius (25) | 4 | 80 | 68 | 72 | 80 | 96 |
| subjecte el·líptic (20) | 0 | 70 | 75 | 90 | 80 | 95 |

«Mini 20k + reforç» = el 20k més 1.033 oracions de reforç dirigides a CRV, impersonals, pronoms febles i CPRED, generades i filtrades igual que la resta. Cap oració de l'eval250 no s'ha fet servir per entrenar, però el reforç es va dirigir als grups on l'eval250 fallava: en aquests grups la millora no és una mesura del tot independent. Mini destil·lats amb el prompt curt (només l'oració); mini base amb el prompt complet; professor amb raonament (thinking), temperatura 0,6.
Una anàlisi és exacta si coincideixen subjecte, nucli verbal, tipus de predicat, veu i el conjunt de complements (funció + text).
Ús
from transformers import AutoTokenizer, AutoModelForImageTextToTextimport json, torchm = "xaviviro/Qwen3.5-0.8B-sintaxi-catala-10k"tok = AutoTokenizer.from_pretrained(m)model = AutoModelForImageTextToText.from_pretrained(m, dtype=torch.bfloat16).eval()text = tok.apply_chat_template([{"role": "user", "content": "L'àvia serveix la sopa als néts."}], tokenize=False, add_generation_prompt=True, enable_thinking=False)ids = tok(text, return_tensors="pt")out = model.generate(**ids, max_new_tokens=300, do_sample=False)print(json.loads(tok.decode(out[0, ids["input_ids"].shape[1]:], skip_special_tokens=True)))
Amb vLLM: vllm serve xaviviro/Qwen3.5-0.8B-sintaxi-catala-10k i envieu l'oració com a únic missatge d'usuari (amb enable_thinking: false).
Entrenament
- Fine-tuning complet (no LoRA) de Qwen/Qwen3.5-0.8B, 3 èpoques, lr 2e-5 (cosinus, 20 passos d'escalfament), batch 16, bf16, pèrdua només sobre la resposta (TRL
SFTTrainer).
- Entrada: només l'oració (missatge d'usuari). Sortida: el JSON del professor, sense raonament.
- Destil·lació per seqüència (SFT sobre les sortides filtrades del professor).
Limitacions
- Només oracions simples. Les funcions poc representades al dataset (CRV, CC de quantitat) continuen sent les més fluixes; el complement predicatiu, que el 4k confonia amb el CD, ja l'encerta a l'exemple d'«envelleixen tranquils».
- De vegades no copia literalment el text de l'oració (p. ex. «obeeixen» → «oboeixen» (10k) / «obeixen» (20k)); comproveu que els fragments siguin literals abans de fer-los servir.
- Hereta els errors del professor i el biaix del dataset sintètic. No s'ha avaluat amb anotadors humans externs.
Autoria
Xavier Vinaixa Roselló (xaviviro), Sorensen AI, Barcelona, Catalunya. Llicència Apache 2.0 (com el model base).
Citació
@misc{vinaixa2026sintaximodel10k, title = {Qwen3.5-0.8B-sintaxi-catala-10k: analitzador sintàctic del català destil·lat}, author = {Vinaixa Roselló, Xavier}, year = {2026}, institution = {Sorensen AI, Barcelona}, note = {ORCID: 0009-0005-2769-9215}, doi = {Pendent}, url = {Pendent}}