GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
fenyo
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
fenyo
Model Tree
Qwen/Qwen3-0.6B-Base
Input Modalities
Output Modalities
Supported Functionality
L'inverseur reçoit les pseudo-tokens calculés à partir du vecteur e par un petit réseau (linéaire 1024→1024, GELU, linéaire 1024→n×1024, normalisation) et génère le texte token par token. Les poids du décodeur (Qwen3-0.6B-Base, 28 couches) sont entièrement réentraînés par descente de gradient sur des paires (texte, vecteur) fabriquées avec l'encodeur public ; l'encodeur lui-même n'est pas modifié.
Version v2 : 3 époques sur 2,93 M de passages français (Wikipédia FR, FineWeb-2 FR et 333 k passages du domaine santé / sécurité sociale), démarrage à chaud depuis une première version (8 pseudo-tokens, 1 époque), AdamW, lots de 128, précision mixte, 4 h sur une RTX 5090. Perte de validation finale 1,223 nats/token.
| Configuration (300 phrases de test ≤ 32 tokens) | BLEU | F1 tokens | Exact | Cosinus |
|---|---|---|---|---|
| inverseur seul, décodage glouton | 24,8 | 66,6 % | 15 % | 0,901 |
| inverseur seul, faisceau 4 + re-classement par cosinus | 31,7 | 71,4 % | 19 % | 0,928 |
| + correcteur, 5 étapes × faisceau 4 | 62,8 | 86,8 % | 43 % | 0,978 |
| + correcteur, 10 étapes × faisceau 8 | 72,4 | 90,0 % | 48 % | 0,985 |
BLEU et F1 mesurent le recouvrement avec le texte d'origine ; « exact » est la part de textes reproduits à l'identique ; le cosinus est la similarité entre le vecteur du texte reconstruit et le vecteur d'entrée.
Avec l'outil du dépôt (téléchargement automatique des modèles) :
bash
git clone https://github.com/AlexandreFenyo/vec2text-qwen3-fr.git && cd vec2text-qwen3-fr.venv/bin/python embed.py --texts phrases.txt --out vecs.tsv --metadata meta.tsv.venv/bin/python invert.py --vectors vecs.tsv --metadata meta.tsv --profile short --steps 5 --beam 4 --out resultat.tsvChargement direct en Python (classe Vec2TextQwen du dépôt) :
python
from huggingface_hub import snapshot_downloadfrom v2t.model import Vec2TextQwenm = Vec2TextQwen.load(snapshot_download("fenyo/vec2text-qwen3-fr-inverter-32")) # bfloat16, GPU# inverseur : m.generate(e) ; correcteur : m.generate(e, e_hyp, hyp_ids) (voir v2t/infer.py)Fichiers : model.safetensors (décodeur, bfloat16), proj.pt (projections des vecteurs en pseudo-tokens),
v2t_config.json (n_prefix = 16, max_tokens = 32, corrector = false).
Modèle associé : fenyo/vec2text-qwen3-fr-corrector-32.
Ce modèle reconstruit du texte à partir de vecteurs d'embeddings ; il sert à mesurer le risque de fuite d'une base vectorielle et à tester les protections (dé-identification des textes, rotation secrète des vecteurs), décrites dans le dépôt. Il ne doit pas être utilisé pour reconstruire des données personnelles à partir de vecteurs dont on n'est pas légitimement détenteur. Les textes d'exemple du dépôt sont synthétiques. Qualité mesurée sur du français général et des textes de santé / sécurité sociale ; non évaluée sur d'autres langues ni sur des vecteurs produits avec une instruction de requête ou tronqués (Matryoshka).
J. X. Morris, V. Kuleshov, V. Shmatikov, A. M. Rush. Text Embeddings Reveal (Almost) As Much As Text. EMNLP 2023. arXiv:2310.06816. Les choix d'ingénierie, les mesures et la règle de protection sont décrits dans https://github.com/AlexandreFenyo/vec2text-qwen3-fr.
git clone https://github.com/AlexandreFenyo/vec2text-qwen3-fr.git && cd vec2text-qwen3-fr.venv/bin/python embed.py --texts phrases.txt --out vecs.tsv --metadata meta.tsv.venv/bin/python invert.py --vectors vecs.tsv --metadata meta.tsv --profile short --steps 5 --beam 4 --out resultat.tsvfrom huggingface_hub import snapshot_downloadfrom v2t.model import Vec2TextQwenm = Vec2TextQwen.load(snapshot_download("fenyo/vec2text-qwen3-fr-inverter-32")) # bfloat16, GPU# inverseur : m.generate(e) ; correcteur : m.generate(e, e_hyp, hyp_ids) (voir v2t/infer.py)