GLM-5.2 is live. #1 throughput on OpenRouter, pay-per-token on FriendliAI. Try it today ➜
overthelex
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
overthelex
Model Tree
Qwen/Qwen2.5-14B
Input Modalities
Output Modalities
Supported Functionality
Input: a question + a numbered context of court-decision excerpts (each tagged [doc:ID]).
Output: a grounded Ukrainian legal answer citing only the [doc:ID] that appear in the
context, or an explicit refusal if the sources do not support an answer.
| Metric | Value |
|---|---|
| citation coverage (answers that cite) | 95.7% |
| relevant citations | 96.1% |
| distractor citations | 2.35% |
| out-of-context (fabricated) citations | 3.9% |
| refusal correctness (refuses when sources insufficient) | 96.6% |
| avg citations / answer | 3.1 |
⚠️ Two things matter for correct behavior:
- Serve via HF
transformersgenerate(this is the tested path). Do not serve via vLLM without validation — a vLLM decoding bug degenerates this model.- Use
max_length ≥ 8192when tokenizing. Legal contexts run ~4-5k tokens; truncating the prompt silently drops context and collapses citation coverage.
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizerMODEL = "overthelex/ua-legal-citation-grounded-14b"tok = AutoTokenizer.from_pretrained(MODEL)model = AutoModelForCausalLM.from_pretrained(MODEL, torch_dtype=torch.bfloat16, device_map="auto").eval()SYSTEM = ("Ти — український юридичний асистент. Відповідай ВИКЛЮЧНО на основі наданих витягів ""із судових рішень ЄДРСР. Кожне фактичне твердження підкріплюй посиланням у форматі ""[doc:ID], де ID — це edrsr_doc_id відповідного джерела. Якщо у наданих джерелах немає ""достатньої підстави — прямо напиши, що наданих джерел недостатньо. Пиши українською.")context = [{"doc_id": "114714815", "text": "...витяг із рішення суду..."},{"doc_id": "77050963", "text": "...ще один витяг..."},]question = "Як суд розподіляє спільне майно подружжя при розлученні?"ctx = "\n\n".join(f"[doc:{c['doc_id']}] {c['text']}" for c in context)user = (f"Питання: {question}\n\nДжерела (витяги з рішень ЄДРСР):\n{ctx}\n\n""Дай обґрунтовану відповідь українською з посиланнями [doc:ID].")msgs = [{"role": "system", "content": SYSTEM}, {"role": "user", "content": user}]ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt",truncation=True, max_length=8192).to(model.device) # <-- 8192, not 3500out = model.generate(ids, max_new_tokens=512, do_sample=False, pad_token_id=tok.pad_token_id)answer = tok.decode(out[0, ids.shape[1]:], skip_special_tokens=True)print(answer)
The model's citations are grounded, but strip any [doc:ID] not present in the context you
provided (belt-and-suspenders against fabrication):
python
import redef strip_ungrounded(answer, context_doc_ids):valid = {str(x) for x in context_doc_ids}def repl(m):kept = [i for i in re.findall(r"\d+", m.group(1)) if i in valid]return f"[doc:{', doc:'.join(kept)}]" if kept else ""return re.sub(r"\[doc:\s*([^\]]+?)\s*\]", repl, answer)
edrsr_doc_id; the model learned the current (2026) corpus, so feed it current-corpus
contexts.CPT-14B (Qwen2.5-14B continually pretrained on ЄДРСР) → LoRA SFT (r16, α32, 2 epochs,
lr 1e-4, max-len 4096, bf16, DeepSpeed ZeRO-2) on 47.3K citation-grounded ChatML examples.
Dataset regenerated on the current ЄДРСР vector store with a self-hosted Qwen2.5-72B teacher
and a faithfulness judge (programmatic citation check + LLM judge). Ukrainian legal-tech
project (SecondLayer / legal.org.ua).