GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
overthelex
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
overthelex
Model Tree
Qwen/Qwen2.5-14B
Input Modalities
Output Modalities
Supported Functionality
Input: a question + a numbered context of court-decision excerpts (each tagged [doc:ID]).
Output: a grounded Ukrainian legal answer citing only the [doc:ID] that appear in the
context, or an explicit refusal if the sources do not support an answer.
| Metric | Value |
|---|---|
| citation coverage (answers that cite) | 95.7% |
| relevant citations | 96.1% |
| distractor citations | 2.35% |
| out-of-context (fabricated) citations | 3.9% |
| refusal correctness (refuses when sources insufficient) | 96.6% |
| avg citations / answer | 3.1 |
⚠️ Two things matter for correct behavior:
- Serve via HF
transformersgenerate(this is the tested path). Do not serve via vLLM without validation — a vLLM decoding bug degenerates this model.- Use
max_length ≥ 8192when tokenizing. Legal contexts run ~4-5k tokens; truncating the prompt silently drops context and collapses citation coverage.
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer MODEL = "overthelex/ua-legal-citation-grounded-14b"tok = AutoTokenizer.from_pretrained(MODEL)model = AutoModelForCausalLM.from_pretrained(MODEL, torch_dtype=torch.bfloat16, device_map="auto").eval() SYSTEM = ( "Ти — український юридичний асистент. Відповідай ВИКЛЮЧНО на основі наданих витягів " "із судових рішень ЄДРСР. Кожне фактичне твердження підкріплюй посиланням у форматі " "[doc:ID], де ID — це edrsr_doc_id відповідного джерела. Якщо у наданих джерелах немає " "достатньої підстави — прямо напиши, що наданих джерел недостатньо. Пиши українською.") context = [ {"doc_id": "114714815", "text": "...витяг із рішення суду..."}, {"doc_id": "77050963", "text": "...ще один витяг..."},]question = "Як суд розподіляє спільне майно подружжя при розлученні?" ctx = "\n\n".join(f"[doc:{c['doc_id']}] {c['text']}" for c in context)user = (f"Питання: {question}\n\nДжерела (витяги з рішень ЄДРСР):\n{ctx}\n\n" "Дай обґрунтовану відповідь українською з посиланнями [doc:ID].") msgs = [{"role": "system", "content": SYSTEM}, {"role": "user", "content": user}]ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", truncation=True, max_length=8192).to(model.device) # <-- 8192, not 3500out = model.generate(ids, max_new_tokens=512, do_sample=False, pad_token_id=tok.pad_token_id)answer = tok.decode(out[0, ids.shape[1]:], skip_special_tokens=True)print(answer)The model's citations are grounded, but strip any [doc:ID] not present in the context you
provided (belt-and-suspenders against fabrication):
python
import redef strip_ungrounded(answer, context_doc_ids): valid = {str(x) for x in context_doc_ids} def repl(m): kept = [i for i in re.findall(r"\d+", m.group(1)) if i in valid] return f"[doc:{', doc:'.join(kept)}]" if kept else "" return re.sub(r"\[doc:\s*([^\]]+?)\s*\]", repl, answer)edrsr_doc_id; the model learned the current (2026) corpus, so feed it current-corpus
contexts.CPT-14B (Qwen2.5-14B continually pretrained on ЄДРСР) → LoRA SFT (r16, α32, 2 epochs,
lr 1e-4, max-len 4096, bf16, DeepSpeed ZeRO-2) on 47.3K citation-grounded ChatML examples.
Dataset regenerated on the current ЄДРСР vector store with a self-hosted Qwen2.5-72B teacher
and a faithfulness judge (programmatic citation check + LLM judge). Ukrainian legal-tech
project (SecondLayer / legal.org.ua).
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer MODEL = "overthelex/ua-legal-citation-grounded-14b"tok = AutoTokenizer.from_pretrained(MODEL)model = AutoModelForCausalLM.from_pretrained(MODEL, torch_dtype=torch.bfloat16, device_map="auto").eval() SYSTEM = ( "Ти — український юридичний асистент. Відповідай ВИКЛЮЧНО на основі наданих витягів " "із судових рішень ЄДРСР. Кожне фактичне твердження підкріплюй посиланням у форматі " "[doc:ID], де ID — це edrsr_doc_id відповідного джерела. Якщо у наданих джерелах немає " "достатньої підстави — прямо напиши, що наданих джерел недостатньо. Пиши українською.") context = [ {"doc_id": "114714815", "text": "...витяг із рішення суду..."}, {"doc_id": "77050963", "text": "...ще один витяг..."},]question = "Як суд розподіляє спільне майно подружжя при розлученні?" ctx = "\n\n".join(f"[doc:{c['doc_id']}] {c['text']}" for c in context)user = (f"Питання: {question}\n\nДжерела (витяги з рішень ЄДРСР):\n{ctx}\n\n" "Дай обґрунтовану відповідь українською з посиланнями [doc:ID].") msgs = [{"role": "system", "content": SYSTEM}, {"role": "user", "content": user}]ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", truncation=True, max_length=8192).to(model.device) # <-- 8192, not 3500out = model.generate(ids, max_new_tokens=512, do_sample=False, pad_token_id=tok.pad_token_id)answer = tok.decode(out[0, ids.shape[1]:], skip_special_tokens=True)print(answer)import redef strip_ungrounded(answer, context_doc_ids): valid = {str(x) for x in context_doc_ids} def repl(m): kept = [i for i in re.findall(r"\d+", m.group(1)) if i in valid] return f"[doc:{', doc:'.join(kept)}]" if kept else "" return re.sub(r"\[doc:\s*([^\]]+?)\s*\]", repl, answer)