GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
ArtemMspektr
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
ArtemMspektr
Model Tree
Qwen/Qwen2.5-0.5B-Instruct
Input Modalities
Output Modalities
Supported Functionality
В коммерческом медицинском микросервисе Laya AI модель работает в тандеме:
Boxed Warnings).<laya_deterministic_guardrail>.| Метрика | Значение | Описание |
|---|---|---|
| Клиническая чувствительность (Sensitivity) | 100.0% (8/8) | 0 пропущенных фатальных противопоказаний |
| Клиническая специфичность (Specificity) | 100.0% (8/8) | 0 ложных тревог на безопасных близнецах (Alert Fatigue Free) |
| Обучаемые параметры LoRA | 1 081 344 (0.218%) | Таргеты: q_proj, k_proj, v_proj, o_proj (r=8, alpha=16) |
| Оборудование обучения | Intel Core Ultra 5 125H | 14 ядер / 18 потоков, 16 GB RAM, без дискретного GPU |
| Время генерации на CPU |
python
import torchfrom transformers import AutoTokenizer, AutoModelForCausalLMfrom peft import PeftModel base_name = "Qwen/Qwen2.5-0.5B-Instruct"lora_repo = "ArtemMspektr/Laya-Med-Qwen2.5-0.5B-LoRA" tokenizer = AutoTokenizer.from_pretrained(lora_repo)base_model = AutoModelForCausalLM.from_pretrained(base_name, dtype=torch.float32)model = PeftModel.from_pretrained(base_model, lora_repo)model.eval() prompt = ( "<laya_deterministic_guardrail>BLOCKED_HARD_STOP | eGFR 18 < 30 ml/min | OpenFDA Boxed Warning: Lactic Acidosis</laya_deterministic_guardrail>\n" "Пациент с СД2 и СКФ 18 мл/мин, назначен Метформин 1000 мг 2 раза в день. Проведи клинический аудит.") inputs = tokenizer(tokenizer.apply_chat_template([ {"role": "system", "content": "You are Laya-Med-LLM, an expert clinical pharmacologist."}, {"role": "user", "content": prompt}], tokenize=False, add_generation_prompt=True), return_tensors="pt") with torch.no_grad(): outputs = model.generate(**inputs, max_new_tokens=180, temperature=0.1) print(tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))Apache 2.0. Датасет и модель созданы в рамках исследовательско-коммерческого проекта Laya Biomed Engine.
| Полностью локальный инференс без интернета |