GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
Petanque
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
Petanque
Model Tree
Qwen/Qwen2.5-1.5B-Instruct
Input Modalities
Output Modalities
Supported Functionality
โมเดลนี้เป็น LoRA adapter — ต้องโหลดคู่กับ base Qwen/Qwen2.5-1.5B-Instruct
python
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfigfrom peft import PeftModel BASE = "Qwen/Qwen2.5-1.5B-Instruct"ADAPTER = "Petanque/flow-forge-mermaid-th" SYSTEM = ( "คุณเป็นผู้ช่วยแปลงคำอธิบายภาษาไทยเป็นไดอะแกรม Mermaid " "เลือกชนิดไดอะแกรมให้เหมาะกับเนื้อหา " "(flowchart, sequenceDiagram, classDiagram, erDiagram, stateDiagram-v2, mindmap, pie, gantt) " "ตอบเป็นโค้ด Mermaid เท่านั้น " "ข้อความในไดอะแกรมให้ใช้ภาษาไทยเป็นหลัก " "ห้ามใช้ภาษาจีนหรือตัวอักษรต่างประเทศอื่น และห้ามแปลข้อความทั้งประโยคเป็นภาษาอังกฤษ " "(ใช้คำทับศัพท์อังกฤษเฉพาะศัพท์เทคนิคที่จำเป็น)") bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True)tok = AutoTokenizer.from_pretrained(BASE)model = AutoModelForCausalLM.from_pretrained(BASE, quantization_config=bnb, device_map="auto", dtype=torch.bfloat16)model = PeftModel.from_pretrained(model, ADAPTER).eval() def generate(prompt): msgs = [{"role": "system", "content": SYSTEM}, {"role": "user", "content": prompt}] enc = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True).to(model.device) out = model.generate(**enc, max_new_tokens=256, do_sample=False, pad_token_id=tok.pad_token_id or tok.eos_token_id) return tok.decode(out[0][enc["input_ids"].shape[1]:], skip_special_tokens=True) print(generate("ลูกค้าสั่งอาหาร ถ้ามีวัตถุดิบให้ทำ ถ้าไม่มีให้แนะนำเมนูอื่น"))# → flowchart TD ... (โค้ด Mermaid ภาษาไทย)สำคัญ: ต้องใช้
SYSTEMprompt ข้างบนแบบเป๊ะ ตอน inference — พฤติกรรม (การเลือกชนิด + บังคับไทย) ผูกกับ system prompt นี้ ถ้าเปลี่ยน คุณภาพจะตก
คำใบ้ชนิด: ถ้า prompt ไม่มีคำใบ้ → โมเดลตอบ flowchart เป็นค่าเริ่มต้น; ใส่คำใบ้เพื่อสลับชนิด เช่น
"sequence การสื่อสาร…", "pie chart สัดส่วน…", "มายด์แมป…", "gantt แผนงาน…"
repo หลักมี serve.py ที่ห่อโมเดลเป็น HTTP + แปลง Mermaid เป็น JSON โครงสร้าง:
text
POST /generate {"prompt": "..."} → {"mermaid": "...", "diagram": {...}}POST /parse {"mermaid": "..."} → {"diagram": {...}}diagram เป็น JSON machine-readable (flowchart: nodes/edges, sequence: participants/messages,
pie: slices, gantt: tasks, mindmap: tree, ฯลฯ) สำหรับระบบอื่นเอาไปต่อยอด
ผล (eval 19 prompt ที่ไม่เคยเห็น): base 9/19 (47%) → fine-tuned 18/19 (95%) parse-rate
serve.py มี CJK guard (regenerate แล้วตัดทิ้ง) กันปลายทางให้classDiagram: ใช้ id ละติน + label ไทยใน [] (เช่น class Animal["สัตว์"])Apache-2.0 (สอดคล้องกับ base model Qwen2.5-1.5B-Instruct)
import torchfrom transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfigfrom peft import PeftModel BASE = "Qwen/Qwen2.5-1.5B-Instruct"ADAPTER = "Petanque/flow-forge-mermaid-th" SYSTEM = ( "คุณเป็นผู้ช่วยแปลงคำอธิบายภาษาไทยเป็นไดอะแกรม Mermaid " "เลือกชนิดไดอะแกรมให้เหมาะกับเนื้อหา " "(flowchart, sequenceDiagram, classDiagram, erDiagram, stateDiagram-v2, mindmap, pie, gantt) " "ตอบเป็นโค้ด Mermaid เท่านั้น " "ข้อความในไดอะแกรมให้ใช้ภาษาไทยเป็นหลัก " "ห้ามใช้ภาษาจีนหรือตัวอักษรต่างประเทศอื่น และห้ามแปลข้อความทั้งประโยคเป็นภาษาอังกฤษ " "(ใช้คำทับศัพท์อังกฤษเฉพาะศัพท์เทคนิคที่จำเป็น)") bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True)tok = AutoTokenizer.from_pretrained(BASE)model = AutoModelForCausalLM.from_pretrained(BASE, quantization_config=bnb, device_map="auto", dtype=torch.bfloat16)model = PeftModel.from_pretrained(model, ADAPTER).eval() def generate(prompt): msgs = [{"role": "system", "content": SYSTEM}, {"role": "user", "content": prompt}] enc = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True).to(model.device) out = model.generate(**enc, max_new_tokens=256, do_sample=False, pad_token_id=tok.pad_token_id or tok.eos_token_id) return tok.decode(out[0][enc["input_ids"].shape[1]:], skip_special_tokens=True) print(generate("ลูกค้าสั่งอาหาร ถ้ามีวัตถุดิบให้ทำ ถ้าไม่มีให้แนะนำเมนูอื่น"))# → flowchart TD ... (โค้ด Mermaid ภาษาไทย)