Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more
Container

Run this model inference with full control and performance in your environment.

Learn more

Get help setting up a custom Dedicated Endpoints.

Talk with our engineer to get a quote for reserved GPU instances with discounts.

README

License: apache-2.0

做法

  • 資料:以 TAIDE 蒸餾的台灣繁中 self-instruct 指令資料訓練。
  • 訓練:於 云碩 AI 算力資源池(xCloud 算力中心) 上以分散式 LoRA 微調,再合併回完整模型。資料全程留在自有算力環境、流程可重現。
  • 格式:完整 safetensors(MXFP4 experts + bf16 attention,≈65GB),transformers / vLLM 可載入。
  • 效果:相較原始 gpt-oss,本模型直接以道地台灣繁中作答,用字採台灣慣用(臺灣、臺語、客家話),語氣更在地。

用法(transformers)

python

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
tok = AutoTokenizer.from_pretrained("xCloudinfo/gpt-oss-120b-TAIDE-zhTW")
model = AutoModelForCausalLM.from_pretrained(
"xCloudinfo/gpt-oss-120b-TAIDE-zhTW", dtype="auto", device_map="auto")
msgs = [{"role": "user", "content": "用一段話介紹台灣,並說說台灣最有名的小吃。"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(ids, max_new_tokens=512)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=False))

reasoning 模型:請給足 max_new_tokens(模型會先思考再輸出最終答案)。

GGUF(llama.cpp / Ollama)版本見 …-TAIDE-zhTW-GGUF

授權與來源聲明

  • 基底openai/gpt-oss-120bApache-2.0
  • TAIDE 衍生:訓練資料以 TAIDE 模型蒸餾;使用/重製/改作/散布須遵守 TAIDE 模型授權條款 並保留本聲明。
  • 不得用於軍事或非法用途;不得聲稱代表 TAIDE 或國家實驗研究院;須遵守中華民國法律與適用之 EU AI Act。

由 云碩科技 xCloudinfo 於自有 AI 算力資源池製作;資料留在本地、流程可重現。

Model provider

xCloudinfo

Model tree

Base

openai/gpt-oss-120b

Quantized

this model

Modalities

Input

Text

Output

Text

Pricing

Dedicated Endpoints

View details

Supported Functionality

Model APIs

Dedicated Endpoints

Container

More information

Explore FriendliAI today