GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
weblab-LLM-M
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Model Details
Model Provider
weblab-LLM-M
Model Tree
Input Modalities
Output Modalities
Supported Functionality
| 項目 | 内容 |
|---|---|
| モデル名 | Weblab-MedLLM-Qwen3-235B-Thinking |
| パラメータ数 | 235B MoE |
| ベースモデル | Qwen3-235B-A22B-Thinking-2507 |
| 言語 | 日本語 |
| 開発者 | 東京大学大学院工学系研究科 松尾・岩澤研究室 |
| 事業名 | NEDO「AIの安全性確保に関する研究開発・検証等の推進事業 / 日本語版医療特化型LLMの社会実装に向けた安全性検証・実証」 |
| ベースモデルライセンス | Qwen3-235B-A22B-Thinking-2507 is licensed under the Apache License 2.0. Copyright (c) Alibaba Cloud. |
| 本モデルライセンス | Apache License 2.0 |
本モデルのご利用にあたっては、以下の点にご留意ください。
以下に主要ベンチマークの性能を示します。括弧内はベースモデルからの変化幅です。
| ベンチマーク | スコア | 説明 |
|---|---|---|
| 医師国試 | 95.7% (±0.0) | 2023年以降の医師国家試験過去問 |
| 専門医試験 | 82.7% (+1.7) | 複数診療科の専門医試験過去問 |
| 専門医試験（RAG） | 89.1% | 上記に診療ガイドライン等をRAGで付与した条件 |
| ガイドライン | 60.6% (+4.1) | 複数診療科の診療ガイドライン準拠性 |
| 対話型診断 | 51.5% (-1.6) | 臨床シナリオに基づく対話型診断能力（J-HealthBench） |
| Do-Not-Answer | 97.0% (-0.2) | 危険・不適切な質問への拒否応答能力 |
| AnswerCarefully | 88.4% (-3.0) | 日本語の文化・法制度に合わせた安全性評価 |
独自に収集した医学論文・医学書籍・診療ガイドライン・試験問題などを由来とする合成データをもとに、継続事前学習および事後学習を実施しています。
hf_transfer を使用することで高速なダウンロードが可能です。
bash
pip install hf_transferHF_HUB_ENABLE_HF_TRANSFER=1 hf download weblab-LLM-M/Weblab-MedLLM-Qwen3-235B-Thinking \ --local-dir ./Weblab-MedLLM-Qwen3-235B-Thinking注意:
hfコマンドはhuggingface_hubパッケージに含まれています。未インストールの場合はpip install huggingface_hubを実行してください。
大規模モデルの推論効率化のため、vLLMの使用を推奨します。vLLMのインストールおよび使用方法については vLLM公式ドキュメント を参照してください。
本モデルを vLLM で使用する際の主な注意点は以下の通りです。
--max-model-len 262144）注意: ハードウェアやソフトウェアのバージョンによって動作しない場合があります。動作保証はありません。
動作確認済み構成
| 項目 | バージョン |
|---|---|
| GPU | NVIDIA B200 × 8 |
| vLLM | 0.15.1 |
| PyTorch | 2.9.1+cu128 |
| CUDA | 12.8（conda環境） |
| Python | 3.12 |
セットアップ手順
bash
# 1. Miniconda3のインストールwget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shbash Miniconda3-latest-Linux-x86_64.sh -b~/miniconda3/bin/conda init bashsource ~/.bashrc # 2. conda環境の作成（CUDA 12.8、Python 3.12）conda create --prefix $HOME/envs/vllm_cu128 python=3.12 -yconda activate $HOME/envs/vllm_cu128conda install -c nvidia cuda-toolkit=12.8 -y # 3. vLLMのインストール（PyTorch 2.9.1+cu128 も依存として自動インストール）pip install vllm==0.15.1 # 4. FlashInferのアップグレードpip install flashinfer-python==0.6.3 # 5. NCCLのアップグレード（B200 Blackwellの場合のみ必要）pip install nvidia-nccl-cu12==2.29.3 --no-deps # 6. CUDAシンボリックリンクの設定（FlashInfer JITコンパイル用）mkdir -p $HOME/envs/vllm_cu128/lib64/stubsln -sf /usr/lib/x86_64-linux-gnu/libcuda.so $HOME/envs/vllm_cu128/lib64/libcuda.soln -sf /usr/lib/x86_64-linux-gnu/libcuda.so.1 $HOME/envs/vllm_cu128/lib64/libcuda.so.1GPU固有の環境変数
特定のGPUアーキテクチャ（Blackwellなど）では以下の環境変数が必要になる場合があります。
bash
export NCCL_NVLS_ENABLE=0 # NVLink SHARP無効化（ncclCommInitRankハング対策）export VLLM_ALLREDUCE_USE_SYMM_MEM=0 # torch symmetric memory無効化export VLLM_USE_NCCL_SYMM_MEM=0 # NCCL symmetric memory allocator無効化export CUDA_HOME=$CONDA_PREFIX # FlashInfer JITコンパイル用注意: 環境によって動作しない場合があります。動作保証はありません。
bash
conda activate $HOME/envs/vllm_cu128 vllm serve ./Weblab-MedLLM-Qwen3-235B-Thinking \ --host 0.0.0.0 \ --port 8000 \ --served-model-name Weblab-MedLLM-Qwen3-235B-Thinking \ --tensor-parallel-size 8 \ --pipeline-parallel-size 1 \ --dtype bfloat16 \ --gpu-memory-utilization 0.93 \ --max-model-len 262144 \ --disable-custom-all-reduce \ --trust-remote-code \ --enable-chunked-prefill \ --enable-prefix-caching \ --max-num-batched-tokens 32768 \ --max-num-seqs 60 \ --generation-config vllm \ --enable-expert-parallel起動後は OpenAI クライアントからアクセスできます。
python
from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy") # 認証なしの場合は任意の文字列 response = client.chat.completions.create( model="Weblab-MedLLM-Qwen3-235B-Thinking", messages=[ {"role": "system", "content": "あなたは医療の専門知識を持つアシスタントです。"}, {"role": "user", "content": "脳梗塞の急性期治療において、rt-PA静注療法の適応基準について説明してください。"} ], max_tokens=1024*4,)print(response.choices[0].message.content)注意: transformers の
device_map="auto"はパイプライン並列による推論のため、235B MoE モデルでは数分かかることがあります。本番利用にはvLLMを推奨します。
python
from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "./Weblab-MedLLM-Qwen3-235B-Thinking" # ダウンロード先のローカルパスを指定 model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype="auto", device_map="auto")tokenizer = AutoTokenizer.from_pretrained(model_name) prompt = "脳梗塞の急性期治療において、rt-PA静注療法の適応基準について説明してください。" messages = [ {"role": "system", "content": "あなたは医療の専門知識を持つアシスタントです。"}, {"role": "user", "content": prompt}] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True)model_inputs = tokenizer([text], return_tensors="pt").to(model.device) generated_ids = model.generate( **model_inputs, max_new_tokens=1024*4,)generated_ids = [ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)] response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]print(response)※ 本モデルはThinking（推論）モデルです。生成時にreasoningトークン（<think>...</think>）が出力される場合があります。最終的な回答はreasoningトークンの後に出力されます。
※ チャットテンプレートはchat_template.jinjaとして同梱されています。tokenizer_config.jsonに含まれていない場合は、手動で設定するか、vLLMでの推論をご利用ください。
本研究は、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）「AIの安全性確保に関する研究開発・検証等の推進事業 / 日本語版医療特化型LLMの社会実装に向けた安全性検証・実証」の支援を受けて実施されました。
pip install hf_transferHF_HUB_ENABLE_HF_TRANSFER=1 hf download weblab-LLM-M/Weblab-MedLLM-Qwen3-235B-Thinking \ --local-dir ./Weblab-MedLLM-Qwen3-235B-Thinking# 1. Miniconda3のインストールwget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shbash Miniconda3-latest-Linux-x86_64.sh -b~/miniconda3/bin/conda init bashsource ~/.bashrc # 2. conda環境の作成（CUDA 12.8、Python 3.12）conda create --prefix $HOME/envs/vllm_cu128 python=3.12 -yconda activate $HOME/envs/vllm_cu128conda install -c nvidia cuda-toolkit=12.8 -y # 3. vLLMのインストール（PyTorch 2.9.1+cu128 も依存として自動インストール）pip install vllm==0.15.1 # 4. FlashInferのアップグレードpip install flashinfer-python==0.6.3 # 5. NCCLのアップグレード（B200 Blackwellの場合のみ必要）pip install nvidia-nccl-cu12==2.29.3 --no-deps # 6. CUDAシンボリックリンクの設定（FlashInfer JITコンパイル用）mkdir -p $HOME/envs/vllm_cu128/lib64/stubsln -sf /usr/lib/x86_64-linux-gnu/libcuda.so $HOME/envs/vllm_cu128/lib64/libcuda.soln -sf /usr/lib/x86_64-linux-gnu/libcuda.so.1 $HOME/envs/vllm_cu128/lib64/libcuda.so.1export NCCL_NVLS_ENABLE=0 # NVLink SHARP無効化（ncclCommInitRankハング対策）export VLLM_ALLREDUCE_USE_SYMM_MEM=0 # torch symmetric memory無効化export VLLM_USE_NCCL_SYMM_MEM=0 # NCCL symmetric memory allocator無効化export CUDA_HOME=$CONDA_PREFIX # FlashInfer JITコンパイル用conda activate $HOME/envs/vllm_cu128 vllm serve ./Weblab-MedLLM-Qwen3-235B-Thinking \ --host 0.0.0.0 \ --port 8000 \ --served-model-name Weblab-MedLLM-Qwen3-235B-Thinking \ --tensor-parallel-size 8 \ --pipeline-parallel-size 1 \ --dtype bfloat16 \ --gpu-memory-utilization 0.93 \ --max-model-len 262144 \ --disable-custom-all-reduce \ --trust-remote-code \ --enable-chunked-prefill \ --enable-prefix-caching \ --max-num-batched-tokens 32768 \ --max-num-seqs 60 \ --generation-config vllm \ --enable-expert-parallelfrom openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="dummy") # 認証なしの場合は任意の文字列 response = client.chat.completions.create( model="Weblab-MedLLM-Qwen3-235B-Thinking", messages=[ {"role": "system", "content": "あなたは医療の専門知識を持つアシスタントです。"}, {"role": "user", "content": "脳梗塞の急性期治療において、rt-PA静注療法の適応基準について説明してください。"} ], max_tokens=1024*4,)print(response.choices[0].message.content)from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "./Weblab-MedLLM-Qwen3-235B-Thinking" # ダウンロード先のローカルパスを指定 model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype="auto", device_map="auto")tokenizer = AutoTokenizer.from_pretrained(model_name) prompt = "脳梗塞の急性期治療において、rt-PA静注療法の適応基準について説明してください。" messages = [ {"role": "system", "content": "あなたは医療の専門知識を持つアシスタントです。"}, {"role": "user", "content": prompt}] text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True)model_inputs = tokenizer([text], return_tensors="pt").to(model.device) generated_ids = model.generate( **model_inputs, max_new_tokens=1024*4,)generated_ids = [ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)] response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]print(response)