TentaFlow

Bielik-PL-Minitron-7B-NVFP4

Deploy Dedicated

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Container

Run this model inference with full control and performance in your environment.

Learn more

Get help setting up a custom Dedicated Endpoints.

Talk with our engineer to get a quote for reserved GPU instances with discounts.

Kalibracja

PTQ przez llm-compressor, 512 próbek polskiej Wikipedii, długość sekwencji 2048. Kalibracja na polskim tekście dla zachowania jakości w języku docelowym.

Sprzęt

NVFP4 jest akcelerowany sprzętowo na Blackwellu (sm_100+). Na starszych GPU (np. Ada/RTX 4090) vLLM ładuje model przez kernel Marlin (weight-only FP4) — działa wszędzie, zysk to mniejszy VRAM.

Użycie (vLLM)

bash
vllm serve <repo>/Bielik-PL-Minitron-7B-v3.0-Instruct-NVFP4 --max-model-len 8192

Speculative decoding z draftem Bielik-1.5B-NVFP4 (ten sam tokenizer, num_speculative_tokens=2 optymalne na RTX 4090):

bash
vllm serve <repo>/Bielik-PL-Minitron-7B-v3.0-Instruct-NVFP4 --max-model-len 8192 \
  --speculative-config '{"model": "<repo>/Bielik-1.5B-NVFP4", "num_speculative_tokens": 2}'

Licencja i atrybucja

Apache-2.0, dziedziczona z modelu bazowego. Model bazowy: SpeakLeash & ACK Cyfronet AGH. Ten checkpoint to wyłącznie kwantyzacja oryginalnych wag.

Model provider

TentaFlow

Model tree

Base

speakleash/Bielik-PL-Minitron-7B-v3.0-Instruct

Quantized

this model

Modalities

Input

Text

Output

Text

Pricing

Dedicated Endpoints

View details

Supported Functionality

Model APIs

Dedicated Endpoints

Container

More information

Model card

Explore FriendliAI today

Get started Talk to an engineer

Kalibracja

PTQ przez llm-compressor, 512 próbek polskiej Wikipedii, długość sekwencji 2048. Kalibracja na polskim tekście dla zachowania jakości w języku docelowym.

Sprzęt

Użycie (vLLM)

bash
vllm serve <repo>/Bielik-PL-Minitron-7B-v3.0-Instruct-NVFP4 --max-model-len 8192

Speculative decoding z draftem Bielik-1.5B-NVFP4 (ten sam tokenizer, num_speculative_tokens=2 optymalne na RTX 4090):

bash
vllm serve <repo>/Bielik-PL-Minitron-7B-v3.0-Instruct-NVFP4 --max-model-len 8192 \
  --speculative-config '{"model": "<repo>/Bielik-1.5B-NVFP4", "num_speculative_tokens": 2}'

Licencja i atrybucja

Apache-2.0, dziedziczona z modelu bazowego. Model bazowy: SpeakLeash & ACK Cyfronet AGH. Ten checkpoint to wyłącznie kwantyzacja oryginalnych wag.

Bielik-PL-Minitron-7B-NVFP4

Get help setting up a custom Dedicated Endpoints.

README

Kalibracja

Sprzęt

Użycie (vLLM)

Licencja i atrybucja

Explore FriendliAI today

README

Kalibracja

Sprzęt

Użycie (vLLM)

Licencja i atrybucja