GLM-5.3 is live. Run Z.ai's latest model on Friendli Model APIs. Try it today ➜
akimbabananan
Available on FriendliAI
Run this model inference on single tenant GPU with unmatched speed and reliability at scale.
Run this model inference with full control and performance in your environment.
Model Details
Model Provider
akimbabananan
Model Tree
openai/whisper-tiny
Input Modalities
Output Modalities
Supported Functionality
Эта модель представляет собой специализированную, глубоко дообученную версию OpenAI Whisper Tiny, хирургически оптимизированную для высокоточного распознавания речи (ASR) исключительно в двуязычной среде (Русский и Английский языки).
Главная особенность данного проекта — контролируемый эксперимент по управлению памятью нейросети с помощью метода Full Fine-Tuning:
model.config.forced_decoder_ids = None) и проведения агрессивного обучения на протяжении 4000 шагов (порядка 15 полных эпох), из архитектуры весов были полностью вытеснены знания обо всех остальных 90+ языках оригинального Whisper.Процесс обучения полностью задокументирован и выполнялся на связке CPU-неттопа и внешней видеокарты через переходник ADT-Link:
fp16=True) для тензорных ядер архитектуры Ampere и метод gradient_checkpointing=True.32 (крупный батч для защиты и стабильной загрузки шины ADT-Link).5e-5 (высокий шаг обучения для глубокого сдвига весов) с линейным прогревом warmup_steps=300.Полный Python-код процесса тренировки со всей логикой кастомного коллатора данных и конфигурацией тренера сохранен и доступен в файле train_whisper.py во вкладке "Files and versions" этого репозитория.
This checkpoint is a highly specialized, deeply fine-tuned version of OpenAI's Whisper Tiny, surgically optimized for high-fidelity Automatic Speech Recognition (ASR) exclusively in a bilingual environment (Russian and English).
The core innovation of this project lies in a controlled experiment with the model's weight capacity using Full Fine-Tuning:
model.config.forced_decoder_ids = None) and executing an aggressive 4000-step training pipeline (~15 full epochs), all multilingual knowledge regarding 90+ secondary languages was completely erased from the weight structure.The pipeline was fully executed on an budget-friendly edge setup consisting of a CPU nettop connected to an external desktop GPU via an ADT-Link adapter:
fp16=True) leveraging Ampere Tensor Cores combined with gradient_checkpointing=True.32 (optimized to maintain stable bandwidth saturation over the ADT-Link interface).5e-5 (aggressive learning rate for substantial weight shifting) with warmup_steps=300 over max_steps=4000.The exact Python pipeline (train_whisper.py) containing the data preparation, custom padded Data Collator, and trainer arguments is uploaded to the "Files and versions" tab of this repository for public auditing.
Вы можете запустить модель с помощью библиотеки transformers:
You can load and run this model using the Hugging Face transformers library:
python
import torchfrom transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline model_id = "akimbabananan/whisper-tiny-ru-en-only" # Загрузка модели в float16 для ускорения на GPU / Load in FP16 for fast GPU inferencemodel = AutoModelForSpeechSeq2Seq.from_pretrained(model_id, torch_dtype=torch.float16, low_cpu_mem_usage=True)processor = AutoProcessor.from_pretrained(model_id) pipe = pipeline( "automatic-speech-recognition", model=model, tokenizer=processor.tokenizer, feature_extractor=processor.feature_extractor, torch_dtype=torch.float16, device="cuda" if torch.cuda.is_available() else "cpu") # Замените на путь к вашему аудиофайлу / Replace with your audio file pathresult = pipe("audio_sample.wav", generate_kwargs={"language": "russian"})print(result["text"])This model is a fine-tuned version of OpenAI's Whisper Tiny. Original model weights and architecture are subject to the MIT License by OpenAI.
import torchfrom transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline model_id = "akimbabananan/whisper-tiny-ru-en-only" # Загрузка модели в float16 для ускорения на GPU / Load in FP16 for fast GPU inferencemodel = AutoModelForSpeechSeq2Seq.from_pretrained(model_id, torch_dtype=torch.float16, low_cpu_mem_usage=True)processor = AutoProcessor.from_pretrained(model_id) pipe = pipeline( "automatic-speech-recognition", model=model, tokenizer=processor.tokenizer, feature_extractor=processor.feature_extractor, torch_dtype=torch.float16, device="cuda" if torch.cuda.is_available() else "cpu") # Замените на путь к вашему аудиофайлу / Replace with your audio file pathresult = pipe("audio_sample.wav", generate_kwargs={"language": "russian"})print(result["text"])