Polydim-Einsof

DeepSeek-R1-Distill-Qwen-14B-Einsof-LoRA

README

License: apache-2.0

Hiperparámetros de Entrenamiento

LoRA Rank (r): 16
LoRA Alpha (α): 16
Target Modules: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
Parámetros Entrenables: 68,812,800
Precisión Nativa: BF16 nativo (A100 SXM4)
Optimizador: adamw_8bit
Pérdida Final de Entrenamiento: 0.7225

Uso con Unsloth / Hugging Face Transformers

python

from unsloth import FastLanguageModelimport torch model, tokenizer = FastLanguageModel.from_pretrained(    model_name="polydim-einsof/DeepSeek-R1-Distill-Qwen-14B-Einsof-LoRA",    max_seq_length=4096,    dtype=torch.bfloat16,    load_in_4bit=True,)FastLanguageModel.for_inference(model)