Simonc-44

Cygnis-A3

README

License: apache-2.0

1. Présentation

Cygnis-A3 V0.1 est la première version publique du projet Cygnis A3 — un modèle de 7 milliards de paramètres obtenu par merge linéaire pondéré en PyTorch pur sur la base Qwen2.5.

Cette version V0.1 est volontairement légère et conservatrice : elle combine uniquement les capacités de code, de mathématiques et de suivi d'instructions, sans module de raisonnement DeepSeek-R1 (prévu en V0.2). Elle sert de base validée et stable pour les itérations suivantes.

Différence V0.1 vs V0.2 : La V0.1 ne contient pas de raisonnement Chain-of-Thought (<think>) ni de balises de réflexion interne. Les réponses sont directes et sans étape de réflexion explicite. La V0.2 intégrera DeepSeek-R1-Distill-Qwen-7B via SLERP pour ajouter ce moteur de raisonnement.

2. Résumé du modèle

3. Utilisation

python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "Simonc44/Cygnis-A3"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True,
)

messages = [
    {"role": "user", "content": "Écris une fonction Python qui calcule le PGCD de deux nombres."}
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
ids = tokenizer(text, return_tensors="pt").to(model.device)

with torch.no_grad():
    out = model.generate(
        **ids,
        max_new_tokens=300,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
        repetition_penalty=1.05,
        eos_token_id=[tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|im_end|>")],
        pad_token_id=tokenizer.eos_token_id,
    )

response = tokenizer.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True)
print(response)

4. Hyperparamètres recommandés

Table with columns: Paramètre, Valeur recommandée
Paramètre	Valeur recommandée
Temperature	`0.6`
Top-P	`0.95`
Repetition Penalty	`1.05`
Max New Tokens	`512–1024`

6. Licence

Distribué sous licence Apache 2.0.

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Container

Run this model inference with full control and performance in your environment.

Learn more

Model Details

Model Provider

Simonc-44

Model Tree

Base

Qwen/Qwen2.5-7B-Instruct

Fine-tuned

this model

Input Modalities

Text

Output Modalities