Model details / Détails du modèle
Table | |
|---|
| Developed by / Développé par | Shared Services Canada, Data Science and Artificial Intelligence (SSC-DSAI) |
| Model type / Type de modèle | Decoder-only causal language model (ApertusForCausalLM) |
| Base model / Modèle de base | swiss-ai/Apertus-70B-Instruct-2509 |
| Adaptation / Méthode d'adaptation | LoRA (rank 24), merged into the base weights |
| Languages / Langues | English, français |
| Parameters / Paramètres | ~70 B |
| Layers / hidden / intermediate | 80 / 8192 / 43008 |
| Attention | 64 query heads, 8 key-value heads (GQA), QK-norm |
| Activation | xIELU |
| Vocabulary / Vocabulaire | 131,072 |
| Max position embeddings / Positions maximales | 65,536 (Llama-3-style RoPE scaling, factor 8.0, base context 8192, rope_theta 12,000,000) |
| Precision / Précision | bfloat16 (~140 GB) |
| License / Licence | Apache 2.0 — see License and attribution |
[!IMPORTANT]
EN — Although the architecture supports 65,536 positions, this fine-tune was trained on 2048-token sequences. Long-context behaviour is entirely inherited from the base model and was not exercised or verified by this training run.
FR — Bien que l'architecture prenne en charge 65 536 positions, ce réglage fin a été effectué sur des séquences de 2048 jetons. Le comportement en contexte long est entièrement hérité du modèle de base; il n'a été ni sollicité ni vérifié par cet entraînement.
Intended uses / Utilisations prévues
EN — In scope
- Bilingual question answering and summarisation grounded in Government of Canada public web content.
- A generator inside a retrieval-augmented generation (RAG) system over GC documents, where the retrieved passage is supplied in the prompt.
- Drafting assistance for public-sector text in either official language.
- Research on domain adaptation of open-weight models for Canadian public-sector use, and as a bilingual baseline for further fine-tuning.
EN — Out of scope
- Authoritative statements of Government of Canada policy, programs, benefits, eligibility, deadlines, or legal obligations. Model output is not a government record and carries no official standing. Always verify against canada.ca.
- Automated decision-making that affects individuals — benefits adjudication, immigration, enforcement, hiring, or any other administrative decision.
- Legal, medical, financial, or immigration advice.
- Any use handling classified, protected, or personal information: this model was developed entirely on unclassified public data and has no data-handling accreditation.
- Any use prohibited by the Apertus usage policy, which flows through to this derivative.
FR — Utilisations visées
- Réponse aux questions et résumé bilingues fondés sur le contenu Web public du gouvernement du Canada.
- Génération au sein d'un système de génération augmentée par récupération (RAG) portant sur des documents du GC, où le passage récupéré est fourni dans l'invite.
- Aide à la rédaction de textes du secteur public dans l'une ou l'autre des langues officielles.
- Recherche sur l'adaptation de domaine de modèles à poids ouverts pour le secteur public canadien, et utilisation comme référence bilingue pour un réglage fin ultérieur.
FR — Utilisations exclues
- Énoncés faisant autorité sur les politiques, programmes, prestations, critères d'admissibilité, échéances ou obligations légales du gouvernement du Canada. Les sorties du modèle ne constituent pas un document gouvernemental et n'ont aucune valeur officielle. Vérifiez toujours l'information auprès de canada.ca.
- Prise de décision automatisée touchant des personnes : décisions relatives aux prestations, à l'immigration, à l'application de la loi, à la dotation ou toute autre décision administrative.
- Conseils juridiques, médicaux, financiers ou en matière d'immigration.
- Tout usage mettant en jeu des renseignements classifiés, protégés ou personnels : ce modèle a été élaboré uniquement à partir de données publiques non classifiées et ne fait l'objet d'aucune accréditation en matière de traitement des données.
- Tout usage interdit par la politique d'utilisation d'Apertus, qui s'applique à ce dérivé.
How to use / Mode d'emploi
EN — The tokenizer ships the Apertus chat template, so apply_chat_template is the supported entry point.
FR — Le tokeniseur fournit le gabarit de conversation d'Apertus; apply_chat_template est donc le point d'entrée pris en charge.
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "ssc-dsai/gc-llm-apertus-70b-instruct-2509"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
dtype=torch.bfloat16,
device_map="auto",
)
model.generation_config.use_cache = True
messages = [
{"role": "system", "content": "You are a helpful AI assistant with expertise in Canadian government, history, and archives. You provide accurate, informative responses based on Canadian context."},
{"role": "user", "content": "Quelles sont les responsabilités de Services partagés Canada?"},
]
inputs = tokenizer.apply_chat_template(
messages, add_generation_prompt=True, return_tensors="pt"
).to(model.device)
out = model.generate(inputs, max_new_tokens=512, temperature=0.7, top_p=0.9)
print(tokenizer.decode(out[0][inputs.shape[-1]:], skip_special_tokens=True))
vLLM
vllm serve ssc-dsai/gc-llm-apertus-70b-instruct-2509 \
--tensor-parallel-size 4 \
--dtype bfloat16 \
--max-model-len 8192
EN — Hardware. bfloat16 weights are ~140 GB, so inference needs at least 2×80 GB GPUs, and realistically 4×80 GB (or 4×H100) once KV cache and activations are accounted for. Generation stops on any of </s> (2), <|assistant_end|> (68), or <|tools_suffix|> (72), as declared in generation_config.json.
FR — Matériel. Les poids en bfloat16 occupent environ 140 Go. L'inférence exige donc au minimum 2 GPU de 80 Go, et plus réalistement 4 GPU de 80 Go (ou 4 H100) une fois le cache KV et les activations pris en compte. La génération s'arrête à l'un ou l'autre des jetons </s> (2), <|assistant_end|> (68) ou <|tools_suffix|> (72), tel que déclaré dans generation_config.json.
Matching the training distribution / Reproduire la distribution d'entraînement
EN — Two details from the fine-tuning data are worth reproducing at inference time:
- System message. Every training example carried: "You are a helpful AI assistant with expertise in Canadian government, history, and archives. You provide accurate, informative responses based on Canadian context."
- Retrieval turn shape. Question-answering examples were built as a single user turn shaped
Context: {context}\n\nQuestion: {question}. In a RAG setup, supplying the retrieved passage in that exact shape most closely matches how the model was trained.
FR — Deux éléments des données de réglage fin méritent d'être reproduits au moment de l'inférence :
- Message système. Chaque exemple d'entraînement comportait le message anglais reproduit ci-dessus.
- Forme du tour de récupération. Les exemples de questions-réponses ont été construits comme un tour utilisateur unique de la forme
Context: {context}\n\nQuestion: {question}. Dans une configuration RAG, fournir le passage récupéré sous cette forme exacte correspond le mieux à l'entraînement du modèle.
Training data / Données d'entraînement
Government of Canada Web Corpus / Corpus Web du gouvernement du Canada
EN — The domain data originates from the Government of Canada Web Archive, obtained from Library and Archives Canada in March 2024 (Archive-It collections 7084, 10408, and 3935). Coverage spans roughly 2016–2025 across public-facing *.gc.ca domains. The processing chain was:
- Acquisition — WARC files pulled over the Archive-It WASAPI API onto HPC transfer nodes.
- Extraction — HTML and PDF records converted to text (
warctodb.py, warcpdfreader.py), discarding non-content records.
- Curation — language identification (English/French retained, everything else dropped), exact deduplication, and heuristic filters removing short lines, JSON/JavaScript fragments, error-page boilerplate ("Error 404", "Not found", "Captcha"), and special-character-dense lines.
- Synthetic QA generation — a distributed Ray Data + vLLM pipeline prompted a mid-size open instruction model (Llama-3.1-8B-Instruct and Qwen2.5-7B-Instruct were both used, per language and pipeline revision) to emit JSON question–answer pairs grounded in each passage, or
None when the passage was too low-quality to use.
- Post-processing — JSON parsing with heuristic repair, a second heuristic filter for degenerate generations, and MinHash near-deduplication (HuggingFace Datatrove) keyed on response plus context text.
The result is published as the companion datasets ssc-dsai/gc-web-en and ssc-dsai/gc-web-fr, where each record pairs a web passage (context) with generated questions / answers and provenance metadata (source URI, WARC record ID, crawl date, domain).
FR — Les données de domaine proviennent des Archives Web du gouvernement du Canada, obtenues de Bibliothèque et Archives Canada en mars 2024 (collections Archive-It 7084, 10408 et 3935). La couverture s'étend approximativement de 2016 à 2025 sur les domaines publics *.gc.ca. La chaîne de traitement était la suivante :
- Acquisition — Fichiers WARC téléchargés au moyen de l'API WASAPI d'Archive-It vers des nœuds de transfert du CHP.
- Extraction — Enregistrements HTML et PDF convertis en texte (
warctodb.py, warcpdfreader.py), en écartant les enregistrements sans contenu.
- Curation — Identification de la langue (anglais et français conservés, tout le reste écarté), déduplication exacte, et filtres heuristiques supprimant les lignes courtes, les fragments JSON/JavaScript, le texte passe-partout des pages d'erreur (« Error 404 », « Not found », « Captcha ») et les lignes à forte densité de caractères spéciaux.
- Génération synthétique de questions-réponses — Un pipeline distribué Ray Data + vLLM a sollicité un modèle d'instruction ouvert de taille moyenne (Llama-3.1-8B-Instruct et Qwen2.5-7B-Instruct, selon la langue et la révision du pipeline) pour produire des paires question-réponse au format JSON ancrées dans chaque passage, ou la valeur
None lorsque le passage était de qualité insuffisante.
- Post-traitement — Analyse syntaxique JSON avec réparation heuristique, second filtre heuristique visant les générations dégénérées, et quasi-déduplication MinHash (HuggingFace Datatrove) fondée sur la réponse et le texte de contexte.
Le résultat est publié sous forme des ensembles de données complémentaires ssc-dsai/gc-web-en et ssc-dsai/gc-web-fr, où chaque enregistrement associe un passage Web (context) à des questions et answers générées ainsi qu'à des métadonnées de provenance (URI source, identifiant d'enregistrement WARC, date de collecte, domaine).
Instruction mixture / Mélange d'instructions
EN — GC data alone would erode general ability, so it was interleaved with open instruction corpora (config/instruct_data_prep.yaml).
FR — Les données du GC seules auraient érodé les capacités générales; elles ont donc été entrelacées avec des corpus d'instructions ouverts.
Table with columns: Source, Weight / Poids, Purpose / Objectif| Source | Weight / Poids | Purpose / Objectif |
|---|
ssc-dsai/gc-web-en | 0.25 | GC domain knowledge, English / Connaissances du domaine du GC, anglais |
ssc-dsai/gc-web-fr | 0.25 | GC domain knowledge, French / Connaissances du domaine du GC, français |
allenai/tulu-3-sft-mixture | 0.25 | General instruction following / Suivi d'instructions général |
CohereForAI/aya_dataset | 0.10 |
EN — Examples were formatted, tokenized, and truncated to 2048 tokens, then shuffled into a single corpus of 5,694,160 sequences (seed 42).
FR — Les exemples ont été formatés, tokenisés et tronqués à 2048 jetons, puis mélangés en un corpus unique de 5 694 160 séquences (graine aléatoire : 42).
[!NOTE]
EN — Loss was computed over the full sequence. Labels were set to a copy of input_ids with no prompt masking, so system and user tokens contributed to the training objective alongside assistant tokens. This is a deliberate documentation point, not a recommendation — prompt masking is the more usual choice for SFT.
FR — La perte a été calculée sur l'ensemble de la séquence. Les étiquettes étaient une copie de input_ids, sans masquage de l'invite : les jetons système et utilisateur ont donc contribué à l'objectif d'entraînement au même titre que ceux de l'assistant. Il s'agit d'une précision documentaire et non d'une recommandation — le masquage de l'invite est le choix le plus courant pour le réglage fin supervisé (SFT).
Training procedure / Procédure d'entraînement
EN — LoRA supervised fine-tuning of the base model, subsequently merged into the base weights and released as a standalone dense checkpoint.
FR — Réglage fin supervisé par LoRA du modèle de base, ensuite fusionné dans les poids de base et publié comme point de contrôle dense autonome.
Table with columns: Hyperparameter / Hyperparamètre, Value / Valeur| Hyperparameter / Hyperparamètre | Value / Valeur |
|---|
| Method / Méthode | LoRA (PEFT), merged post-training |
| LoRA rank / alpha / dropout | 24 / 48 / 0.05 |
| LoRA target modules | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
| Epochs / Époques | 2 |
| Max sequence length / Longueur max. de séquence |
Evaluation / Évaluation
EN — Two questions matter for this model: did Canadian-context grounding improve, and did general capability survive. Only the second has been measured so far. The numbers below are standard English benchmarks, reported against the unmodified base model.
FR — Deux questions comptent pour ce modèle : l'ancrage dans le contexte canadien s'est-il amélioré, et les capacités générales ont-elles été préservées? Seule la seconde a été mesurée à ce jour. Les chiffres ci-dessous portent sur des tests de référence anglais standards, comparés au modèle de base non modifié.
GC-LLM (blue / bleu), base Apertus-70B-Instruct-2509 (orange), Llama-3.3-70B (green / vert).
General benchmarks / Tests de référence généraux
Table with columns: Benchmark, GC-LLM, Apertus-70B-Instruct-2509, Δ| Benchmark | GC-LLM | Apertus-70B-Instruct-2509 | Δ |
|---|
| ARC-Challenge | 0.580 | 0.593 | -0.013 |
| HellaSwag | 0.830 | 0.843 | -0.013 |
| MMLU | 0.637 | 0.658 | -0.021 |
| TruthfulQA | 0.507 | 0.605 | -0.098 |
|
MMLU by category / MMLU par catégorie
Table with columns: MMLU category / Catégorie, GC-LLM, Apertus-70B-Instruct-2509, Δ| MMLU category / Catégorie | GC-LLM | Apertus-70B-Instruct-2509 | Δ |
|---|
| STEM | 0.547 | 0.562 | -0.015 |
| Humanities / Sciences humaines | 0.572 | 0.594 | -0.022 |
| Social Sciences / Sciences sociales | 0.754 | 0.782 | -0.028 |
| Other / Autres | 0.712 | 0.730 | -0.018 |
What the numbers say / Ce que révèlent les chiffres
EN — General capability regressed slightly and almost uniformly. Across all 57 MMLU subjects, GC-LLM scores better on 9, worse on 44, and ties on 4, for a mean delta of −0.021. All four MMLU category aggregates are down, Social Sciences most (−0.028) and STEM least (−0.015). The only benchmark-level improvement anywhere is WinoGrande, at +0.005 — well inside noise.
That much is the expected cost of domain SFT, and the interleaved Tulu 3 / Aya / NuminaMath / Evol-CodeAlpaca mixture appears to have held it to about two points rather than the sharp forgetting an undiluted domain corpus would produce.
FR — Les capacités générales ont légèrement régressé, de façon presque uniforme. Sur les 57 matières MMLU, GC-LLM obtient de meilleurs résultats pour 9, de moins bons pour 44, et des résultats identiques pour 4, soit un écart moyen de −0,021. Les quatre agrégats de catégories sont en baisse : Sciences sociales le plus (−0,028), STEM le moins (−0,015). La seule amélioration à l'échelle d'un test de référence est WinoGrande, à +0,005 — bien en deçà du bruit statistique.
C'est le coût attendu d'un réglage fin de domaine, et le mélange entrelacé Tulu 3 / Aya / NuminaMath / Evol-CodeAlpaca semble l'avoir limité à environ deux points, plutôt qu'à l'oubli marqué qu'aurait produit un corpus de domaine non dilué.
[!WARNING]
EN — TruthfulQA is the exception: 0.507 against the base's 0.605, a drop of −0.098. That is five times the average regression and the largest movement in the entire evaluation. A model fine-tuned to answer confidently in a specific institutional voice becoming measurably less truthful on adversarial questions is a predictable failure mode, but it needs to be treated as a real finding rather than benchmark noise. Anyone deploying this model where confidently-wrong answers carry a cost should weigh this heavily, and it should be the first thing re-measured after any further training.
FR — TruthfulQA fait exception: 0,507 contre 0,605 pour le modèle de base, soit une baisse de −0,098. C'est cinq fois la régression moyenne et le plus grand écart de toute l'évaluation. Qu'un modèle affiné pour répondre avec assurance dans un registre institutionnel précis devienne mesurablement moins véridique face à des questions adverses est un mode de défaillance prévisible, mais il faut y voir un résultat réel et non du bruit de mesure. Quiconque déploie ce modèle dans un contexte où une réponse fausse énoncée avec assurance a un coût devrait en tenir sérieusement compte; c'est aussi la première mesure à reprendre après tout entraînement additionnel.
EN — Among individual subjects, the largest regressions are Business Ethics (−0.100), College Computer Science (−0.090), High School Computer Science (−0.090), Econometrics (−0.070), and Professional Medicine (−0.055). Law-adjacent subjects slipped consistently — International Law (−0.049), Professional Law (−0.048), Jurisprudence (−0.046) — worth noting given how much of the training corpus is regulatory and legislative text. Where GC-LLM comes out ahead it is mostly mathematics: College Mathematics (+0.060), College Chemistry (+0.050), Medical Genetics (+0.040), High School Mathematics (+0.033), Moral Scenarios (+0.028), US Foreign Policy (+0.020). On subsets of a few hundred questions these margins are within noise and should not be read as real gains.
FR — Parmi les matières individuelles, les plus fortes régressions touchent Business Ethics (−0,100), College Computer Science (−0,090), High School Computer Science (−0,090), Econometrics (−0,070) et Professional Medicine (−0,055). Les matières juridiques reculent de façon constante — International Law (−0,049), Professional Law (−0,048), Jurisprudence (−0,046) — ce qui mérite d'être signalé, vu la part de textes réglementaires et législatifs dans le corpus. Là où GC-LLM devance sa base, il s'agit surtout de mathématiques : College Mathematics (+0,060), College Chemistry (+0,050), Medical Genetics (+0,040), High School Mathematics (+0,033), Moral Scenarios (+0,028), US Foreign Policy (+0,020). Sur des sous-ensembles de quelques centaines de questions, ces écarts se situent dans le bruit et ne doivent pas être interprétés comme des gains réels.
Subject names are the official MMLU sub-task identifiers and are left in English. / Les noms de matières sont les identifiants officiels des sous-tâches MMLU et demeurent en anglais.
Table with columns: MMLU subject, GC-LLM, Apertus-70B-Instruct-2509, Δ| MMLU subject | GC-LLM | Apertus-70B-Instruct-2509 | Δ |
|---|
| Abstract Algebra | 0.310 | 0.310 | 0.000 |
| Anatomy | 0.644 | 0.652 | -0.008 |
| Astronomy | 0.730 | 0.763 | -0.033 |
| Business Ethics | 0.630 | 0.730 | -0.100 |
Limitations, risks, and biases / Limites, risques et biais
EN — Factual reliability
- The web crawl has an effective knowledge cutoff around 2025. Programs, rates, forms, deadlines, and org structures change continuously; the model will confidently state stale information.
- Training answers were synthesised by a 7–8B teacher model, not written or reviewed by subject-matter experts. Teacher hallucinations and misreadings are baked into the corpus, and the fine-tune propagates them.
- The model does not cite sources or express calibrated uncertainty. For anything a user might act on, pair the model with retrieval and show the citation.
EN — Training-recipe caveats
- General capability regressed measurably: about −2 points on MMLU, −1.3 on ARC-Challenge and HellaSwag, and 44 of 57 MMLU subjects down. If you do not need Canadian-context grounding, the base model is the better choice.
- Truthfulness regressed sharply. TruthfulQA fell from 0.605 to 0.507 (−0.098), by far the largest movement measured.
- Prompt/completion loss masking was not applied.
- Training sequences were capped at 2048 tokens; longer source passages were truncated rather than chunked.
EN — Coverage and bias
- English and French only. Other languages were filtered out during curation.
- Content reflects the federal government's own published voice: institutional register, official framing of policy, and the topical distribution of
.gc.ca. It is not a neutral account of Canadian public affairs, and it under-represents provincial, territorial, municipal, and Indigenous governments.
- Bilingual coverage is uneven. English
.gc.ca content is more plentiful and often more current than its French counterpart.
- Archived pages carry residual navigation chrome and boilerplate that filtering did not fully remove.
EN — Safety
- Red-teaming is pending. No safety tuning, red-teaming, or alignment work has been completed beyond what the base model already carried. An exercise is planned but has not yet been run, and this card will be updated when it is. Until then, all of Apertus's safety limitations apply unchanged, and the LoRA update may have shifted safety behaviour in ways that have not been measured. Do not treat the absence of reported safety findings as evidence of safety.
- Source pages are public, but public government pages do incidentally name individuals. Do not use this model to profile, identify, or contact individuals.
FR — Fiabilité factuelle
- La collecte Web a une limite de connaissances effective autour de 2025. Les programmes, taux, formulaires, échéances et structures organisationnelles changent continuellement : le modèle énoncera avec assurance des renseignements périmés.
- Les réponses d'entraînement ont été synthétisées par un modèle enseignant de 7 à 8 milliards de paramètres, et non rédigées ni révisées par des spécialistes du domaine. Les hallucinations et erreurs de lecture du modèle enseignant sont intégrées au corpus, et le réglage fin les propage.
- Le modèle ne cite pas ses sources et n'exprime pas d'incertitude calibrée. Pour tout contenu sur lequel un utilisateur pourrait agir, associez le modèle à un mécanisme de récupération et affichez la référence.
FR — Réserves liées à la recette d'entraînement
- Les capacités générales ont régressé de façon mesurable : environ −2 points sur MMLU, −1,3 sur ARC-Challenge et HellaSwag, et 44 des 57 matières MMLU en baisse. Si l'ancrage dans le contexte canadien ne vous est pas nécessaire, le modèle de base est le meilleur choix.
- La véracité a nettement régressé. TruthfulQA passe de 0,605 à 0,507 (−0,098), de loin le plus grand écart mesuré.
- Aucun masquage de l'invite n'a été appliqué au calcul de la perte.
- Les séquences d'entraînement ont été plafonnées à 2048 jetons; les passages plus longs ont été tronqués plutôt que découpés.
FR — Couverture et biais
- Anglais et français seulement. Les autres langues ont été écartées lors de la curation.
- Le contenu reflète la voix publiée du gouvernement fédéral : registre institutionnel, cadrage officiel des politiques et répartition thématique de
.gc.ca. Il ne constitue pas un compte rendu neutre des affaires publiques canadiennes et sous-représente les gouvernements provinciaux, territoriaux, municipaux et autochtones.
- La couverture bilingue est inégale. Le contenu anglais de
.gc.ca est plus abondant et souvent plus à jour que son équivalent français.
- Les pages archivées comportent des éléments de navigation et du texte passe-partout résiduels que le filtrage n'a pas entièrement supprimés.
FR — Sécurité
- La simulation d'attaque (red teaming) reste à faire. Aucun travail de sécurisation, de simulation d'attaque ou d'alignement n'a été mené au-delà de ce que portait déjà le modèle de base. Un exercice est prévu mais n'a pas encore eu lieu; la présente carte sera mise à jour à ce moment. D'ici là, toutes les limites de sécurité d'Apertus s'appliquent telles quelles, et la mise à jour LoRA peut avoir modifié le comportement de sécurité d'une manière qui n'a pas été mesurée. L'absence de constats de sécurité rapportés ne doit pas être interprétée comme une preuve d'innocuité.
- Les pages sources sont publiques, mais les pages Web gouvernementales nomment incidemment des personnes. N'utilisez pas ce modèle pour profiler, identifier ou joindre des personnes.
License and attribution / Licence et attribution
EN — The model weights are released under Apache 2.0, inherited from swiss-ai/Apertus-70B-Instruct-2509. The Apertus usage policy applies to this derivative. This model is not an official Government of Canada product or service, and its outputs are not government records.
FR — Les poids du modèle sont diffusés sous licence Apache 2.0, héritée de swiss-ai/Apertus-70B-Instruct-2509. La politique d'utilisation d'Apertus s'applique à ce dérivé. Ce modèle n'est ni un produit ni un service officiel du gouvernement du Canada, et ses sorties ne constituent pas des documents gouvernementaux.
Training data carries its own terms / Les données d'entraînement sont assorties de leurs propres conditions :
- Government of Canada web content / Contenu Web du gouvernement du Canada — Open Government Licence – Canada (EN / FR)
allenai/tulu-3-sft-mixture — ODC-BYCohereForAI/aya_dataset — Apache 2.0AI-MO/NuminaMath-TIR — Apache 2.0theblackcat102/evol-codealpaca-v1 — Apache 2.0
EN — Acknowledgements. Library and Archives Canada supplied access to the Government of Canada Web Archive. The SSC HPC group provided the Science clusters and the SSC Icelab team the H100 node the work ran on. The Swiss AI Initiative (EPFL / ETH Zürich / CSCS) built and released Apertus.
FR — Remerciements. Bibliothèque et Archives Canada a donné accès aux Archives Web du gouvernement du Canada. Le groupe CHP de SPC a fourni les grappes scientifiques et l'équipe Icelab de SPC, le nœud H100 utilisés pour ces travaux. La Swiss AI Initiative (EPFL / ETH Zürich / CSCS) a conçu et publié Apertus.
Citation / Référence bibliographique
@misc{ssc_dsai_gc_llm_apertus_70b_2026,
author = {{Shared Services Canada, Data Science and Artificial Intelligence}},
title = {{GC LLM --- Apertus-70B-Instruct-2509}},
year = {2026},
publisher = {Hugging Face},
url = {https://huggingface.co/ssc-dsai/gc-llm-apertus-70b-instruct-2509},
}
Please also cite the base model / Veuillez également citer le modèle de base :
@misc{apertus2025,
title = {{Apertus: Democratizing Open and Compliant LLMs for Global Language Environments}},
author = {{Apertus Team}},
year = {2025},
eprint = {2509.14233},
archivePrefix= {arXiv},
}
Shared Services Canada — Data Science and Artificial Intelligence (SSC-DSAI).
Services partagés Canada — Science des données et intelligence artificielle (SSC-DSAI).
Training code, data pipelines, and evaluation harnesses / Code d'entraînement, pipelines de données et harnais d'évaluation : https://github.com/ssc-dsai/hpc-llm-finetune