Kolibri 78B : l'IA à poids ouverts que l'on possède

Le matin du 3 octobre, jour de la réunification allemande, Aleph Alpha, installée à Heidelberg, a ouvert une discrète page de téléchargement : Kolibri. Un modèle de langage de 78,1 milliards de paramètres à poids ouverts , publié sur Hugging Face sous licence Apache 2.0 . Cette licence autorise l'usage commercial, l'exploitation sur ses propres serveurs et le maintien des données en interne. L'idée soulignée dans la vidéo est exactement celle-là : une IA que l'on possède plutôt qu'un service loué dont on dépend. Aleph Alpha a annoncé la sortie sur son propre blog, et le calendrier choisi envoie un message de souveraineté limpide.

L'efficacité de Kolibri tient à son architecture en mélange d'experts . Le modèle abrite 384 petits réseaux experts et un routeur qui en sélectionne les 6 meilleurs pour chaque token, avec 1 généraliste partagé actif sur chaque couche. Sur 78,1 milliards de paramètres au total, environ 3,46 milliards seulement — 4,4 % — s'activent par token. Le savoir accumulé à l'échelle des 78 milliards tourne ainsi au coût de calcul d'un modèle bien plus petit. L'édifice compte 50 couches : 10 en attention complète, 40 en fenêtre glissante de 512 tokens, ce qui allège nettement la charge mémoire sur les longs documents.

Côté contexte, deux chiffres vont ensemble : un plafond validé de 1 048 576 tokens et une limite conseillée de 262 144 tokens au quotidien. Atteindre le plafond exige des drapeaux de service spéciaux, et quatre niveaux d'effort de raisonnement se règlent par requête. Un vocabulaire dédié de 128 000 tokens atteint 4,90 octets par token sur l'allemand, soit 11 % de morceaux en moins que les vocabulaires génériques. Les prérequis de service recoupent exactement la fiche officielle, point par point.

Chiffres et réserves

Le tableau de scores publié par Aleph Alpha impressionne au premier regard : 96,9 % en raisonnement AIME 2025, 96,0 % sur AIME 2026, 84,3 % sur GPQA Diamond, 85,9 % sur LiveCodeBench et 92,7 % sur HumanEval+ pour le code. La comparaison vise les rivaux à poids ouverts de Qwen, Nemotron et Mistral, avec des déclinaisons allemandes incluses. Mais la note critique ne doit pas sauter : tous ces chiffres sortent du harnais du vendeur, sans réplication indépendante à ce jour. Le même tableau admet d'ailleurs des rivaux devant sur les lignes commerce et appels de fonctions.

La vraie cible n'est pas le classement mais les secteurs réglementés : administration publique, industrie et aérospatiale. L'entraînement a tourné sur des infrastructures en Allemagne et en Finlande, sous droit européen ; les données personnelles ont été expurgées avant l'entraînement, et la loi sur l'IA, le code de bonnes pratiques et la protection des données font partie du plan. Un résumé du contenu d'entraînement suit déjà le modèle européen. L'idée est simple : les institutions qui ne peuvent pas externaliser leurs documents sensibles font tourner le modèle dans leurs murs et gardent leur souveraineté sur les données .

Les trois cas d'usage de la vidéo commencent par transformer les données d'engagement des membres en calendrier éditorial : trente jours de visionnage alimentent le modèle, les trois sujets les plus chauds et les trois titres au plus fort décrochage sont repérés, et un plan de quatre semaines en sort. Le deuxième cas est un assistant d'accueil actif jour et nuit ; toute l'archive de tutoriels, les comptes rendus d'appels et les feuilles de route y sont chargés, et un nouveau membre reçoit son plan personnalisé même à minuit. Les deux reposent sur la réponse ancrée : sans preuve dans les documents, le modèle déclare l'information manquante au lieu d'inventer. Le présentateur juge ce principe crucial face aux membres.

Trois cas d'usage et le versant agent

Le troisième cas qualifie les prospects : réponses de formulaires et dossiers clients branchés sur le modèle, et chaque contact reçoit un message de suivi ajusté à sa situation plutôt qu'un texte générique. En dessous tourne l' appel d'outils natif : le modèle dialogue avec les calendriers, les formulaires et les bases, agissant comme un petit agent. Le tableau vendeur lui reconnaît d'ailleurs une nette avance sur la ligne d'assistance bancaire, tout en restant derrière sur l'ensemble des appels de fonctions. Une belle vitrine, donc, sur un front étroit.

Un avertissement honnête s'impose sur l'installation : 3,46 milliards de paramètres actifs semblent peu, mais le fichier entier se charge en mémoire — environ 78 Go en FP8, le double en pleine précision. Le minimum annoncé est de deux accélérateurs de 80 Go ou d'une seule carte H200, B200 ou B300, et le service exige le module vLLM de la maison. Le nom de carte bredouillé dans la vidéo doit s'effacer devant la liste de la fiche officielle. Sans ce matériel, un développeur a ouvert un accès hébergé gratuit au lancement, et d'autres options communautaires devraient suivre.

Comment il fut entraîné, pourquoi cela compte

L'échelle d'entraînement est sérieuse : 768 accélérateurs B200 pendant 21 jours de pré-entraînement sur 20 000 milliards de tokens, puis 3 440 milliards de tokens intermédiaires et une phase de contexte long de 201 milliards. Le billet annonce 200 quand la fiche dit 201 ; la fiche tranche. L'équipe a d'abord validé sa chaîne sur Kolibri Origin, 30 milliards de paramètres, avec des centaines d'essais comparatifs, avant d'y faire passer Kolibri. La part allemande atteint 21,3 % contre 6 % de texte traduit, la donnée allemande organique étant préférée à l'empreinte culturelle de la traduction. Le détail remplit un rapport technique de 189 pages.

Une couche d'entreprise coiffe le tout : selon la synthèse CellCog, la société a signé le 16 septembre un accord de rapprochement avec Cohere, en attente d'approbation réglementaire. Une équipe qui libère des poids ouverts sérieux tout en entrant en consolidation en dit long sur le coût d'une filière IA indépendante en Europe. La même synthèse relève plus d'un millier de téléchargements au premier jour. Et la dernière ligne de la fiche ne doit pas s'oublier : un contrôle humain est requis avant d'agir sur les sorties. En attendant les tests indépendants, le tableau est une promesse et le fichier un fait.