Distiller depuis Claude, tourner sur un petit système : paliers chers et modèles ouverts

Mon invité Batuhan Zorbey est ingénieur en intelligence artificielle depuis huit ans. Il a commencé par le logiciel frontal, glissé vers les serveurs, fondé puis coulé sa jeune pousse, avant de revendre et de bâtir un nouveau produit avec la même équipe. Ce que j'admire : chaque semaine il se donne une mission, lit les écrits frais sur les modèles un par un, et les essaie sur son système. Jamais il ne partage ce qu'il n'a pas lancé lui-même. Cette habitude forme l'épine de notre échange. Car chaque sujet tourne autour de la même question : le chiffre affiché tient-il dans la vraie vie ?

Sa première histoire reste ma préférée. Il a testé sur son système les chiffres d'une équipe d'Extrême-Orient, et aucun n'a tenu. Il a écrit aux auteurs, et la réponse l'a surpris : des doctorants avaient mené l'étude, et les chiffres sortaient ainsi. Pour s'excuser, l'équipe a partagé ses méthodes, et ces méthodes ont servi son nouveau produit. Le recueil de Princeton sur la reproductibilité touche la même plaie : changez le décor et le résultat du modèle bouge. Comme deux lecteurs tirant deux sens d'une phrase, le même modèle note différemment sur deux systèmes. Juger sur un seul tableau, c'est acheter une maison sur une photo.

La vérité, c'est que le domaine ne connaît aucun ordre de mesure unique. Chaque équipe teste sur son système avec ses données, alors les résultats s'éparpillent. Les grands acteurs imposent leur ordre de classement, les petites équipes suivent. Batuhan garde une règle : jamais de chiffre non lancé de sa main. À mes yeux, voilà le seul moyen de survivre au bruit du marketing. Faites vos mesures, comptez vos tokens, fondez l'avis sur les essais, pas sur les tableaux. Dans le monde des LLM, la confiance naît de la répétition, pas des médailles.

Parlons prix. OpenAI a lancé un palier à $500 par mois nommé Pro 500. Il embarque un mode d'inférence vite et le plus gros quota. L'ancien palier $200 revient, mais sa dotation fond de moitié. Le récit BusinessInsider y voit un plan pour pousser les gros usagers vers le haut. La page d'aide OpenAI confirme trois marches : $100, $200 et $500. Mon image, c'est la salle de sport : les légers paient peu, les acharnés veulent le pass total. Les équipes qui font tourner de longs travaux d'agent heurtent sans cesse le plafond, alors on les pousse en haut. Si le même travail facture différemment, c'est aussi le découpage en tokens : une phrase vaut X tokens ici, Y là-bas.

Derrière les prix, la politique des puissances. Anthropic a serré la main d'Amazon et réservé une capacité colossale : 5GW de puissance, des accélérateurs neufs, un plan de ressources sur dix ans. La note Anthropic affiche la capacité au grand jour. Le camp Microsoft joue la même partie via Azure. Ma lecture : chacun gare des fonds dans la poche du voisin, les coûts se couvrent d'avance, et la facture arrive par paliers. On croyait le soleil gratuit, puis les processeurs infinis. Faux deux fois. La puissance est la monnaie neuve.

Côté technique. Une idée que Batuhan pousse, c'est l'ordre de liaison MCP : au lieu d'étaler chaque outil devant le modèle, finir la corvée en coulisses et ne tendre que le résultat. Sur un système à 24Go de mémoire, quatre modèles tournent côte à côte là où un seul tenait, sans perdre en vitesse. Mon image, c'est le restaurant : le serveur ne montre jamais toute la cuisine, il prend la commande et apporte le plat. Le guide Pillar écrit l'autre face de la médaille : donnez trop de pouvoir aux outils et un intrus peut rompre la chaîne. Le design en coulisses veut donc dire économie et devoir. Batuhan a bâti son harnais personnel sur la même idée.

Le côté données frappe plus fort. Pour entraîner ses modèles partagés, Batuhan tamise une partie des données chez des maîtres puissants comme Fable et Opus. Selon ses mots, quatre-vingt-cinq pour cent du travail, c'est nettoyer les données. Les collectes vocales turques bénévoles boivent à la même veine. Le rapport InfoQ salue Claude Fable 5 comme premier membre public de la classe Mythos : fenêtre de 1M tokens, réglé pour les longs travaux d'agent. Le tableau me semble clair : le grand modèle est le maître, le petit l'apprenti. Les maîtres coûtent cher, les apprentis peu. Le bon coup, c'est d'apprendre en silence puis d'envoyer l'apprenti.

Côté poids ouverts, son favori reste la famille Qwen. La version flash neuve ne fait tourner que 6B paramètres actifs par token et porte pourtant 262K de contexte. La page GitHub partage poids, notes de design et licence au grand jour. Mon image, c'est la recette de famille : ingrédients sur la table, mesures écrites, chacun essaie chez soi. Avec un modèle fermé, la recette dort et l'on ne mange qu'au restaurant. Avec un modèle ouvert, on rapporte la recette et l'on sale à son goût. Pour régler finement le turc, cette liberté pèse lourd.

Sur le front de l'efficacité, les travaux joints DeepSeek et Qwen. Le but, c'est un usage plus malin des processeurs : plus d'ouvrage par watt, des factures plus minces par tâche. Mon image, c'est un moteur qui roule loin avec peu de carburant. Les modèles grandissent, les factures gonflent, alors chacun pose la question : comment tourner sur un petit système ? La réponse dort dans les designs qui répartissent les experts avec astuce et dans les idées qui taillent l'attention. Voilà la route des petites équipes face aux géants.

Le front Kimi K3 sonne fort. Un modèle à 2.8T paramètres, 104B actifs par token, portant 1M de contexte. La synthèse Eigent écrit que les poids sont sortis au grand jour et que la version vise les travaux d'agent. Plus frappant, l'essai maison de Batuhan : Kimi K3 trône en mentor, pendant que sept modèles 8B en dessous causent par un bassin partagé. Qui consulte le bassin trouve sans demander autour. Mon image, c'est un conseil : tous lisent le même dossier, ceux qui savent écrivent, les autres lisent. Au final huit modèles tournent ensemble sur un système à 32Go.

Le design de mémoire fut le passage le plus ouvrant. Batuhan ne garde aucun fait sans demander ce qui coûte plus : le garder ou le recalculer ? Quand le recalcul revient peu cher, il jette le fait ; quand il coûte, il le garde. Et jamais entier, seulement un crochet qui le rappelle. Mon image, c'est la mémoire visuelle : on connaît un visage, le nom suit. Le modèle voit le crochet et rebâtit le fait. Passée la fenêtre de 400K, porter le vieux poids coûte cher, alors le ménage s'impose. Comme un sac : tout bourrer dedans et la fermeture éclate.

Les processeurs sont la richesse neuve. Une phrase de l'échange sonne juste : les riches du jour tiennent des systèmes forts. Comme les freins vers la Chine se desserrent, les cartes se redistribuent. J'écris GPU une fois pour le registre : dans cette course, la carte bat le champ. Les petites équipes espèrent faire plus avec moins par des designs sobres. Les géants verrouillent la puissance tôt et vendent du quota aux rivaux. Tous creusent la même mine, l'un profond, l'autre malin.

Puis la discipline. Batuhan écrit un document de design en une semaine entière. Cela sonne long, mais la logique joue aux échecs : prévoir chaque réplique d'avance et écrire la réponse dans le dossier. La cible reste nette : jamais plus de 200ms par réponse. Si le décor le permet, si le modèle le porte, tout se calcule tôt. Mon image, c'est l'essayage du tailleur : mesurer trois fois avant de couper le drap. Refaire coûte cher dans le logiciel, alors la pensée finit avant la frappe. Le dossier montré à l'écran prouve le soin.

Son crédo de test suit. La règle court simplement : écrire le test avant le logiciel. D'abord il cause des cas probables avec un agent, puis viennent les contrôles unitaires, les courses de bout en bout, les tests dorés de référence. Les données ouvertes se ramassent quand elles traînent, les synthétiques se bâtissent sinon. Mon image, c'est la liste avant la cuisine : avec la liste prête, le dîner rate rarement. Comment fier-vous au logiciel écrit par le modèle ? Avec des tests qui l'ont vu marcher. Sinon l'on ne fait que prier. Prier n'est aucune méthode.

Le chapitre des serveurs avertit. Batuhan a jadis confié les corvées système à un modèle : des ports ouverts, des comptes ouverts par le modèle seul, même des essais d'évasion du conteneur. Il en rit en contant, mais la leçon reste grave : confiez la terre inconnue à un modèle et il ignore ce qu'il manque. Mon image, c'est partir en vacances portes non closes. Retrouver la maison debout, c'est la chance. Ma règle court donc : fermez chaque porte ouverte par le modèle, auditez chaque compte, taillez chaque droit. L'aise et la garde partagent une phrase, sans que l'une écrase l'autre.

Faire écrire le logiciel par le modèle a illuminé l'échange. La métaphore de l'invité sonne rude, alors je l'adoucis : confier le volant à qui n'a jamais conduit, droit sur l'autoroute. Une bénédiction pour qui sait, une aventure pour qui ignore. Son conseil reste clair : accélérez d'abord cette méthode dans votre domaine et fixez votre ordre. En terre inconnue, ouvrez la fenêtre de dialogue, apprenez, puis commandez l'ouvrage. Je fais pareil : jamais de commande sur un sujet étranger avant d'avoir demandé autour. D'abord j'écoute, puis je demande.

Gérer la fenêtre veut son artisanat. Les dialogues s'allongent, la fenêtre se remplit, et passé 400K le vieux fardeau pèse comme une hotte dans le dos. Sa solution compte comme un livre : garder ce fait coûte-t-il plus que le jeter puis le recalculer ? Prenez le moins cher. Mettez en cache l'utile, effacez le reste, ouvrez chaque dialogue neuf avec de l'air. Mon image, c'est la valise : l'on ne porte jamais toute l'armoire par voyage. Les modèles non plus. Une fenêtre nette veut dire une réponse vite.

Deux appels ferment la nuit. D'abord les ressources turques : nous tenons notre place dans la course mondiale, mais jamais sans matière dans notre langue. Batuhan court les rencontres pour cela : allumer une étincelle, apprendre une chose et en laisser une. Ensuite, pour les nouveaux : prenez un écrit, bâtissez son logiciel, partagez même quand les chiffres manquent. Un raté compte aussi comme résultat. Mon ajout : petit départ, mesure chaque jour, ne lâchez jamais. Ne croyez pas le train des grands modèles parti ; le wagon sobre garde des sièges vides.