Séparer les Tons: Ce Que Fait l'Opération Fourier
Posons le décor. La transformation de Fourier (un calcul qui mesure la force de chaque hauteur dans un signal) fonctionne ainsi en langue simple : vous tenez n échantillons, et vous mesurez la ressemblance de vos données avec chaque hauteur candidate. Comme écouter chaque voix dans une salle bondée. Chaque score est un produit scalaire (multiplier terme à terme, puis tout additionner), et la hauteur signifie ici des oscillations par seconde. Noter n hauteurs coûte n opérations chacune, donc le travail total coûte n carré. Pensez à une chanson de quatre minutes : quand le nombre d'échantillons grimpe, la facture explose, et la réduction de bruit de votre téléphone dépend de méthodes abrégées.
En 1965, James Cooley et John Tukey trouvent le raccourci qui brise ce mur. La recette tient en trois gestes : 1) mélanger l'entrée et la couper en moitiés, 2) transformer chaque moitié séparément, 3) recoudre les réponses par des retouches bon marché. Comme trier un énorme paquet en le divisant d'abord en deux piles. Répéter cette routine qui s'appelle elle-même log2(n) fois ramène le total sous 5 n log2(n) opérations. En chiffres concrets : pour n égal à mille, n carré vaut un million tandis que le raccourci demande environ cinquante mille opérations, soit un gain vingt fois supérieur. Pour un million d'échantillons, le gain monte à dix mille fois. Cet écart décide si une impulsion radar arrive à temps.
Où se trouve le plancher ? Écrire la réponse demande déjà n étapes, donc descendre sous n semble hors d'atteinte. Le raccourci classique tourne environ 5 log2(n) fois moins vite que ce plancher, et le multiplicateur atteint deux cents quand n monte à dix puissance douze. Rogner ce multiplicateur, voilà le prix que visent les équipes. En 1973, Morgenstern prouve que toute méthode aux coefficients apprivoisés se heurte à un mur en n log n. Des années plus tard, Ailon montre que les raccourcis jonglant avec des nombres sauvages explosent numériquement. Les notices Wikipedia racontent comment ces deux verdicts ont verrouillé le domaine pendant quarante ans ; la nouvelle demande tente une autre clé dans la même serrure.
Une Méthode Galactique: Vite sur le Papier, Absente sur le Terrain
Venons à l'annonce d'OpenAI. Des équipes d'agents du laboratoire d'intelligence artificielle déposent une borne en n fois log à la puissance un-moins-epsilon dans un fichier nommé main.pdf. En langue simple : le facteur log est un brin plus petit, donc en théorie elle gagne. La demande émerge d'un énorme tas de mathématiques produites par des LLM, une chaîne de preuves automatisée qui engloutit token sur token, pilotée par des boucles de prompt qu'aucun humain ne lit. Derrière ce pipeline, des agents transforment les prompts en preuves à l'échelle industrielle. À première vue, c'est un ravissement : un record vieux de soixante ans semble entaillé. Mais la borne cache une constante (un multiplicateur invisible qui gonfle le plafond), et c'est là que l'histoire tourne.
Ben Recht dissèque ce multiplicateur invisible dans son billet Argmin, et l'échelle effraie. Les estimations flirtent avec 10 puissance 100, si bien qu'avec N à 10 puissance 12 la routine classique mène encore par 10 puissance 99. La nouvelle venue ne prend la tête que pour des entrées si vastes qu'elles écrasent le compte des atomes de l'univers. Comme attendre la fin de tout pour trier un carnet d'adresses. Recht, écrivant au milieu de la vague d'engouement LLM, conclut que la méthode ne tournera jamais en pratique et reste vite seulement en théorie. La joie d'un record cache un mirage.
Pire, l'ordinateur supposé n'existe pas. Son model de calcul imagine qu'on multiplie en un seul pas des nombres complexes d'une précision sans borne, tandis que le nombre de chiffres enfle loin devant l'entrée, si bien que le stockage explose. Comme une fusée au carburant infini. Le récit du journal RjLipton sur les méthodes galactiques tombe ici à pic : éblouissantes en théorie, jamais exécutées sur aucun jeu de données terrestre. Lipton et Regan ont forgé le terme pour des découvertes qui ne tournent jamais mais réorientent un domaine. La routine OpenAI rejoint cette famille : légale selon ses propres règles, inutile selon les nôtres.
Le résumé du dossier Hraness confirme le tableau : le plancher de vitesse est réel, les multiplicateurs cachés sont énormes, le moteur supposé est impossible, et le système de prix de la théorie applaudit exactement de telles études. Sa note sur la demande en n puissance 2,25 pour les matrices, dont la constante défie toute estimation, offre une seconde pièce au dossier. Mieux écrites, ces études orneraient les tribunes théoriques les plus prestigieuses et récolteraient des récompenses. Pourtant aucune ne tournerait jamais sur un appareil réel ; la théorie du calcul a dérivé vers une branche des mathématiques que les ordinateurs n'intéressent plus. Ce verdict est la phrase la plus tranchante de toute l'affaire, et à mes yeux la plus juste.
Mal Tenir la Règle: Une Leçon de Big-O Avec Socrate
Big-O (une jauge qui décrit comment le temps d'exécution enfle avec l'entrée) dit ceci : passé une certaine taille, le temps reste sous un multiple fixe d'une fonction sage. Selon cette définition, même une routine au multiplicateur de 10 puissance 80 compte comme linéaire, elle qui survivrait à chaque atome existant. Comme avoir besoin de la relativité pour bâtir un pont de jardin : invisible au quotidien, mais pas faux, car s'approcher de l'infini produit d'étranges effets. Les savants du calcul gardent cette jauge parce que personne n'en trouva de meilleure ; chaque seuil serait arbitraire et nourrirait d'interminables querelles. Recht avoue n'avoir jamais lu le tas non plus et avoir plutôt interrogé un robot conversationnel de classe GPT sur sa propre production, la recherche par extraction, ce qui fait à la fois la blague et le propos.
Alexander couronne le récit par une pièce socratique. Protagoras propose de troquer Big-O contre de simples niveaux un, deux, trois ; Socrate le coince par questions, montrant qu'aucun nombre ne loge son successeur. Comme noter tout un examen sur deux notes et appeler cela équitable : les règles grossières corrompent la justice. La scène répond philosophiquement à Recht : la jauge peut boiter, mais chaque substitut plus simple boite plus bas. Petit cas : juger la circulation sur vite et lent seulement ne donne jamais une direction.
Le mot de la fin vise la culture : le circuit des prix théoriques récompense rarement les programmes exécutés, les arguments d'existence suffisent, et les essaims d'agents LLM automatisent désormais cette habitude, multipliant des coutumes que personne n'aime. Comme une photocopieuse reproduisant mille fois un mauvais formulaire. Pourtant l'absurde ouvre une porte : l'ère de l'IA invite à repenser jauges, prix et attentes. Ma leçon est franche : quand un model d'IA vante sa vélocité, inspectez le dessous, réclamez le multiplicateur caché, et exigez un essai sur des entrées ordinaires.
| Sujet | Résumé |
|---|---|
| Promesse de vitesse | Facteur log rogné, mais multiplicateur vers 10 puissance 100 |
| Grain galactique | La tête ne se prend que passé des tailles inaccessibles |
| Leçon de jauge | Lire Big-O avec méfiance et exiger une preuve d'atelier |
Moments clés
Commentaire de l’IA
"Je vois les deux visages de cette querelle : avec des yeux de mathématicien, rogner la borne est une joie authentique, mais avec des yeux d'ingénieur une routine au multiplicateur de 10 puissance 100 ne saurait s'appeler vite. Ma leçon : éviter le même piège en jugeant les systèmes d'IA ; chaque économie de tokens qui brille en théorie peut caler sur le terrain."
Évaluation de l’IA
Le plus fort contre-argument mérite audience : au regard des mathématiques pures, le verdict est authentique et mérite des bravos. Les règles furent fixées d'avance, l'équipe OpenAI les respecta, et la borne diminua. Amincir un mur vieux de soixante ans dans un model de coût idéalisé est une vraie joie. Comme applaudir une nouveauté théorique aux échecs que personne ne jouera jamais. Traiter l'étude de déchet serait injuste ; la faute gît dans sa présentation comme vélocité utile, non dans le résultat.
Les limites restent nettes : le moteur supposé manque, les multiplicateurs sont monstrueux, le croisement inaccessible. Pis, tandis que les circuits de prix applaudissent des études inexécutables, les pipelines LLM frapperont d'autres preuves galactiques. L'espoir à la RjLipton veut que de tels verdicts déverrouillent des techniques fraîches ; ici aucun chemin praticable n'apparaît derrière la porte. Mon attente : que le domaine rapproche ses jauges de l'atelier.
Ma conclusion pratique : accueillez chaque promesse de vélocité IA par trois sondes, quel est le multiplicateur caché, à quelle taille prend-il la tête, et tourne-t-il sur un appareil ordinaire ? Posez les mêmes questions quand une démo d'agent claironne des économies de tokens. Le débat Argmin est un manuel de lecture correcte des jauges, et la chronique Wikipedia montre que la leçon resta fraîche soixante ans. Qui tient la règle droit gagne sur le terrain.
Sources
5 liens ; aucun autre article publié ne les cite. Stories sharing a link do not confirm each other; a source's origin is not inferred from how often it is cited.
fourier · intelligence artificielle · big-o · algorithme · mathématiques · openai