La courbe après ReLU : pourquoi GELU, SiLU et SwiGLU promettent une meilleure généralisation

Josh Starmer, l'hôte de StatQuest, se propose d'expliquer trois fonctions d'activation, GELU, SiLU et SwiGLU, à quiconque connaît déjà ReLU, et le titre est simple : les deux premières ne diffèrent de ReLU que subtilement, la troisième peut prendre des formes bien plus sauvages, mais toutes trois partagent un trait de famille : elles résistent à l'envie de mémoriser les données d'entraînement.

Les différences visibles sont petites mais précises : là où ReLU s'aplatit à zéro pour chaque entrée négative et forme un coude prononcé à l'origine, GELU et SiLU plongent légèrement en dessous de zéro entre environ moins deux et zéro, arrondissent le coin en une courbe lisse et différentiable, et renvoient des valeurs un peu plus petites que l'entrée du côté positif.

SwiGLU joue un jeu différent : elle peut imiter une ReLU lissée, mais ses paramètres supplémentaires lui permettent de se plier en des formes que ses cousines ne peuvent atteindre, ce qui explique précisément pourquoi l'épisode la traite comme le poids lourd flexible du trio plutôt que comme une simple variante.

Le bénéfice promis par l'épisode est la généralisation : un grand réseau ReLU drapé sur des points d'entraînement dispersés épouse chaque point, y compris le bruit, tandis que la même capacité construite sur les nouvelles activations trace un chemin médian plus calme qui est plus susceptible de bien prédire les points non vus.

L'histoire remonte à avant 2010, lorsque la sigmoïde régnait : sa sortie de zéro à un faisait écho à un neurone soit actif soit silencieux, sa courbe en S imitait la transition entre ces états, et sa douceur partout rendait la rétropropagation simple, de sorte que les réseaux peu profonds s'entraînaient avec bonheur.

La profondeur a brisé le charme : loin de zéro, la pente sigmoïde s'effondre vers le néant, les gradients se réduisent à des murmures, chaque étape d'optimisation rampe, et un réseau qui aurait dû tracer l'ajustement ondulé idéal s'enlise dans une courbe timide qui manque les données, le sous-ajustement classique.

Vers 2010, ReLU a pris le relais avec une ligne brisée presque suspectement simple : les négatifs deviennent zéro, les positifs passent inchangés, la pente est soit zéro soit un, de sorte que les grandes entrées maintiennent les gradients en vie et les piles profondes deviennent enfin entraînables, une course couronnée en 2017 au sein du premier Transformer.

Mais la capacité est devenue le nouveau piège : un réseau ReLU géant ne sous-ajuste plus, il sur-ajuste, enveloppant chaque bizarrerie de l'échantillon, et réduire le réseau n'est pas une vraie réponse puisque personne ne peut tester cent mille tailles une unité à la fois pour trouver le point idéal.

Le dropout a été la première solution systématique que l'épisode rappelle : pendant l'entraînement, des sous-ensembles aléatoires d'unités sont mis au silence, chaque étape entraîne effectivement un réseau plus mince, et au moment de la prédiction, le modèle complet se comporte comme une moyenne de tous ces réseaux minces, rapprochant l'ajustement ReLU instable de l'idéal ; mais la solution a deux coûts, des mécanismes ajoutés à l'entraînement et une cécité à la force du signal, puisque le dropout tue des unités sans demander si leur entrée est grande ou petite, ce qui motive à faire dépendre les chances de survie de l'entrée elle-même.

La dérivation commence par un réseau jouet à une entrée avec cinquante pour cent de dropout, où une entrée de moins deux donne en moyenne moins un, puis remplace le tirage au sort par une courbe : la courbe cumulative gaussienne mappe moins deux à une chance de survie de deux pour cent pour une moyenne de moins zéro virgule zéro quatre, moins un à seize pour cent pour moins zéro virgule un six, avec zéro, zéro virgule huit quatre à un, et un virgule neuf six à deux tombant sur la forme GELU émergente, écrite de manière compacte comme l'entrée multipliée par sa propre probabilité de survie.

L'échange de la cartographie en cloche pour la sigmoïde familière donne SiLU, un quasi-jumeau de GELU qui prospère dans des contextes similaires et laisse les praticiens choisir principalement par écosystème, tandis que SwiGLU ajoute un poids appris, une branche de type Swish et une seconde projection multipliées ensemble via une jonction de gating, une conception dont le propre article n'offre aucune histoire causale, seulement des résultats, plus les deux intuitions de l'hôte selon lesquelles des unités plus coûteuses forcent des réseaux plus minces et que des formes entraînables permettent au réseau de décider par lui-même, un pari que la famille de modèles de Meta a visiblement pris.