En 1951, aux laboratoires Bell, le mathématicien Claude Shannon propose un jeu à des volontaires. Il leur montre le début d’une phrase en anglais et leur demande de deviner la lettre suivante, puis la suivante, encore et encore. Dans l’un de ses exemples, sur 129 lettres, 89 sont trouvées du premier coup. Shannon veut mesurer à quel point une langue est prévisible. Soixante-dix ans plus tard, les modèles qui écrivent des réponses à nos questions jouent exactement à ce jeu, avec des morceaux de mots au lieu de lettres, et des centaines de milliards d’exemples au lieu d’une poignée de phrases.
LE DÉCLIC EN IMAGE
Une réponse se construit morceau par morceau
Le modèle utilise le contexte, choisit une suite, puis reprend ce calcul avec le texte enrichi.
Le contexte apporte votre question, les consignes et les informations disponibles.
Le modèle produit une continuation parmi plusieurs possibilités.
Le texte ajouté rejoint le contexte pour préparer la suite.
LES BASESLes bases, si vous découvrez le sujet
- Modèle de langage
- Un programme entraîné sur des exemples pour traiter et produire du texte.
- Token
- Un petit morceau de texte manipulé par le modèle : un mot, une partie de mot ou un signe.
- Contexte
- Les informations dont le modèle dispose pour produire sa réponse, notamment votre message.
Au fil de cette lecture
Deviner la suite, des centaines de milliards de fois
La première phase s’appelle le pré-entraînement. On présente au modèle d’immenses quantités de textes et, à chaque position, on lui demande de prédire le morceau suivant. Quand il se trompe, une procédure modifie légèrement ses paramètres, les nombres qui règlent son calcul, pour améliorer la prédiction suivante. GPT-3, publié en 2020, comptait 175 milliards de paramètres et avait été entraîné sur environ 300 milliards de ces morceaux de texte.
À force de deviner, le modèle absorbe des régularités de grammaire, de style et de contenu : qu’une question appelle une réponse, qu’une recette énumère des ingrédients, que Paris est la capitale de la France. Il en tire des capacités sur des textes qu’il n’a jamais vus. Certaines séquences fréquentes peuvent aussi être retenues presque mot pour mot.
Découper votre phrase en petites unités
Avant tout calcul, le texte est découpé en tokens : un mot courant, un morceau de mot rare, un signe de ponctuation. Chaque token est converti en une liste de nombres que le modèle peut manipuler. Le contexte rassemble tout ce qu’il reçoit pour produire la réponse : votre message, les échanges précédents, des consignes, parfois des documents.
Le sens d’un mot dépend de ses voisins. Dans « une souris grignote » et « une souris se branche », le même mot désigne un animal ou un accessoire. Depuis 2017 et l’architecture Transformer, proposée par une équipe de Google, les modèles s’appuient sur un mécanisme d’attention qui calcule, pour chaque token, quels autres éléments du contexte comptent le plus. Le mot désigne ici une opération de calcul, pas une concentration comparable à la nôtre.
Construire la suite, puis recommencer
Pour écrire, le modèle calcule un score pour chaque token possible, puis transforme ces scores en probabilités. Une règle de tirage en choisit un, qui rejoint le contexte, et tout recommence. Une réponse de trois cents mots résulte ainsi de plusieurs centaines de tours de ce manège.
Après « Dans le jardin pousse un… », plusieurs suites conviennent : rosier, cerisier, potager. Un réglage de génération décide s’il faut toujours prendre la plus probable, ce qui donne des textes sûrs mais répétitifs, ou laisser plus de place aux autres, ce qui varie le style au prix d’écarts plus fréquents. C’est pourquoi la même question peut recevoir deux réponses différentes.
Du devineur à l’assistant : le post-entraînement
Un modèle qui sait seulement prolonger des textes fait un piètre assistant. Prolonger une page n’est pas répondre à une demande : la suite peut être plausible mais inutile, fausse ou blessante. En 2022, une équipe d’OpenAI, dont Long Ouyang est le premier auteur, décrit comment y remédier. L’entreprise engage une quarantaine de personnes, sélectionnées par un test. Elles commencent par rédiger elles-mêmes des réponses modèles à des demandes variées, et le modèle est ajusté pour les imiter.
Vient ensuite le classement. Pour une même demande, le système produit plusieurs réponses, que ces personnes classent de la meilleure à la moins bonne. Un second modèle apprend à prédire ces préférences et sert d’arbitre : le modèle principal génère, l’arbitre note, et les paramètres sont ajustés pour obtenir de meilleures notes. Le résultat frappe : les réponses de ce modèle de 1,3 milliard de paramètres sont préférées à celles de GPT-3, pourtant cent fois plus gros. Les auteurs le précisent eux-mêmes : le système s’aligne ainsi sur les préférences d’un groupe particulier, surtout ces annotateurs et les chercheurs, et non sur une idée générale des valeurs humaines.
Ce que la fluidité ne garantit pas
Ces deux entraînements récompensent des textes plausibles et appréciés. Aucun ne branche le modèle sur une vérification des faits. Les auteurs de 2022 notent d’ailleurs que leur modèle commet encore des erreurs simples. Une référence inventée peut avoir la forme parfaite d’une vraie citation, parce que c’est la forme qui a été apprise.
Certains systèmes vont chercher des documents au moment de répondre, ou lancent un calcul, ce qui leur fournit un appui extérieur. Sans cela, la réponse sort tout entière de la mécanique décrite ici. Shannon estimait la redondance de l’anglais littéraire à environ 75 % : une large part de chaque texte est dictée par ce qui précède. Les modèles de langage ont appris à exploiter cette part prévisible avec une virtuosité inédite ; l’exactitude d’un fait, elle, ne se devine pas toujours à partir des mots qui l’entourent.
Ce qu’on garde en tête.
- Le pré-entraînement apprend à prédire le morceau de texte suivant : GPT-3 y a ajusté 175 milliards de paramètres sur environ 300 milliards de tokens.
- Le post-entraînement transforme ce devineur en assistant, à partir de réponses rédigées et de classements faits par des personnes.
- Une réponse est construite token par token selon des probabilités : sa fluidité ne garantit ni l’exactitude ni la consultation d’une source.
Ce que l’on sait. Ce qui reste ouvert.
L’article présente le principe général des modèles de langage ; les chiffres cités concernent des modèles publiés en 2020 et 2022, et les systèmes actuels peuvent être entraînés autrement. Une réponse plausible peut contenir des erreurs. Les exemples interactifs du site sont préparés à l’avance : aucun modèle conversationnel n’est connecté.
LE DÉCLIC / À VOUS DE VOIR
Le contexte ouvre des suites.
Exemple éditorial composé, découpé en mots pour rester lisible. Ce ne sont pas les sorties d’un modèle. Un vrai token peut être plus court qu’un mot.
UN PETIT DÉCLIC POUR LA ROUTE
Qu’ajoute-t-on à un modèle qui prédit la suite des textes pour en faire un assistant qui suit les consignes ?
Remonter à la source.
- Prediction and Entropy of Printed EnglishClaude Shannon · Bell System Technical Journal, 1951 · Article historique, anglais↗
- Language Models are Few-Shot LearnersBrown et al. · 2020 · GPT-3, article en anglais↗
- Attention Is All You NeedVaswani et al. · 2017 · Architecture Transformer, article en anglais↗
- Training language models to follow instructions with human feedbackOuyang et al. · 2022 · Post-entraînement, article en anglais↗
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al. · 2020 · Recherche documentaire et génération, anglais↗
Sources consultées le 9 octobre 2026. Rédaction assistée par IA, sans relecture indépendante d’expert à ce stade.
Signaler une erreur ou proposer une précision