Le moteur linguistique de nombreux assistants
Qu’est-ce qu’un LLM ?
Un LLM est un grand réseau de neurones entraîné sur beaucoup de textes pour estimer quels tokens peuvent suivre un contexte. Cette capacité lui permet notamment de rédiger, résumer, traduire et répondre.
LLMLarge Language Model, ou grand modèle de langage.
Le prochain token
Changez le contexte, les probabilités changent
Ces valeurs sont fictives et servent seulement à rendre le principe visible.
Un token après l’autre
La réponse se construit par répétition
Le modèle examine le contexte, calcule des probabilités, sélectionne un token puis recommence avec le nouveau contexte. Des règles de génération influencent aussi le choix.
Un mécanisme simple à décrire, un modèle complexe à entraîner. Ses nombreuses couches ont appris des relations fines entre mots, idées, styles et structures.
- 1
Lire le contexteinstructions, question et tokens précédents
- 2
Calculerune distribution de probabilités
- 3
Choisirun token selon les réglages
- 4
Recommencerjusqu’à la fin de la réponse
Apprendre puis utiliser
L’entraînement et la conversation sont deux moments différents
Pendant le préentraînement, le réseau ajuste ses paramètres sur de très nombreuses séquences. Des étapes complémentaires peuvent ensuite l’aider à suivre des instructions et à produire des réponses plus utiles.
Entraînement
Le modèle corrige progressivement ses prédictions et modifie ses paramètres.
Long, coûteux et réalisé en amont.Inférence
Le modèle utilise ses paramètres pour répondre au contexte actuel.
Votre échange ordinaire ne le réentraîne pas automatiquement.Relier les éléments du contexte
Le Transformer utilise l’attention
Dans l’architecture Transformer, le mécanisme d’auto-attention aide chaque token à pondérer les autres tokens utiles du contexte. Cela permet de relier des éléments éloignés dans une phrase ou un document.
Laclérangéeprèsdeslivresestrouillée« rouillée » se relie surtout à « clé »
Des capacités qui émergent des régularités
Pourquoi un même modèle peut accomplir plusieurs tâches
Rédiger
Continuer un texte dans un ton et un format demandés.
Résumer
Produire une version plus courte d’un contenu fourni.
Traduire
Transformer une séquence en conservant autant que possible son sens.
Classer
Associer un texte à des catégories décrites dans la consigne.
Ces capacités sont impressionnantes, mais leur qualité varie selon le modèle, la langue, la tâche, le contexte et la façon dont le résultat est évalué.
Le modèle n’est pas toute l’application
Un chatbot peut entourer le LLM de plusieurs composants
L’interface de discussion peut ajouter des instructions, une mémoire, une recherche documentaire, des outils, des filtres et des règles de sécurité. Deux services utilisant un modèle proche peuvent donc se comporter différemment.
Ce qu’il ne faut pas lui attribuer
Un texte convaincant n’est pas une preuve de compréhension
La suite la plus plausible peut contenir un fait, un chiffre ou une source faux.
Les données, les réglages et les évaluations humaines influencent ses réponses.
Une information absente, perdue ou mal formulée peut changer le résultat.
Sans source ou outil adapté, une affirmation fluide reste à contrôler.
Choisir ou utiliser un LLM
Six repères plus utiles que le nom du modèle
- 01
Quelle tâche ?
Rédaction, extraction, calcul ou recherche n’exigent pas les mêmes capacités. - 02
Quelle langue ?
Les performances peuvent varier fortement d’une langue à l’autre. - 03
Quel contexte ?
Regardez le volume accepté et la capacité à l’utiliser correctement. - 04
Quelles sources ?
Vérifiez si le service peut retrouver et citer des informations fiables. - 05
Quelles données envoyées ?
Contrôlez conservation, confidentialité et utilisation. - 06
Quel coût réel ?
Qualité, vitesse, énergie et prix doivent correspondre au besoin.
Sources de référence
Pour approfondir
Ces ressources expliquent les tokens, la prédiction, les Transformers et les limites des LLM.
La suite logique
Approfondissez la manière dont le modèle découpe et conserve le contexte.
Comprendre une notion
Gardez le fil de votre apprentissage.
Une étape courte et clairement reliée à ce que vous venez de lire.