Le choix des tokens
Avec l’échantillonnage, plusieurs tokens plausibles peuvent être tirés selon leur probabilité.
Une demande, plusieurs chemins
Une IA générative ne récite pas nécessairement une réponse enregistrée. Elle construit sa réponse étape par étape parmi plusieurs suites possibles.
« Pour mieux comprendre… »
Le laboratoire des réponses
La démonstration est illustrative : elle montre le principe sans appeler une IA réelle.
Demande« Trouve un titre pour une initiation à l’intelligence artificielle. »
Quatre causes principales
Avec l’échantillonnage, plusieurs tokens plausibles peuvent être tirés selon leur probabilité.
Un message précédent, une préférence ou un document retrouvé peut orienter la réponse.
Température, top-p, longueur et stratégie de décodage changent les possibilités retenues.
Une mise à jour du modèle, des instructions internes ou des outils connectés peut modifier le résultat.
Le thermostat n’est qu’une image
Dans les systèmes qui exposent ce réglage, une température basse concentre davantage le choix sur les tokens les mieux classés. Une température plus haute répartit davantage les chances entre plusieurs possibilités.
Une température basse peut rendre un texte plus stable sans le rendre exact. Une erreur très probable peut simplement être répétée avec assurance.
Le bon réglage dépend de la tâche et tous les services ne le rendent pas accessible.
Choisir selon le besoin
Tester proprement
Gardez exactement la même consigne.
Un mot différent peut modifier le résultat.
Conservez le même contexte.
Historique et documents doivent rester identiques.
Notez le modèle et sa version.
Une mise à jour peut changer le comportement.
Fixez les réglages disponibles.
Température, top-p, longueur ou graine lorsqu’ils existent.
Répétez plusieurs fois.
Un seul essai ne mesure pas la stabilité.
Évaluez avec des critères précis.
Exactitude, format, sources et informations manquantes.
Quatre idées à corriger
Plusieurs formulations ou démarches peuvent être valables.
Le comportement exact dépend du système et peut évoluer avec son infrastructure ou sa version.
Une erreur commune peut apparaître de façon très stable.
Choisir la réponse qui nous plaît augmente le risque de confirmer notre propre idée.
Sources de référence
Ces documentations expliquent comment les stratégies de génération sélectionnent les tokens et comment les principaux réglages influencent les sorties.
Pour mieux comparer
Comprendre une notion
Une étape courte et clairement reliée à ce que vous venez de lire.