Texte
Les mots sont découpés en unités puis représentés par des nombres.
Plusieurs formes d’information
Qu’est-ce qu’une IA multimodale ?
Une IA multimodale peut traiter plusieurs types d’entrée — texte, image, son ou vidéo — et parfois produire plusieurs types de sortie. Elle cherche des relations entre ces informations, mais ne perçoit pas le monde avec des yeux, des oreilles ou une expérience humaine.
Multimodale ne veut pas dire infailliblePlus d’indices peuvent aider, mais aussi ajouter de nouvelles sources d’erreur.
modèle
Aatexte▧image♪son▶vidéoQuatre situations
Que peut apporter chaque type d’entrée ?
Choisissez un exemple. Le panneau sépare les informations utilisées, la tâche possible et le principal piège.
Une modalité, c’est quoi ?
Chaque forme d’information a son propre traitement
Image
Les pixels deviennent des motifs, contours, zones et relations spatiales.
Audio
L’onde est analysée selon son évolution, ses fréquences et son rythme.
Vidéo
Le système traite des images successives, parfois avec leur piste sonore.
Relier des informations différentes
Des représentations numériques rapprochent les modalités
Une image et sa légende ne se ressemblent pas physiquement. Pour les relier, le modèle transforme chacune en représentations numériques comparables.
Pendant l’entraînement, il apprend par exemple quelles légendes correspondent à quelles images. Des mécanismes d’attention peuvent ensuite mettre en relation certaines zones visuelles, certains instants sonores et certains mots.
Une proximité statistique n’est pas une compréhension complète. Le modèle peut associer correctement « chien » à une forme visuelle tout en se trompant sur la situation, la race ou l’intention de l’animal.
image
⇄textevélo
rouge
devant
des représentations proches, pas des sensations humainesrouge
devant
Entrée et sortie sont deux choses différentes
Recevoir plusieurs formats ne signifie pas tout produire
Décrire ou répondre
Expliquer une photo, lire un graphique ou répondre à une question visuelle.
Transcrire ou résumer
Transformer une parole en texte puis organiser les informations.
Générer un visuel
Créer une image à partir d’une description.
Analyser une séquence
Combiner ce qui est vu, entendu et l’ordre des événements.
Le système ne regarde pas toujours tout
Une longue vidéo peut être échantillonnée
Traiter chaque image d’une vidéo ou chaque milliseconde d’un son peut demander beaucoup de calcul et dépasser la fenêtre de contexte. L’outil peut donc sélectionner des images, compresser l’audio ou découper le document.
Un événement très bref, une note en petits caractères ou une phrase prononcée entre deux extraits peut alors être manqué.
123456789Exemple : seules certaines images sont conservées pour l’analyse.
Plusieurs entrées, plusieurs fragilités
Une erreur peut se propager d’une modalité à l’autre
Un mot est mal transcrit ou un objet mal identifié.
Le système relie l’information au mauvais passage ou au mauvais objet.
Le texte final masque l’erreur initiale par une formulation fluide.
Pour une demande plus fiable
Six réflexes simples
- 01
Indiquez précisément quel fichier ou quelle zone doit être examinée.
- 02
Demandez de distinguer ce qui est visible, audible et déduit.
- 03
Pour un document, exigez les pages ou passages utilisés.
- 04
Pour une vidéo, précisez le moment ou la séquence importante.
- 05
Contrôlez les données personnelles présentes dans tous les fichiers.
- 06
Vérifiez le résultat dans la source originale avant toute décision.
Les limites à garder en tête
Voir et entendre davantage élargit aussi les risques
Une image ou une voix peut révéler un visage, une adresse, un état de santé ou une conversation privée.
Les erreurs du texte, de l’image ou du son peuvent se renforcer mutuellement.
La combinaison de plusieurs signaux peut donner une réponse très détaillée mais toujours incorrecte.
Un document ou une image peut contenir du texte que l’outil interprète comme une consigne inattendue.
Trois idées à corriger
Plus de sens ne signifie pas plus de certitude
Elle traite des représentations numériques et peut manquer le contexte évident pour une personne.
Les informations peuvent être incomplètes, contradictoires ou mal reliées.
Chaque modèle accepte des formats et produit des sorties précises, avec ses propres limites.
Sources techniques
Pour aller à la source
Ces références expliquent les modèles multimodaux, leurs processeurs et l’alignement entre texte et image.
La suite logique
Voyez comment les données deviennent des exemples d’apprentissage.
Comprendre une notion
Gardez le fil de votre apprentissage.
Une étape courte et clairement reliée à ce que vous venez de lire.