Imaginez un robot qui apprend une nouvelle tâche en trois secondes, simplement en vous regardant faire. Pas de programmation, pas de milliers d’exemples, pas de semaines d’entraînement. Vous montrez, il reproduit. Et si la brosse qu’il devait utiliser n’est pas là , il improvise â avec une banane, par exemple.
C’est exactement ce que vient de démontrer Generalist AI, une jeune pousse de Cambridge (Massachusetts), avec la sortie de GEN-1.5, son nouveau modèle de fondation pour robots. Publié le 20 août 2026, le résultat est ce que l’équipe appelle un « moment GPT-3 du monde physique » : pour la première fois, un robot fait preuve d’apprentissage en contexte (in-context learning) pour des tâches physiques, exactement comme les grands modèles de langage l’ont fait pour le texte.
Une vidéo de 3 secondes suffit
Le fonctionnement de GEN-1.5 est simple dans son principe, vertigineux dans ses implications. Le modèle traite en continu 30 secondes de mémoire vidéo, combinées à des données sensorielles, des instructions et des informations proprioceptives (la position de ses propres membres). Si l’on insère dans son contexte une démonstration de 3 à 12 secondes â ce que l’équipe appelle une « invite physique » (physical prompting) â le robot exécute la tâche immédiatement, sans aucun ajustement de poids, sans aucun entraînement supplémentaire.
Sur 10 tâches diverses (fermer une fermeture éclair, ouvrir un pot, attraper un objet dans un portefeuille, etc.), le modèle atteint 59% de succès en moyenne avec l’apprentissage one-shot en contexte. Si l’on ajoute 10 étapes de gradient sur 5 minutes de données (soit environ 50 démonstrations), la performance grimpe à 83%. Ce qui est remarquable, c’est que les 10 étapes de fine-tuning modifient les poids du modèle de moins de 0,15% â ce qui suggère que le réseau ne crée pas de nouvelles représentations, mais reconfigure des connaissances déjà présentes.
La banane qui a fait le tour du web
La démonstration la plus frappante est devenue virale. L’équipe a fine-tuné GEN-1.5 pour balayer un bloc dans un bol en utilisant une brosse. Puis elle a présenté au robot d’autres outils. Avec une banane, le robot a improvisé : il a utilisé le fruit comme une brosse de fortune. Avec une pelle à poussière, il a changé radicalement de stratégie : il a soulevé le bloc avec la pelle et l’a déversé dans le bol. Ni les données de fine-tuning ni, autant que l’équipe puisse le déterminer, les données de pré-entraînement ne contenaient d’exemple d’utilisation d’une pelle à poussière de cette manière.
« Quand nous lui avons donné une pelle, le modèle a composé une séquence de contact entièrement nouvelle pour accomplir la tâche, sans aucune instruction verbale », explique l’équipe. « C’est un niveau d’improvisation que nous n’avions jamais vu chez un robot. »
L’effet GPT-3 du monde physique
La comparaison avec GPT-3 n’est pas anodine. En 2020, GPT-3 a surpris la communauté de l’IA en montrant que les grands modèles de langage pouvaient apprendre une nouvelle tâche à partir de quelques exemples, sans fine-tuning. Personne n’avait conçu explicitement cette capacité : elle était émergente, apparue grâce à l’entraînement à grande échelle. GEN-1.5 reproduit exactement ce phénomène, mais pour le monde physique.
Le modèle fait également preuve de généralisation compositionnelle : si deux invites physiques distinctes sont placées dans sa fenêtre de contexte de 30 secondes, il les enchaîne en une compétence continue plus longue, générant des mouvements de transition (repositionnement, changement de prise, correction d’erreur) qui ne sont présents dans aucune des deux démonstrations. Il peut aussi transférer des compétences de la simulation au monde réel, et même imiter un humain en temps réel : un chercheur montre un geste avec ses propres mains, et le robot le reproduit immédiatement.
Et maintenant ?
Les tâches actuelles restent simples et de courte durée. Mais le principe est établi : l’apprentissage en contexte pour la robotique est possible, et il émerge à l’échelle. La question que l’équipe dit ne pas encore pouvoir répondre est celle de la courbe d’amélioration à mesure que l’entraînement continue de monter en échelle. Si l’analogie avec GPT-3 tient, nous pourrions voir émerger des capacités bien plus impressionnantes dans les prochaines années.
L’implication est profonde : si un robot peut apprendre une nouvelle tâche en regardant une vidéo de 3 secondes, le temps de déploiement utile passe de mois à secondes, et l’expertise nécessaire disparaît. N’importe qui peut montrer au robot ce qu’il faut faire. L’ère des robots qui apprennent en regardant commence maintenant.
Sources
- Generalist AI (20 août 2026). GEN-1.5: Embodied Foundation Models are One-Shot Learners. generalistai.com/blog/gen-1.5
- WIRED (août 2026). I Saw the Future of AI in a Robot That Can Learn on the Spot.
- Humanoids Daily (21 août 2026). Generalist AI Unveils GEN-1.5: One-Shot Robot Learning.
- RobotsBeat (20 août 2026). Generalist AI Launches GEN-1.5.
Mots-clés : robot apprentissage one-shot, GEN-1.5 Generalist AI, robot improvise banane, in-context learning robotique, fondation model robot, Cambridge robot
Titre SEO : Un robot apprend une nouvelle tâche en 3 secondes en regardant une vidéo
Description SEO : GEN-1.5 de Generalist AI apprend une tâche physique en 3 secondes à partir d’une seule vidéo, improvise avec une banane et change de stratégie. L’effet GPT-3 du monde physique.
