Waymo World Model : la simulation hyper-réaliste au service de la sécurité autonome
Le développement de la conduite autonome repose autant sur les kilomètres parcourus dans le monde réel que sur ceux effectués en simulation. Waymo a récemment franchi un cap en atteignant près de 200 millions de miles en toute autonomie sur les routes publiques. Toutefois, cette statistique ne reflète qu'une partie de l'effort d'entraînement. En coulisses, le système de conduite autonome de Waymo, surnommé le Waymo Driver, parcourt des milliards de miles dans des environnements virtuels pour maîtriser des scénarios complexes bien avant de les rencontrer dans la réalité. C'est dans ce contexte que l'entreprise vient d'introduire le Waymo World Model, un modèle génératif de pointe qui élève le niveau d'exigence en matière de simulation à grande échelle et hyper-réaliste pour la conduite autonome.
Le Waymo World Model est présenté comme l'un des trois piliers fondamentaux de l'approche de Waymo en matière d'intelligence artificielle démontrable et sûre. Il est responsable de la génération d'environnements simulés d'un réalisme saisissant. Ce modèle est construit sur Genie 3, le modèle mondial généraliste le plus avancé de Google DeepMind, conçu pour générer des environnements 3D photoréalistes et interactifs. Waymo a adapté cette technologie aux exigences strictes du domaine de la conduite.
Une connaissance mondiale émergente
La plupart des modèles de simulation utilisés dans l'industrie de la conduite autonome sont entraînés à partir de zéro, en se basant uniquement sur les données collectées sur route. Cette approche limite le système à son propre champ d'expérience. En s'appuyant sur Genie 3, le Waymo World Model bénéficie d'une vaste connaissance du monde, acquise lors d'un pré-entraînement sur un ensemble de vidéos extrêmement vaste et diversifié. Cela permet d'explorer des situations jamais directement observées par la flotte de Waymo.
Grâce à un post-entraînement spécialisé, Waymo transfère cette connaissance mondiale des vidéos 2D vers des sorties lidar 3D, uniques à sa suite matérielle. Si les caméras excellent dans la représentation des détails visuels, les capteurs lidar fournissent des signaux complémentaires précieux, comme la profondeur exacte. Le modèle génère ainsi des scènes avec une fidélité élevée sur plusieurs modalités de capteurs, allant de la conduite quotidienne aux scénarios rares de type "long-tail". Le modèle peut ainsi simuler des conditions météorologiques extrêmes, comme la conduite sur le Golden Gate Bridge sous une légère neige, la rencontre avec une tornade, une rue inondée avec des meubles flottants, ou encore la sortie d'un incendie.
Des scénarios critiques et des objets inattendus
Le Waymo World Model excelle également dans la simulation d'événements rares et critiques pour la sécurité. L'entreprise montre par exemple des simulations où le Waymo Driver doit éviter un conducteur imprudent sortant de la route, un véhicule heurtant des branches d'arbres, un camion en panne bloquant la route dans le mauvais sens, ou encore un véhicule transportant des meubles mal sécurisés.
Plus surprenant, le modèle est capable de générer des rencontres avec des objets atypiques, illustrant la puissance de sa base de connaissances. Les simulations incluent la rencontre avec un éléphant, un longhorn du Texas, un lion, un piéton déguisé en T-rex, ou encore une énorme herbe roulante de la taille d'une voiture. Ces exemples démontrent la capacité du modèle à anticiper l'inattendu.
Une contrôlabilité fine de la simulation
L'un des atouts majeurs du Waymo World Model réside dans sa contrôlabilité, qui s'articule autour de trois mécanismes principaux. Le premier est le contrôle des actions de conduite, qui permet de disposer d'un simulateur réactif obéissant à des entrées spécifiques. Cela autorise la simulation d'événements contrefactuels, par exemple pour vérifier si le Waymo Driver aurait pu conduire de manière plus assurée plutôt que de céder le passage dans une situation donnée. Contrairement aux méthodes de simulation purement reconstructives, le modèle entièrement appris maintient un bon réalisme et une bonne cohérence, même lorsque l'itinéraire simulé diffère considérablement de la conduite d'origine.
Le deuxième mécanisme est le contrôle de la disposition de la scène. Il permet de personnaliser les tracés routiers, les états des feux de signalisation et le comportement des autres usagers de la route. Les ingénieurs peuvent ainsi créer des scénarios personnalisés en plaçant des usagers à des endroits précis ou en modifiant la configuration des routes.
Enfin, le contrôle linguistique offre l'outil le plus flexible. Il permet d'ajuster l'heure de la journée (de l'aube à la nuit) ou les conditions météorologiques (nuageux, brumeux, pluvieux, enneigé, ensoleillé) grâce à de simples invites en langage naturel. Il est même possible de générer une scène entièrement synthétique.
Conversion de vidéos et scalabilité
Le Waymo World Model possède une fonctionnalité notable : la conversion de vidéos de dashcams ou de caméras mobiles en simulations multimodales. Une simple vidéo d'une conduite panoramique peut être transformée pour montrer comment le Waymo Driver percevrait cette scène exacte, offrant un niveau de réalisme et de factualité élevé puisque la simulation dérive d'images réelles.
Pour répondre aux besoins de simulations à grande échelle, Waymo a développé une variante plus efficace de son modèle. Les scènes longues à se dérouler, comme la négociation d'un passage dans une voie étroite, sont plus difficiles à calculer et à maintenir stables. Cette variante efficace permet de simuler des scénarios plus longs avec une réduction drastique de la puissance de calcul, tout en maintenant un haut niveau de réalisme. Cela inclut la navigation sur des autoroutes à trafic rapide ou dans des quartiers animés.
Une préparation rigoureuse pour un déploiement réel
Cette capacité à simuler l'impossible prépare activement le Waymo Driver à faire face à des défis complexes avant même de les rencontrer dans le monde réel. Cette approche crée un référentiel de sécurité plus rigoureux, ce qui est essentiel alors que l'entreprise étend son service à de nouvelles villes. Récemment, Waymo a ouvert son service de transport autonome au public à Nashville, couvrant une zone de 60 miles carrés incluant des lieux emblématiques de la ville, avec des tests en cours à l'aéroport international de Nashville.
Ce déploiement s'appuie sur des données de sécurité solides. Sur la base de plus de 170 millions de miles parcourus, Waymo indique avoir atteint une réduction de 13 fois des accidents impliquant des blessures graves ou pires, ainsi que la même réduction pour les accidents impliquant des blessures de piétons, par rapport aux conducteurs humains. L'entreprise prévoit également de proposer des courses via l'application Lyft à Nashville plus tard cette année, avec Lyft agissant en tant que partenaire de gestion de flotte via Flexdrive.
Alors que Waymo prévoit de lancer ses taxis autonomes sur l'autoroute et d'étendre ses opérations, le Waymo World Model s'impose comme un outil indispensable. Il garantit que l'intelligence artificielle est testée contre une infinité de scénarios, y compris les plus improbables, consolidant ainsi la sécurité et la fiabilité du réseau de transport autonome.
Sources :
