Webinaire Grands Challenges Jean Zay 4 : développer la conduite autonome à partir de vidéos internet grâce aux modèles génératifs

Et si une voiture autonome pouvait apprendre en observant simplement des vidéos de conduite disponibles en accès libre sur internet ? Le projet porté notamment par des chercheurs de Sorbonne Université et Valeo explore cette idée radicale : entraîner un modèle de 1,2 milliard de paramètres en utilisant 1 800 heures de dashcams non annotées, sans calibration ni cartes. Cette approche révèle l’importance de l’échelle et ouvre une nouvelle voie vers des systèmes de conduite plus sûrs et accessibles.

En effet, la conduite autonome reste un défi technologique et scientifique majeur, au croisement de l’intelligence artificielle, de la robotique et de la sécurité routière. Depuis plus de dix ans, deux grandes approches dominent : d’un côté, l’apprentissage par renforcement en simulation, où des agents explorent des environnements virtuels comme CARLA (modèle open source de référence) pour apprendre à se déplacer grâce à des signaux de récompense ; de l’autre, l’imitation d’experts humains, où les modèles apprennent à reproduire les décisions de conducteurs réels à partir de grandes bases de données annotées.  Ces stratégies ont permis des avancées considérables, mais elles se heurtent à deux obstacles majeurs. Premièrement, les simulateurs peinent à capturer toute la richesse et la diversité du monde réel, ce qui rend la transition de la simulation vers la route extrêmement difficile. Deuxièmement, les approches basées sur l’imitation nécessitent des données annotées coûteuses : il faut des milliers d’heures de conduite, enrichies de cartes HD, de trajectoires GPS et de détections d’objets. Or, même avec ces efforts, certaines situations rares mais critiques — un piéton qui surgit entre deux voitures, une voiture à contresens, un obstacle soudain — restent très peu représentées dans les jeux de données. Le projet qui vous sera présenté propose une alternative : capitaliser sur les données disponibles et apprendre à conduire à partir de vidéos issues de YouTube.

220 000 heures sur les GPU NVIDIA H100 du supercalculateur Jean Zay ont été utilisées par les équipes de Valeo AI pour mener ce projet innovant. Ces ressources ont été attribuées à ce projet dans le cadre des « Grands Challenges » menés en 2025 sur ce supercalculateur, acquis par GENCI auprès de Bull, hébergé et opéré par l’IDRIS (CNRS).  

Alexandre Boulch (Valeo.ai) et Elias Ramzi (Valeai.ai) vous présenteront ce projet lors du webinaire qui aura lieu le 20 mai prochain, de 15h30 à 16h30.

Pour vous inscrire : https://www.eventbrite.fr/e/grands-challenges-jean-zay-4-la-conduite-au…
 

Dernière modification le 11 mai 2026