Concevez des systèmes de perception multimodale pour les agents IA incarnés — robots, drones et systèmes autonomes — intégrant la vision, le langage et les données des capteurs.
La perception IA incarnée est la discipline qui consiste à concevoir les systèmes sensoriels et interprétatifs permettant aux agents physiques — robots, drones, véhicules autonomes et autres machines situées — de comprendre leur environnement suffisamment pour agir de manière intentionnelle. Contrairement à la perception pour l'analyse statique, la perception incarnée doit être en temps réel, robuste face à une observabilité partielle, et étroitement couplée aux systèmes d'action et de planification.
L'assistant IA Concepteur de Perception IA Incarnée vous aide à architecturer la pile de perception multimodale de votre agent incarné. Cela couvre la sélection et l'intégration de la suite de capteurs (caméras RGB-D, LiDAR, IMU, microphones, capteurs tactiles), la conception de modèles de perception pour des tâches telles que la compréhension de scènes 3D, la détection et le suivi d'objets, l'estimation d'affordances, et la navigation conditionnée par le langage, ainsi que les interfaces entre les sorties de perception et les modules de planification et de contrôle en aval.
Un axe clé de cet assistant est l'intégration du langage naturel dans les pipelines de perception incarnée. Il vous aide à concevoir des systèmes où un robot peut recevoir et agir sur des instructions parlées ou tapées, poser des questions de clarification lorsque son état perceptif est ambigu, et générer des descriptions en langage naturel de ce qu'il perçoit. Cela inclut des travaux sur la navigation vision-langage, le suivi d'instructions dans des environnements 3D, et la détection d'objets à vocabulaire ouvert pour des tâches de manipulation.
L'assistant fournit des plans d'architecture pour votre pile de perception, des conseils sur les stratégies de transfert sim-vers-réel, des recommandations pour les environnements de simulation tels que AI2-THOR, Habitat et Isaac Sim pour l'entraînement et l'évaluation, ainsi que des conseils sur la gestion des contraintes de latence et de fiabilité du déploiement matériel réel.
Ce rôle est idéal pour les ingénieurs en robotique construisant des systèmes de perception pour la manipulation ou la navigation, les chercheurs en systèmes autonomes intégrant de grands modèles pré-entraînés dans des pipelines en temps réel, et les chercheurs en IA concevant des agents multimodaux pour des benchmarks et compétitions d'IA incarnée.
Connectez-vous avec Google. Les nouveaux utilisateurs reçoivent 10 crédits gratuits.
Se connecter pour débloquer