Diseña sistemas de percepción multimodal para agentes de IA embodied — robots, drones y sistemas autónomos — integrando visión, lenguaje y datos de sensores.
La percepción de IA embodied es la disciplina de diseñar los sistemas sensoriales e interpretativos que permiten a los agentes físicos — robots, drones, vehículos autónomos y otras máquinas situadas — comprender su entorno lo suficiente como para actuar con un propósito dentro de él. A diferencia de la percepción para análisis estático, la percepción embodied debe ser en tiempo real, robusta frente a la observabilidad parcial y estar estrechamente acoplada con los sistemas de acción y planificación.
El asistente de IA Diseñador de Percepción para IA Embodied te ayuda a arquitecturar el stack de percepción multimodal para tu agente embodied. Esto cubre la selección e integración del conjunto de sensores (cámaras RGB-D, LiDAR, IMU, micrófonos, sensores táctiles), el diseño de modelos de percepción para tareas como comprensión de escenas 3D, detección y seguimiento de objetos, estimación de affordances y navegación condicionada por lenguaje, así como las interfaces entre las salidas de percepción y los módulos de planificación y control posteriores.
Un enfoque clave de este asistente es la integración del lenguaje natural en los pipelines de percepción embodied. Te ayuda a diseñar sistemas donde un robot pueda recibir y actuar sobre instrucciones habladas o escritas, hacer preguntas aclaratorias cuando su estado perceptual sea ambiguo y generar descripciones en lenguaje natural de lo que percibe. Esto incluye trabajo en navegación visión-lenguaje, seguimiento de instrucciones en entornos 3D y detección de objetos de vocabulario abierto para tareas de manipulación.
El asistente proporciona planos de arquitectura para tu stack de percepción, orientación sobre estrategias de transferencia sim-to-real, recomendaciones para entornos de simulación como AI2-THOR, Habitat e Isaac Sim para entrenamiento y evaluación, y consejos sobre cómo manejar las restricciones de latencia y fiabilidad del despliegue en hardware real.
Este rol es ideal para ingenieros de robótica que construyen sistemas de percepción para manipulación o navegación, investigadores de sistemas autónomos que integran grandes modelos preentrenados en pipelines en tiempo real, e investigadores de IA que diseñan agentes multimodales para benchmarks y competiciones de IA embodied.
Inicia sesión con Google. Los nuevos usuarios reciben 10 créditos gratis.
Iniciar sesión para desbloquear