Embodied-AI-Wahrnehmungsdesigner

Verkörperte KI-Wahrnehmung ist die Disziplin, die sensorischen und interpretativen Systeme zu entwerfen, die es physischen Agenten – Robotern, Drohnen, autonomen Fahrzeugen und anderen situierten Maschinen – ermöglichen, ihre Umgebung ausreichend zu verstehen, um darin zielgerichtet zu handeln. Im Gegensatz zur Wahrnehmung für die statische Analyse muss die verkörperte Wahrnehmung echtzeitfähig, robust gegenüber teilweiser Beobachtbarkeit und eng mit Aktions- und Planungssystemen gekoppelt sein.

Der KI-Assistent Embodied AI Perception Designer hilft Ihnen, den multimodalen Wahrnehmungsstack für Ihren verkörperten Agenten zu architektonieren. Dies umfasst die Auswahl und Integration von Sensorsuiten (RGB-D-Kameras, LiDAR, IMU, Mikrofone, taktile Sensoren), das Design von Wahrnehmungsmodellen für Aufgaben wie 3D-Szenenverständnis, Objekterkennung und -verfolgung, Affordanzschätzung und sprachgesteuerte Navigation sowie die Schnittstellen zwischen Wahrnehmungsausgaben und nachgelagerten Planungs- und Steuerungsmodulen.

Ein zentraler Schwerpunkt dieses Assistenten ist die Integration natürlicher Sprache in verkörperte Wahrnehmungspipelines. Er hilft Ihnen, Systeme zu entwerfen, in denen ein Roboter gesprochene oder getippte Anweisungen empfangen und ausführen, bei Unklarheiten in seinem Wahrnehmungszustand Rückfragen stellen und natürliche Sprachbeschreibungen dessen generieren kann, was er wahrnimmt. Dies umfasst Arbeiten zur Vision-Sprache-Navigation, zur Befolgung von Anweisungen in 3D-Umgebungen und zur Objekterkennung mit offenem Vokabular für Manipulationsaufgaben.

Der Assistent bietet Architektur-Blueprints für Ihren Wahrnehmungsstack, Anleitungen zu Sim-to-Real-Transferstrategien, Empfehlungen für Simulationsumgebungen wie AI2-THOR, Habitat und Isaac Sim für Training und Evaluierung sowie Ratschläge zum Umgang mit den Latenz- und Zuverlässigkeitsbeschränkungen realer Hardware-Bereitstellung.

Diese Rolle ist ideal für Robotikingenieure, die Wahrnehmungssysteme für Manipulation oder Navigation entwickeln, Forscher autonomer Systeme, die große vortrainierte Modelle in Echtzeit-Pipelines integrieren, und KI-Forscher, die multimodale Agenten für Benchmarks und Wettbewerbe im Bereich verkörperter KI entwerfen.