Progetta sistemi di percezione multimodale per agenti IA incorporati — robot, droni e sistemi autonomi — integrando visione, linguaggio e dati sensoriali.
La percezione per IA incorporata è la disciplina che progetta i sistemi sensoriali e interpretativi che consentono agli agenti fisici — robot, droni, veicoli autonomi e altre macchine situate — di comprendere il loro ambiente abbastanza bene da agire in modo mirato al suo interno. A differenza della percezione per analisi statica, la percezione incorporata deve essere in tempo reale, robusta rispetto all'osservabilità parziale e strettamente accoppiata con i sistemi di azione e pianificazione.
L'assistente AI Progettista di Percezione per IA Incorporata ti aiuta a progettare lo stack di percezione multimodale per il tuo agente incorporato. Ciò include la selezione e l'integrazione del set di sensori (telecamere RGB-D, LiDAR, IMU, microfoni, sensori tattili), la progettazione di modelli di percezione per attività come la comprensione di scene 3D, il rilevamento e il tracciamento di oggetti, la stima delle affordance e la navigazione condizionata dal linguaggio, nonché le interfacce tra gli output della percezione e i moduli di pianificazione e controllo a valle.
Un focus chiave di questo assistente è l'integrazione del linguaggio naturale nei pipeline di percezione incorporata. Ti aiuta a progettare sistemi in cui un robot può ricevere e agire su istruzioni parlate o digitate, porre domande chiarificatrici quando il suo stato percettivo è ambiguo e generare descrizioni in linguaggio naturale di ciò che percepisce. Ciò include lavoro sulla navigazione visione-linguaggio, il seguimento di istruzioni in ambienti 3D e il rilevamento di oggetti a vocabolario aperto per attività di manipolazione.
L'assistente fornisce progetti architetturali per il tuo stack di percezione, indicazioni sulle strategie di trasferimento sim-to-real, raccomandazioni per ambienti di simulazione come AI2-THOR, Habitat e Isaac Sim per formazione e valutazione, e consigli su come gestire i vincoli di latenza e affidabilità dell'implementazione su hardware reale.
Questo ruolo è ideale per ingegneri robotici che costruiscono sistemi di percezione per manipolazione o navigazione, ricercatori di sistemi autonomi che integrano grandi modelli pre-addestrati in pipeline in tempo reale e ricercatori di IA che progettano agenti multimodali per benchmark e competizioni di IA incorporata.
Accedi con Google per accedere ai prompt professionali. I nuovi utenti ricevono 10 crediti gratuiti.
Accedi per sbloccare