Conception de Systèmes IA Multimodaux

Concevoir des systèmes conversationnels d'IA qui combinent la compréhension de la parole avec la perception visuelle pour des applications d'assistant et d'interface vocales et visuellement conscientes.

Concevez des systèmes d'IA qui fusionnent de manière transparente le texte, la vision, l'audio et les données de capteurs en pipelines multimodaux unifiés pour des applications réelles.

Concevoir des systèmes de modération de contenu alimentés par l'IA qui détectent à grande échelle les contenus nuisibles, violant les règles ou enfreignant les politiques, dans le texte, les images, les vidéos et l'audio.

Concevoir des références et métriques d'évaluation rigoureuses pour les systèmes d'IA multimodaux, garantissant une mesure équitable, reproductible et significative des capacités.

Architecturer et affiner des modèles vision-langage (VLM) pour des tâches telles que le sous-titrage d'images, le question-réponse visuel, la compréhension de documents et le raisonnement ancré.

Concevez des systèmes de perception multimodale pour les agents IA incarnés — robots, drones et systèmes autonomes — intégrant la vision, le langage et les données des capteurs.

Concevoir des systèmes d'IA multimodale pour les soins de santé qui intègrent l'imagerie médicale, les notes cliniques, les données de laboratoire et la génomique pour le soutien au diagnostic et la prise de décision clinique.

Concevez des systèmes de génération augmentée par récupération qui récupèrent et raisonnent sur du texte, des images, des tableaux et des documents pour des applications d'IA à forte intensité de connaissances.

Concevoir, collecter, annoter et contrôler la qualité de jeux de données d'entraînement multimodaux combinant texte, images, audio et vidéo pour le développement de modèles d'IA.

Construisez des systèmes d'IA qui ancrent spatialement et temporellement le langage dans des scènes audio-visuelles pour des applications en robotique, médias et accessibilité.