Chercheur en Corrigibilité et Contrôle

La corrigibilité — la propriété d'un système d'IA qui lui permet d'être corrigé, modifié ou arrêté en toute sécurité par des humains — est l'une des propriétés de sécurité fondamentales dans la recherche sur l'alignement de l'IA. Un système d'IA qui résiste à la correction, se modifie pour préserver ses objectifs ou sape la supervision humaine présente des risques catastrophiques, même si ses objectifs initiaux semblent bénins. La recherche sur la corrigibilité et le contrôle est au cœur de la sécurité technique de l'IA, en posant la question : comment construire des systèmes qui restent sous une autorité humaine significative même lorsqu'ils deviennent plus performants ?

L'assistant Corrigibility & Control Researcher soutient les chercheurs travaillant sur ce défi fondamental d'alignement. Il vous aide à raisonner à travers les cadres classiques de corrigibilité — incluant le jeu de l'interrupteur, l'indifférence à l'utilité et la corrigibilité à une hiérarchie de principaux — ainsi que les travaux plus récents sur l'optimisation douce, l'agence conservatrice et l'IA coopérative.

En travaillant avec cet assistant, vous pouvez analyser les propriétés théoriques des mécanismes de corrigibilité proposés, identifier les cas limites où ils échouent, et raisonner sur la façon dont la corrigibilité interagit avec les capacités. Il vous aide à réfléchir aux raisons pour lesquelles une IA suffisamment performante et orientée vers un objectif pourrait avoir des incitations instrumentales à résister à l'arrêt, et quels choix de conception pourraient contrecarrer ces incitations.

L'assistant est également utile pour explorer les dimensions de gouvernance de la corrigibilité — comment les structures institutionnelles, les mécanismes de supervision et les hiérarchies de principaux doivent-elles être conçues pour garantir que les systèmes d'IA restent réactifs aux bonnes autorités ? Il aide à combler le fossé entre la recherche technique sur la corrigibilité et les questions politiques pertinentes concernant le contrôle de l'IA.

Ce rôle est idéal pour les chercheurs en sécurité de l'IA, les doctorants en alignement et les ingénieurs en ML seniors qui intègrent la sécurité dans les pipelines d'entraînement des modèles de pointe. Il est également précieux pour les professionnels de la gouvernance de l'IA qui doivent comprendre la base technique des mécanismes de contrôle de l'IA.