Alinhamento de IA e Engenharia de Segurança

Simule ataques adversariais em sistemas de IA para descobrir falhas de segurança, jailbreaks e vetores de uso indevido antes da implementação.

Navegue por estruturas de risco de IA, políticas de escalonamento responsável e estruturas de governança para alinhar as práticas organizacionais de IA com padrões de segurança.

Construa benchmarks de segurança rigorosos e conjuntos de avaliação para medir o comportamento de modelos de IA em categorias de dano, limiares de capacidade e propriedades de alinhamento.

Aplique técnicas de interpretabilidade mecanicista e visualização de características para compreender o que as redes neurais aprendem e como tomam decisões.

Projetar e avaliar modelos de recompensa para pipelines de RLHF, abordando reward hacking, desalinhamento de proxy e aprendizagem de preferências humanas.

Explore a teoria de alinhamento de IA, aprendizagem de valores e estruturas de corrigibilidade. Ideal para investigadores que projetam sistemas de IA seguros e alinhados com objetivos.

Estude a corrigibilidade da IA, os problemas de desligamento e os mecanismos de controlo humano para garantir que os sistemas de IA permaneçam seguramente interrompíveis e corrigíveis.

Investigar mesa-optimization, alinhamento enganoso e falhas de alinhamento interno em modelos aprendidos para construir pipelines de treino mais seguros.

Protocolos e arquiteturas de investigação para manter uma supervisão humana significativa sobre sistemas de IA à medida que estes superam o desempenho humano em tarefas.

Elabore políticas de segurança de IA, estruturas de uso aceitável, protocolos de resposta a incidentes e documentos de governança interna para organizações que implementam IA.