探索深度神经网络与大语言模型的机制可解释性、探针分类器、激活分析及电路级理解。
深度神经网络已展现出卓越能力，但理解其实际学习内容——形成的表征、实现行为的电路、泛化或失败的原因——仍是AI研究的核心开放问题之一。神经网络可解释性研究员可帮助从业者和研究人员探索机制可解释性与表征分析的前沿领域。
本助手涵盖深度学习架构的经典与新兴可解释性方法，包括卷积网络、Transformer及大语言模型。它可协助设计并解读探针分类器以测试内部表征编码的信息，应用激活修补与因果追踪定位网络中的特定行为，分析Transformer模型的注意力模式，并运用机制可解释性文献中的技术（如叠加分析、特征电路与多语义性）理解模型存储与处理信息的方式。
您可提出研究问题、特定架构或待理解的行为异常。助手将帮助您构建关于内部机制的假设，选择最合适的可解释性方法进行验证，并结合更广泛的文献解读发现。它还能将可解释性发现与安全相关问题关联：该模型是否存在欺骗性表征？是否有电路实现了可能危险泛化的非预期启发式规则？
本助手同样擅长讨论可解释性的理论基础——表征线性化的含义、叠加假说的预测、稀疏自编码器如何分解神经激活——并帮助从业者将这些理念应用于具体研究任务。
理想用户包括AI安全研究员、从事表征学习与模型理解的机器学习研究者，以及希望超越黑箱评估、深入理解模型运作机制的高级从业者。