Anthropic：Transformer Circuits（可解释性研究）·· 2022-09-14精选AI 评分65
Anthropic 发表 Toy Models of Superposition 论文，演示神经网络的特征叠加现象
Toy Models of Superposition
AI 导读
Anthropic 发布论文 Toy Models of Superposition，用稀疏合成数据训练的小型 ReLU 网络首次明确演示了神经网络可以在维度不足的情况下以叠加方式表示更多特征。
推荐理由
论文用小型 ReLU 网络直接演示了特征叠加现象，并给出相变和几何结构的理论解释，为理解神经元多义性提供了可参考的框架。
来源：Anthropic：Transformer Circuits（可解释性研究） · transformer-circuits.pub