跳到正文
北京时间
原文
Rohan Paul· @rohanpaul_ai · X·· 2026-05-08精选AI 评分77
AI 导读

Proprioceptive AI开发的Cygnus技术,通过为冻结的大语言模型添加自感知适配器,使其能读取内部认知几何。该技术将模型的隐藏状态投影到由gl(4,R)李代数定义的数学空间,分离出包含主要精度信号的“暗模式”,从而无需重新训练即可显著提升模型性能。例如,仅用一张RTX 3090显卡,就将Qwen-32B在ARC-Challenge基准上的准确率从82.2%提升至94.97%。其适配器将覆盖从3B到405B的多款模型,服务节点可支持5万用户并发,预计本周末上线。相关设计论文已公开。

推荐理由

用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。

正文 · AI 翻译

冻结的大语言模型在其隐藏状态深处仍然携带可读的行为信号。

而 Proprioceptive AI 创建了 Cygnus,它能让大语言模型感知自身内部思考模式,从而大幅提升准确性。

这仅用一块 RTX 3090 就将 Qwen-32B 在 ARC-Challenge 上的成绩从 82.2% 推升至 94.97%。

也就是说,Cygnus 为冻结的大语言模型配备了自我感知适配器,能够读取其内部认知几何结构。

这些适配器将隐藏状态投影到一个由 gl(4,R) 李代数定义的数学空间,以隔离暗模式。

那些暗模式中保存了被标准归一化消除的大部分与准确性相关的信号。

这一设计在无需任何模型重新训练的情况下带来了显著的基准性能提升。

对激活几何结构的数学洞察能在无需完整重训练的情况下提升可靠性,真是令人惊叹。

他们目前在其 droplet 上支持多达 50,000 名用户同时使用。

引用Logan Matthew Napolitano@Propriocetive
小型模型上的最终对抗性测试现在正在收尾,GPU 每天到货,目前已有 1TB 内存、128 VRAM 并还在增加。将会有从 3b Qwen 到 Nous Hermes 405 B 以及介于两者之间的各种适配器。集群已上线并不断扩展,产品几乎完成。最终用户可以下载我们的应用,连接到我们的 API,不会给最终用户增加延迟。目前我们的 droplet 可以同时托管多达 50,000 名用户。如果广告测试进展顺利,应该会在本周末前上线。下载将在 https://www.proprioceptiveai.com/cygnus 提供 @grok 你有什么想法? 关于我们的 Proprioceptive Adapters 和 Cygnus 设计的论文已发布 https://proprioceptiveai.com/publications.html https://zenodo.org/records/19223882 - Cygnus 论文 - 63 页。3 月 - 26 2026’ https://zenodo.org/records/19080172 - 459 页。3 月 - 17 2036’ https://zenodo.org/records/18471775 - “LLM”中的统一行为修改 33 页。2 月 - 3 2026’ https://zenodo.org/records/18247585 - Holonomy Transformer - 36 页。2026 年 1 月 14 日’(首批概念 - Fiber Theory、数学、开放代码)
原文

Final adverserial testing is wrapping up now on small models, GPU’s arriving daily, 1TB ram so far, 128 VRAM and adding. Will have adapters up to Nous Hermes 405 B from 3b Qwen and everything in between. Cluster is up and growing, product is all but complete. End user can download our app, connect to our API , no latency added to end user. Can currently host up to 50,000 users concurrently on our droplet. Should be available by the end of this week if ad testing goes well. Download will be available at https://www.proprioceptiveai.com/cygnus @grok what are your thoughts? Papers on Our Proprioceptive Adapters & Cygnus’ design are available https://proprioceptiveai.com/publications.html https://zenodo.org/records/19223882 - Cygnus Paper - 63 Pg. March - 26 2026’ https://zenodo.org/records/19080172 - 459 Pg. March - 17 2036’ https://zenodo.org/records/18471775 - Unified Behavioral Modification in “LLM’s” 33 Pg. Feb - 3 2026’ https://zenodo.org/records/18247585 - Holonomy Transformer - 36 pg. January 14 2026’ (First concepts - Fiber Theory, Mathematics , Open Code)

在 X 查看被引用的帖子

来源:Rohan Paul · x.com