DeepSeek发布梁文锋署名新论文：提出mHC新架构提升大模型训练稳定性

神经日报 1月1日消息，据金十报道，DEEPSeek发布新论文，提出了一种名为流形约束超连接（mHC）的新架构，旨在解决超连接网络（HC）技术因破坏恒等映射特性而导致的训练不稳定和可扩展性受限等问题。该架构通过将HC的残差连接空间映射至特定流形以恢复恒等映射特性，同时结合严格的基础设施优化以确保效率，实现了显著的性能改进和优越的可扩展性。DeepSeek预计，mHC作为HC的一种灵活实用拓展，将有助于更深入地理解拓扑架构设计，并为基座模型的演进指明有前景的方向。该论文由Zhenda Xie（解振达）、YiXuan Wei（韦毅轩）、Huanqi Cao共同担任第一作者，梁文锋也在作者名单之中。