Feynman路径积分
26-01-01 16:59 微博认证:财经博主

DeepSeek12月31日发布的新论文《mHC: Manifold-Constrained Hyper-Connections》,意义很重大。这个论文讲的东西表明,最前沿的AI架构师已经在自觉地运用复杂系统思维。它不是在系统变得复杂后被动应对,而是主动设计规则,引导复杂性向预期的有序方向演化。

(简单来说,mHC是一种全新的神经网络连接方式。它要解决的核心问题是:传统的超连接虽然能提升模型性能,但由于连接过于自由,会导致训练时信号爆炸或消失,非常不稳定。

mHC将网络中多股并行的信息流,通过一种称为双随机矩阵流形的数学结构进行“约束”。这个约束就像是为复杂的信息流动制定了交通规则,确保了无论信息流如何内部互动,其整体能量是稳定、受控的。最终,系统得以在稳定前提下,涌现出更强大的性能。)

就是复杂系统在可设计的约束下的有序涌现。

我以前发了很多文章讨论复杂系统科学,也是我之前做科研的方向。我觉得这个世纪,复杂系统科学会是最前沿,最热门的方向(十多年前我搞这个,那时候不成熟,没有算力)。现在,deepseek里最聪明的年轻人在自然而然应用复杂系统的哲学,来重新设计人工智能。

其实大模型深化的核心矛盾是,如何在增加模型容量和复杂度的同时,保持训练的可控与稳定。这类似于社会管理:如何在赋予个体更多自由(增加连接)的同时,确保整体社会不陷入混乱(训练稳定)。

我觉得,理解复杂系统,就是理解如何构建、控制和利用下一代智能的核心。 也是实现真正的智能的关键。堆算力并不是,底层理论还没搞明白。

这里我的判断是,deepseek走在正确的第一性方向上。梁文峰团队会有很大的基础性贡献。 另一个正确的方向是李飞飞的。

发布于 四川