“深度诅咒”现象的根源在于Pre-LN的特性。Pre-LN是一种在Transformer架构模型中广泛使用的归一化技术，它在每一层的输入上进行归一化，而不是在输出上。这种归一化方式虽然能够稳定模型的训练过程，但也带来了一个严重的问题，随着模型深度的增加，Pre-LN的输出方差会呈指数级增长。

苹果「中国AI搭子」 ...