点击上方“Deephub Imba”,关注公众号,好文章不错过 ...
红板报 on MSN1 天
何恺明LeCun联手改造Transformer!9行代码替代归一化层,性能不减还加速梦晨 克雷西 发自 凹非寺量子位 | 公众号 QbitAI 何恺明LeCun联手:Transformer不要归一化了,论文已入选CVPR2025。 归一化长期以来一直被认为是必不可少的,在现代神经网络中无处不在。 但团队认为可以换用一种非常简单的技术 ...
经济观察报等媒体报道,3月10日下午华为公司在内部员工社区平台“心声社区”有一则长达6500字的通报。其中指出,72名华为正式员工及19名非雇员在招聘非雇员过程中存在徇私舞弊行为,多人通过出卖公司信息资产获利。这一通报引发华为内部和社交媒体热议,当天 ...
在AI领域,归一化层长久以来被视为现代神经网络的基石之一,然而,最新研究却颠覆了这一传统观念。知名科学家何恺明和Yann LeCun合作带来了令人振奋的突破——通过引入名为DyT(动态Tanh)的新型模块,仅用9行PyTorch代码便能完全取代LayerNorm或RMSNorm,且不仅保留了相同的性能,还在训练和推理效率上实现了大幅提升。这项研究成果已经成功入选2025年CVPR会议。
在深度学习的舞台上,归一化层长期以来一直被视为神经网络的基石,就像是面包上的黄油,无处不在。然而,最近由何恺明与深度学习大师LeCun携手研究的团队却提出了一种颠覆性的想法,或许是时候让这些归一化层退位了。他们所提出的DyT(Dynamic Tanh)方法,仅需9行清晰的PyTorch代码,就能取代传统的LayerNorm或RMSNorm,同时保证甚至提升模型的表现!
17 小时
SMZDM Community Channel on MSN2025年3月计算机编程语言最新排行榜一些恐龙级编程语言回归编程语言风起,3 月 TIOBE 编程语言榜单已发布一、2025年3月计算机编程语言排行榜 同期对比 每年的变化 二、排行榜中前几名的编程语言从排 ...
【新智元导读】 Transformer架构迎来历史性突破!刚刚, 何恺明 LeCun、清华姚班刘壮联手,用9行代码砍掉了Transformer「标配」归一化层,创造了性能不减反增的奇迹。
14 小时
什么值得买社区频道 on MSN轻松部署本地DeepSeek,一台酷睿Ultra 200H的笔记本就够了DeepSeek横空出世,一下子让更多的小伙伴有机会接触到高规格的人工智能助手,但也体验到了无数次“服务器繁忙,请稍后再试”的无奈等待。既然现在AI ...
一些您可能无法访问的结果已被隐去。
显示无法访问的结果