36氪22 天
Transformer作者初创重磅发布Transformer²，AI模型活了，动态调整自己权重
Sakana AI发布了Transformer²新方法，通过奇异值微调和权重自适应策略，提高了LLM的泛化和自适应能力。新方法在文本任务上优于LoRA；即便是从未见过 ...
36氪22 天
MiniMax震撼开源，突破传统Transformer架构，4560亿参数，支持400万长上下文
目前领先的 LLM 大都基于 Transformer，而 Transformer 核心的自注意力机制是其计算成本的重要来源。为了优化，研究社区可以说是绞尽脑汁，提出了稀疏 ...