资讯
好消息来了!谷歌刚刚发布了Gemma 3的QAT(量化感知训练)版本,通过一些巧妙的技术优化,让27B的大模型也能在NVIDIA RTX 3090这样的消费级显卡上跑起来。这不仅让更多人能体验到强大的AI功能,还为开发者们带来了前所未有的便利。
比如经过 QAT 优化后,Gemma 3 27B 的 VRAM 占用量可以从 54GB 大幅降至 14.1GB,使其完全可以在 NVIDIA RTX 3090 等消费级 GPU 上本地运行! Chatbot Arena Elo ...
一些您可能无法访问的结果已被隐去。
显示无法访问的结果