谷歌新研究冲击缩放定律!模型规模真的关键吗?

时间:2024-04-09 17:23:28

作者:admin

来源:系统大师

  4月9日消息,近年来,模型规模不断扩大,一种普遍的信念是力大砖飞。

  谷歌新研究冲击缩放定律!模型规模真的关键吗?

  尽管OpenAI没有公布Sora的训练细节,但在其技术报告中提到了:最大的模型Sora能够生成一分钟高保真视频,这表明扩大视频生成模型是构建通用世界模拟器的有前景途径。

  然而,谷歌最新的研究发现:并非如此!谷歌研究院和约翰霍普金斯大学在最新论文中指出:对于潜在扩散模型,模型不一定是越大越好。

  据本站了解,关于缩放定律的争议一直存在。OpenAI在2020年发表的论文提出,模型效果与规模大小、数据集大小、计算量强相关,而与具体结构弱相关。

  缩放定律不仅适用于语言模型,还适用于其他模态及跨模态场景。这一概念的提出使研究人员和开发者能够更有效地设计模型架构,选择合适的模型大小和数据集规模,以实现最佳性能。

  谷歌最新研究集中在图像生成模型上,提出对于潜在扩散模型,在计算资源有限时,增加计算量应该增加数据集大小,而不是模型参数量。

  这是否意味着缩放定律失效了?作者的研究表明,在有限的计算资源下,较小的模型可以优于较大的模型;模型大小和训练步骤的选择需与计算资源相匹配。

  然而,在训练步骤恒定的情况下,大模型仍然具有优势,尤其在处理图像细节方面。

  研究者还发现,不同大小的模型在CFG(Classifier-Free Guidance)技术下受影响基本相同,这一发现令人意外。

  这项研究探索了模型效率与品质之间的最佳平衡,为开发更高效的图像生成AI系统提供了指导。这与当前AI领域的趋势相契合,即小型语言模型在多项任务中超越大型对手,旨在推动AI技术的民主化。

大家都在看

电脑教程专题 更多+

提取码
XGZS
关闭 前往下载