0731-88575016

详细内容

竞技宝官网app·谷歌新研究冲击缩放定律!模型规模真的关键吗?

时间发布时间:2024-05-14 05:04:44 来源:竞技宝app下载官网 作者:竞技宝官网地址     

  【ITBEAR科技资讯】4月9日消息,近年来,模型规模不断扩大,一种普遍的信念是“力大砖飞”。

  尽管OpenAI没有公布Sora的训练细节,但在其技术报告中提到了:最大的模型Sora能够生成一分钟高保真视频,这表明扩大视频生成模型是构建通用世界模拟器的有前景途径。

  然而,谷歌最新的研究发现:并非如此!谷歌研究院和约翰霍普金斯大学在最新论文中指出:对于潜在扩散模型,模型不一定是越大越好。

  据ITBEAR科技资讯了解,关于缩放定律的争议一直存在。OpenAI在2020年发表的论文提出,模型效果与规模大小、数据集大小、计算量强相关,而与具体结构弱相关。

  缩放定律不仅适用于语言模型,还适用于其他模态及跨模态场景。这一概念的提出使研究人员和开发者能够更有效地设计模型架构,选择合适的模型大小和数据集规模,以实现最佳性能。

  谷歌最新研究集中在图像生成模型上,提出对于潜在扩散模型,在计算资源有限时,增加计算量应该增加数据集大小,而不是模型参数量。

  这是否意味着缩放定律失效了?作者的研究表明,在有限的计算资源下,较小的模型可以优于较大的模型;模型大小和训练步骤的选择需与计算资源相匹配。

  研究者还发现,不同大小的模型在CFG(Classifier-Free Guidance)技术下受影响基本相同,这一发现令人意外。

  这项研究探索了模型效率与品质之间的最佳平衡,为开发更高效的图像生成AI系统提供了指导。这与当前AI领域的趋势相契合,即小型语言模型在多项任务中超越大型对手,旨在推动AI技术的化。

  【ITBEAR科技资讯】4月26日消息,人形机器人技术正在不断发展,并逐渐步入人类日常生活的各个领域。加拿大机器人公司Sanctuary AI近日推出了其号称“市场上与人类最相似”的第七代人形机器人“凤凰(Phoenix)”,引起了业界的广泛关注。据悉,这款“凤凰”系列机器人以其

  【ITBEAR科技资讯】4月26日消息,随着人工智能技术的快速发展,越来越多的企业开始关注AI投资回报率(ROI)。根据德意志银行分析师Olga Cotaga团队最新发布的报告,投资者已经过了对AI能力感到兴奋的阶段,开始更加关注AI投资的实际效益。报告指出,随着AI应用逐步落地,

  【ITBEAR科技资讯】4月26日消息,商汤科技近日发布的日日新5.0版本引起了业界的广泛关注。该版本在语言、知识、推理、数学、代码等多个领域展现出了显著提升,据ITBEAR科技资讯了解,其在主流客观评测上已达到或超越了GPT-4 Turbo的水平。作为文科生,日日新5.0在开放问

  【ITBEAR科技资讯】4月26日消息,昨日,OpenAI的CEO Sam Altman在斯坦福大学的英伟达礼堂举办了一场公开演讲,向现场1000多名与会者分享了关于人工智能未来的独到见解。从GPT-5的性能预期、OpenAI的AGI,到Sora革新娱乐方式的设想,再到AI可能对人类工作岗位的影响

  【ITBEAR科技资讯】4月26日消息,随着人工智能技术的飞速发展,AI在跨境电商领域的应用场景备受关注。从选品决策、内容生成到广告投放和客服工作,AI工具的应用正在改变跨境电商的运营方式。本期36氪《CEO锦囊》栏目邀请了LinkFox AI合伙人/紫鸟浏览器合伙兵、清华

  【ITBEAR科技资讯】4月26日消息,2024年北京车展上,腾讯智慧出行副总裁钟学丹再次确认了腾讯不涉足汽车制造的策略,同时表示对主机厂和新进入者加入新能源汽车领域持开放态度。腾讯正在运用其数字化技术实力,向车企和出行科技公司提供云服务,并计划将智能汽车产品装

  【ITBEAR科技资讯】4月26日消息,韩国四大巨头企业——三星、SK、现代汽车和LG,在去年的营业利润方面遭遇了显著下滑,同比降幅超过65%,这一数字令人咋舌,凸显出韩国经济面临的深层次困境。根据韩国CXO研究所最新发布的报告,四大集团旗下的306家韩国国内子公司去年的

  【ITBEAR科技资讯】4月26日消息,根据国际数据公司(IDC)最新发布的手机季度跟踪报告,2024年第一季度,中国智能手机市场整体出货量为6926万台,同比增长6.5%,市场表现超出预期。其中,荣耀以17.1%的市场份额位居榜首,同比增幅高达13.2%。荣耀此次登顶并非偶然,其背后

  【ITBEAR科技资讯】4月26日消息,近日,盛大的第十八届北京国际车展如期开幕,吸引了众多业内外人士的目光。在此次展会上,多家车企高管接受了媒体采访,分享了他们对于汽车市场现状和未来趋势的见解。北汽研究总院院长王磊的访谈内容尤其受到广泛关注。在访谈中,王磊

  【ITBEAR科技资讯】4月26日消息,近日华为Pura 70 Ultra手机的AI消除功能成为了公众关注的焦点。据悉,这款手机配备了由盘古大模型驱动的AI消除技术,其主要功能是自动消除照片中的路人或杂物等元素。然而,近日网络上出现了一段演示视频,在其中,有网友利用华为Pura 7

  【ITBEAR科技资讯】4月26日消息,据外媒The Information和彭博社的综合报道,埃隆·马斯克旗下的人工智能企业xAI预计将在未来两周内完成一轮巨额融资,金额高达60亿美元(折合人民币约435亿元)。此轮融资成为了AI模型创业公司中规模最大的一笔。xAI自2023年7月成立以来,

  【ITBEAR科技资讯】4月26日消息,据“i 冰宇宙”的消息透露,三星即将在OneUI 6.1.1系统中引入创新的“视频 AI”功能。虽然目前尚未公布更多详细信息,但根据当前市场上各种“视频 AI”技术的趋势,我们可以合理推测,这项新功能或将使用户能够通过简单的描述词来生成视

  【ITBEAR科技资讯】4月26日消息,科大讯飞在今日官方宣布,其讯飞星火大模型V3.5迎来了春季更新。科大讯飞董事长刘庆峰亲自发布了讯飞星火大模型的一系列全新功能,为用户带来更出色的AI体验。据刘庆峰表示,目前星火大模型在长文本处理能力上,包括信息抽取、知识问答

  【ITBEAR科技资讯】4月26日消息,微软近日发布了其2024财年第三季度财报,报告显示,微软在该季度实现了亮眼的业绩。总营收达到619亿美元,相较于去年同期,增长了17%。这一数字不仅超出了市场的普遍预期,更是推动了公司股价在盘后交易中的上涨,涨幅超过4%。据财报显

  【ITBEAR科技资讯】4月25日消息,英伟达近日向OpenAI正式交付了全球首台DGX H200人工智能超级计算机,此举标志着双方在AI领域合作迈向新的里程碑。据OpenAI总裁兼联合创始人Greg Brockman透露,该设备由英伟达CEO黄仁勋亲自送达,并将有力推动人工智能、计算和人类文明

  本网站LOGO小熊标志受版权保护,版权登记号:鲁作登字-2015-F-025467,未经ITBEAR官方许可,严禁使用。


竞技宝官网app
电话:13973131243
邮箱:dingdangang@douyin.com
地址:竞技宝官网app
扫一扫浏览手机站