类Sora模型到底懂不懂物理?字节完成系统性实验证明
Sora爆火以来,模明“视频生成模型到底懂不懂物理规律”受到热议,型到系统性实但业界一直未有研究证实。底懂近日,不懂字节跳动豆包大模型团队公布最新论文,物理完成研究历时8个月,字节围绕“视频生成模型距离世界模型有多远”首次在业界完成系统性实验并给出明确结论:视频生成模型可以记忆训练案例,验证但暂时还无法真正理解物理规律,模明做到“举一反三”。型到系统性实
图灵奖得主、底懂Meta首席AI科学家杨立昆点赞并转发了该研究,不懂表示“结论不令人意外,物理完成但很高兴终于有人做了这个尝试!字节”
自OpenAI发布Sora模型以来,验证很多视频生成模型都会强调其生成结果对物理规律的模明遵循。豆包大模型视觉团队相关小组,对视频生成模型究竟能否从视觉数据中“发现”并“理解”物理定律感到好奇,决定深入研究。
历时8个月,该团队完成了业界首个系统性的实验研究。团队通过专门开发的物理引擎合成了匀速直接运动、小球碰撞、抛物线运动等经典物理场景的运动视频,用于训练基于主流DiT架构的视频生成模型。然后,通过检验模型后续生成的视频在运动和碰撞方面是否符合力学定律,判断模型是否真正理解了物理规律,并具有“世界模型”的潜力。
实验中设计的不同运动场景
豆包大模型团队的实验发现,即使遵循“Scaling Law”增大模型参数规模和数据量,模型依然无法抽象出一般物理规则,做到真正“理解”。
以最简单的匀速直线运动为例,当模型学习了不同速度下小球保持匀速直线运动的训练数据后,给定初始几帧,要求模型生成小球在训练集速度区间内匀速直线运动的视频,随着模型参数和训练数据量的增加,生成的视频逐渐更符合物理规律。
然而,当要求模型生成未曾见过的速度区间(即超出训练数据范围)的运动视频时,模型突然不再遵循物理规律,并且无论如何增加模型参数或训练数据,生成的结果都没有显著改进。这表明,视频生成模型无法真正理解物理规律,也无法将这些规律泛化应用到全新的场景中。
通过进一步的实验分析,研究团队得出结论,“生成新视频时,模型主要依赖对训练案例的记忆和匹配。视频生成模型就像一个只会‘抄作业’的学生,一旦遇到从未见过的场景,如不同大小、速度的物体相互作用,就会‘犯迷糊’,生成结果与物理规则不符。”
不过,研究中也有一个好消息:如果训练视频中所有概念和物体都是模型已熟悉的,此时加大训练视频的复杂度,比如组合增加物体间的物理交互,通过加大训练数据,模型对物理规律的遵循将越来越好。这一结果可为视频生成模型继续提升表现提供启发。
据了解,本研究两位核心一作都非常年轻,一位是95后,一位是00后,在豆包大模型团队专注视觉领域的基础研究工作。作者们一直对世界模型感兴趣,在8个月的探索中,他们阅读了大量物理学研究文献,也尝试从游戏中获得研发灵感,历经多次失败后,最终一步步确定研究思路和实验方法。
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
7861
-
浏览
89567
-
获赞
4
热门推荐
-
煤价出现小幅下跌,但不必过度惊慌!
今产地只有个别煤价涨跌且幅度(5-10元)均不大,港口横盘震荡,整体市场过节气氛较浓,交投气氛冷清。电厂前期因为价格等因素对于长协的青睐程度并不是很高,近日不少电厂开始重点着手对接并组织长协拉运,这说江苏消保委:开屏广告“摇一摇” 涉嫌侵犯消费者自主选择权
中国消费者报南京讯记者薛庆元)手机APP上的开屏广告一直深受诟病,今年,在工信部整治后,开屏广告的投放日益规范,也让消费者有了更加清爽的上网体验。但是,开屏广告如今又出现了一种新模式—&m江苏消保委:开屏广告“摇一摇” 涉嫌侵犯消费者自主选择权
中国消费者报南京讯记者薛庆元)手机APP上的开屏广告一直深受诟病,今年,在工信部整治后,开屏广告的投放日益规范,也让消费者有了更加清爽的上网体验。但是,开屏广告如今又出现了一种新模式—&m胜利能源煤炭产销突破2000万吨
截至9月18日,国家能源集团胜利能源年累计完成煤炭产销量2007.94万吨,超年进度计划3.57万吨,煤炭保供平稳有力。今年以来,胜利能源全面贯彻落实集团公司“136”发展战略阿迪达斯 Ultra Boost 全新升级版释出,更轻更凉爽
潮牌汇 / 潮流资讯 / 阿迪达斯 Ultra Boost 全新升级版释出,更轻更凉爽2020年02月21日浏览:3323 阿迪达斯旗下不断进化的 Ultra BoosEASTPAK x Depop 全新联乘可持续包袋系列公布
潮牌汇 / 潮流资讯 / EASTPAK x Depop 全新联乘可持续包袋系列公布2021年12月04日浏览:3618 为进一步延长背包使用寿命同时令顾客减少购买,近福建莆田开展诚信经营讲座活动
中国消费者报福州讯陈莉兰记者张文章)记者日前了解到,为展现新时代中国商人守信践诺、以诚立身的精神风貌,激励广大经营者更好地讲诚信、守信用,12月1日,福建省莆田市消委会联合荔城区消委会在红星美凯龙莆田门诊部召开通科医生新春茶话会
1月28日,门诊部在临床教学楼226教室召开了通科医生新春茶话会。门诊部负责人、70余位通科门诊医生及所在楼层护士参加了茶话会。会议由谭明英护士长主持。 门诊部刘姿主任、何晓俐护士长首先感谢大家对通凶狠!马内飞铲科特迪瓦中场桑加雷染黄,后者被担架抬下场
1月30日讯 非洲杯1/8决赛,塞内加尔主场对阵科特迪瓦。比赛第9分钟,马内飞铲科特迪瓦中场桑加雷染黄,后者被担架抬下场。标签:科特迪瓦宽松条纹推荐品牌衣服,宽松条纹t恤女短袖
宽松条纹推荐品牌衣服,宽松条纹t恤女短袖来源:时尚服装网阅读:1221三条竖线,一红一黑一白是什么牌子的衣服1、红白黑三色是Thom Browne。Thom Browne,汤姆·布朗 (Thom Br爆料称RTX 5090或配双16pin供电接口 应对功耗增长
外媒消息称RTX 5090可能会配备两个16pin供电接口。此前关于即将发布的RTX 50系列显卡的爆料不少,传闻新显卡功耗会有所增加,而且越高端增长幅度越大,RTX 5090的功耗会达600W。而由iPhone16全系支持Wi
IT之家今日9月10日)消息,根据苹果官方公布的宣传图,iPhone16、iPhone 16 Plus、iPhone 16 Pro 和 iPhone 16 Pro Max 四款机型均支持最新的Wi-F凶狠!马内飞铲科特迪瓦中场桑加雷染黄,后者被担架抬下场
1月30日讯 非洲杯1/8决赛,塞内加尔主场对阵科特迪瓦。比赛第9分钟,马内飞铲科特迪瓦中场桑加雷染黄,后者被担架抬下场。标签:科特迪瓦罗马里奥:我们非常渴望获得胜利,希望以后用更多进球帮助球队
7月12日讯中超联赛第19轮,武汉三镇客场1-1战平沧州雄狮。赛后,为三镇攻入一球的外援罗马里奥接受了采访。——点评本场比赛罗马里奥:首先确实是我们非常渴望获得胜利,但是很遗憾,足球就是这样,球员们也电力设备板块:出口延续高景气 业绩和估值空间有望打开
海关总署日前披露8月出口数据,电力设备出口继续维持较高景气度,其中电缆增速亮眼,变压器、电表维持中高增速。当前全球范围电力设备需求均在快速增长,我们看好具有“强技术、强制造、低成本&rdq