类Sora模型到底懂不懂物理?字节完成系统性实验证明
Sora爆火以来,模明“视频生成模型到底懂不懂物理规律”受到热议,型到系统性实但业界一直未有研究证实。底懂近日,不懂字节跳动豆包大模型团队公布最新论文,物理完成研究历时8个月,字节围绕“视频生成模型距离世界模型有多远”首次在业界完成系统性实验并给出明确结论:视频生成模型可以记忆训练案例,验证但暂时还无法真正理解物理规律,模明做到“举一反三”。型到系统性实
图灵奖得主、底懂Meta首席AI科学家杨立昆点赞并转发了该研究,不懂表示“结论不令人意外,物理完成但很高兴终于有人做了这个尝试!字节”
自OpenAI发布Sora模型以来,验证很多视频生成模型都会强调其生成结果对物理规律的模明遵循。豆包大模型视觉团队相关小组,对视频生成模型究竟能否从视觉数据中“发现”并“理解”物理定律感到好奇,决定深入研究。
历时8个月,该团队完成了业界首个系统性的实验研究。团队通过专门开发的物理引擎合成了匀速直接运动、小球碰撞、抛物线运动等经典物理场景的运动视频,用于训练基于主流DiT架构的视频生成模型。然后,通过检验模型后续生成的视频在运动和碰撞方面是否符合力学定律,判断模型是否真正理解了物理规律,并具有“世界模型”的潜力。
实验中设计的不同运动场景
豆包大模型团队的实验发现,即使遵循“Scaling Law”增大模型参数规模和数据量,模型依然无法抽象出一般物理规则,做到真正“理解”。
以最简单的匀速直线运动为例,当模型学习了不同速度下小球保持匀速直线运动的训练数据后,给定初始几帧,要求模型生成小球在训练集速度区间内匀速直线运动的视频,随着模型参数和训练数据量的增加,生成的视频逐渐更符合物理规律。
然而,当要求模型生成未曾见过的速度区间(即超出训练数据范围)的运动视频时,模型突然不再遵循物理规律,并且无论如何增加模型参数或训练数据,生成的结果都没有显著改进。这表明,视频生成模型无法真正理解物理规律,也无法将这些规律泛化应用到全新的场景中。
通过进一步的实验分析,研究团队得出结论,“生成新视频时,模型主要依赖对训练案例的记忆和匹配。视频生成模型就像一个只会‘抄作业’的学生,一旦遇到从未见过的场景,如不同大小、速度的物体相互作用,就会‘犯迷糊’,生成结果与物理规则不符。”
不过,研究中也有一个好消息:如果训练视频中所有概念和物体都是模型已熟悉的,此时加大训练视频的复杂度,比如组合增加物体间的物理交互,通过加大训练数据,模型对物理规律的遵循将越来越好。这一结果可为视频生成模型继续提升表现提供启发。
据了解,本研究两位核心一作都非常年轻,一位是95后,一位是00后,在豆包大模型团队专注视觉领域的基础研究工作。作者们一直对世界模型感兴趣,在8个月的探索中,他们阅读了大量物理学研究文献,也尝试从游戏中获得研发灵感,历经多次失败后,最终一步步确定研究思路和实验方法。
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
9646
-
浏览
895
-
获赞
35894
热门推荐
-
《蜘蛛侠4》官宣定档2026年7月 《尚气》导演执导
索尼影业官宣《蜘蛛侠4》电影将于2026年7月24日上映,和外界预测一致,将由《尚气》导演Destin Daniel Cretton执导。Cretton在离开《复仇者联盟5》电影项目后,由罗素兄弟接手足坛后卫转会费榜:格瓦迪奥尔创下了世界历史最贵后卫记录
足坛后卫转会费榜:格瓦迪奥尔创下了世界历史最贵后卫记录2023-08-07 00:50:07北京时间8月7日,在前两天曼城官方宣布,俱乐部从莱比锡红牛签下格瓦迪奥尔,曼城与格瓦迪奥尔签约至2028年6辽宁锦州召开2022年度消费维权工作先进表彰大会
中国消费者报沈阳讯记者王文郁)3月23日,辽宁省锦州市消费者协会办公室组织召开2022年度消费维权工作先进表彰大会,对10家商品与服务质量优胜单位和年度获评最美维权人物的27名同志进行了表彰。今年1月英超官方:博格巴因直红停赛三场 无缘战热刺&曼城
英超官方:博格巴因直红停赛三场 无缘战热刺&曼城_曼联www.ty42.com 日期:2021-10-26 09:31:00| 评论(已有309230条评论)黛安芬内衣(黛安芬内衣中国生产基地)
黛安芬内衣(黛安芬内衣中国生产基地)来源:时尚服装网阅读:2717娅筑和黛安芬内衣哪个好1、黛安芬 世界女性内衣第一品牌,有着和现代内衣一同起源的112年历史,行销120 个国家,每年产量超过2亿件。首次公布瘦身100斤后的照片!现在的贾玲瘦成了这样
今天,贾玲导演的春节档喜剧电影《热辣滚烫》正式上映,影片一大早发布了“爱自己”版海报。已经爱上拳击运动的乐莹贾玲 饰)笑容灿烂,大大的拳套格外醒目,破茧成蝶的她更加自信。而捂了在对阵篮网的比赛中获胜后阿德巴约支持“再上一个台阶”
周日,巴姆·阿德巴约的嗡嗡声打败了迈阿密热火队,以109-107的比分击败布鲁克林篮网队,从而将他“推上了另一个台阶”。在吉米·巴特勒缺席的情况下,阿德巴约加强了在美国航空竞技场的热度,取得了激动人心揭秘洛克王国失传的封印攻略:寻找消失的传说
洛克王国已在2018年关闭服务器,与此同时,洛克王国的开发商宣布停止更新,所以洛克王国已经没有新内容推出,因此洛克王国失传的封印攻略已经没有意义。洛克王国是由腾讯公司研发的一款在线绿色社区网页游戏,于被阿扎尔踢的球童:当时我以为是马塔干的,他们告诉我是阿扎尔
2月1日讯 近日切尔西功勋阿扎尔与当年被他踢的球童查理-摩根重聚,两人畅谈往事。查理-摩根说:“太疯狂了,当时我一直以为是胡安-马塔踢的我,回到更衣室我也是这么认为的,还一直在想这件事。然后我的同伴告曼城三神锋已狂轰56球 全队99球火力令巴萨颤抖
1月16日报道:蓝月亮3大前锋在昔日凌晨的足总杯重赛上团体迸发,阿奎罗复出40秒闪电破门,哲科和内格雷多均是梅开二度,然后者更是将本赛季的团体进球数刷新至21球,从而跨越阿奎罗成为伊蒂哈德第一射手。保罗·乔治对阵“ chi”的太阳,提出33分:我们感谢挑战
保罗·乔治Paul George)率领洛杉矶快船队以113-103击败菲尼克斯太阳队Phoenix Suns),他再次被指责为在激烈的相遇中“鸣叫”。快船队和太阳队都在西方争夺,但是菲尼克斯希望加入犹长假出游票难抢?选攀升爆款电脑外出居家都合用
目前国产电脑品牌攀升有多款爆款电脑都正在进行优惠当中,有需求的朋友们不妨来看看吧。这两天相信大家都已经开始抢购五一假期期间出游的车票了,但是难抢的车票也是打乱了不少朋友的出行计划。抢不到车票,有电脑使《如龙》真人剧花絮曝光 神室町场景完美还原
SEGA近日发布了《如龙》真人电视剧的幕后制作花絮视频,揭秘了剧组如何在现实中重现游戏标志性场景——神室町的幕后故事。 《如龙》真人电视剧制作花絮:视频展现了剧组在东京近郊大规模搭建神室町场景的幕后工NBA 库里大量得分,赫罗在迈阿密冷落
两次NBA MVP似乎正试图弥补伤病导致他在2019-20赛季绝大部分时间里失去的时间。 但是,Curry并不是唯一拥有最佳表现形式的球员。随着常规赛的临近,Stats Perform数据突显了谁在火服装店时尚宣传语,服装店宣传词经典用语大全
服装店时尚宣传语,服装店宣传词经典用语大全来源:时尚服装网阅读:594服装店广告标语两用服饰,春秋皆宜。一次的选择,一生的眷恋!女装达萌菲,服饰时尚女。常来常往,时装时尚。金苑服饰有你。才有我。现代睡