类Sora模型到底懂不懂物理?字节完成系统性实验证明
Sora爆火以来,模明“视频生成模型到底懂不懂物理规律”受到热议,型到系统性实但业界一直未有研究证实。底懂近日,不懂字节跳动豆包大模型团队公布最新论文,物理完成研究历时8个月,字节围绕“视频生成模型距离世界模型有多远”首次在业界完成系统性实验并给出明确结论:视频生成模型可以记忆训练案例,验证但暂时还无法真正理解物理规律,模明做到“举一反三”。型到系统性实
图灵奖得主、底懂Meta首席AI科学家杨立昆点赞并转发了该研究,不懂表示“结论不令人意外,物理完成但很高兴终于有人做了这个尝试!字节”
自OpenAI发布Sora模型以来,验证很多视频生成模型都会强调其生成结果对物理规律的模明遵循。豆包大模型视觉团队相关小组,对视频生成模型究竟能否从视觉数据中“发现”并“理解”物理定律感到好奇,决定深入研究。
历时8个月,该团队完成了业界首个系统性的实验研究。团队通过专门开发的物理引擎合成了匀速直接运动、小球碰撞、抛物线运动等经典物理场景的运动视频,用于训练基于主流DiT架构的视频生成模型。然后,通过检验模型后续生成的视频在运动和碰撞方面是否符合力学定律,判断模型是否真正理解了物理规律,并具有“世界模型”的潜力。
实验中设计的不同运动场景
豆包大模型团队的实验发现,即使遵循“Scaling Law”增大模型参数规模和数据量,模型依然无法抽象出一般物理规则,做到真正“理解”。
以最简单的匀速直线运动为例,当模型学习了不同速度下小球保持匀速直线运动的训练数据后,给定初始几帧,要求模型生成小球在训练集速度区间内匀速直线运动的视频,随着模型参数和训练数据量的增加,生成的视频逐渐更符合物理规律。
然而,当要求模型生成未曾见过的速度区间(即超出训练数据范围)的运动视频时,模型突然不再遵循物理规律,并且无论如何增加模型参数或训练数据,生成的结果都没有显著改进。这表明,视频生成模型无法真正理解物理规律,也无法将这些规律泛化应用到全新的场景中。
通过进一步的实验分析,研究团队得出结论,“生成新视频时,模型主要依赖对训练案例的记忆和匹配。视频生成模型就像一个只会‘抄作业’的学生,一旦遇到从未见过的场景,如不同大小、速度的物体相互作用,就会‘犯迷糊’,生成结果与物理规则不符。”
不过,研究中也有一个好消息:如果训练视频中所有概念和物体都是模型已熟悉的,此时加大训练视频的复杂度,比如组合增加物体间的物理交互,通过加大训练数据,模型对物理规律的遵循将越来越好。这一结果可为视频生成模型继续提升表现提供启发。
据了解,本研究两位核心一作都非常年轻,一位是95后,一位是00后,在豆包大模型团队专注视觉领域的基础研究工作。作者们一直对世界模型感兴趣,在8个月的探索中,他们阅读了大量物理学研究文献,也尝试从游戏中获得研发灵感,历经多次失败后,最终一步步确定研究思路和实验方法。
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
6
-
浏览
79367
-
获赞
785
热门推荐
-
优衣库 x《花生漫画》全新联名 T 恤系列释出
潮牌汇 / 潮流资讯 / 优衣库 x《花生漫画》全新联名 T 恤系列释出2020年02月24日浏览:5644 今年,美国漫画家查尔斯·舒尔茨画的漫画《花生漫画》PEAN心脏病是怎么引起的?心脏病的早期症状有哪些
心脏病是怎么引起的?心脏病的早期症状有哪些时间:2022-06-14 13:00:58 编辑:nvsheng 导读:心脏病虽然很常见,但是也是个不治之症,因为不仅是病理有关,更重要的是个人情绪波动扯袖红脸指问题,深纠慎思抓整改
中国民用航空网通讯员张颢绢报道:为扎实开好组织生活会和民主评议党员活动,根据华东空管局《关于召开2021年度基层党组织组织生活会和开展民主评议党员的通知》要求,山东空管分局建设指挥部临时)党支部依据程华北空管局技术保障中心完成北场监雷达调整第一阶段工作
通讯员:张冉乔)近日,塔台管制员多次反映ASMGCS系统中滑行道有一次不明信号,引起系统告警,华北空管局技术保障中心值班员迅速进行排查,通过回放调查发现为北场监信号漂移及雷达回波所导致的不明信号,为保Vans x Sandy Liang 联名系列下月开售,创意混搭
潮牌汇 / 潮流资讯 / Vans x Sandy Liang 联名系列下月开售,创意混搭2020年02月25日浏览:4521 近日,范斯释出了与纽约设计师 Sandy汤臣倍健牛初乳粉价格 汤臣倍健牛初乳粉贵不贵?
汤臣倍健牛初乳粉价格 汤臣倍健牛初乳粉贵不贵?时间:2022-06-13 12:02:40 编辑:nvsheng 导读:汤臣倍健牛初乳粉很多人都会买给孩子吃,那么这个保健品价格是怎么样呢,下面5号战国时期励志奇女子钟无艳:丑女嫁给高富帅
钟无艳,齐宣王的妻子,是战国励志奇女子,貌丑但有才华,她很好地诠释了丑女嫁给高富帅的励志之路。网络配图史书记载,钟无艳复姓钟离名无盐,“四十未嫁”,“极丑无双”,“凹头深目,长肚大节,昂鼻结喉,肥顶少食物中毒后的急救措施(食物中毒的急救措施哪四步)
食物中毒后的急救措施食物中毒的急救措施哪四步)时间:2022-06-13 12:02:29 编辑:nvsheng 导读:食物中毒一般可分为细菌性如大肠杆菌)、化学性如农药)、动植物性如河豚、扁豆)布斯克茨:反超球明显越位 裁判却说我们主动碰球
布斯克茨:反超球明显越位 裁判却说我们主动碰球_姆巴佩www.ty42.com 日期:2021-10-11 06:01:00| 评论(已有306285条评论)汽车事故逃生的前提(车辆逃生知识)
汽车事故逃生的前提车辆逃生知识)时间:2022-06-14 12:57:25 编辑:nvsheng 导读:对突如其来的交通事故,可能不少车主会因惊慌而乱了阵脚,其实在日常生活中,汽车安全就是一个十备战春运保障工作 守护天路出行安全
(通讯员:谢浩奇)2022年春运将于1月17日拉开序幕,今年春运期间恰逢北京冬奥会举办。民航桂林空管站积极做好各项前期准备工作,为确保春运以及冬奥会期间航班运行高效顺畅。桂林地区位于广西北部地区,冬季肾结石的检查项目有哪些?肾结石多大需要手术?
肾结石的检查项目有哪些?肾结石多大需要手术?时间:2022-06-12 10:16:59 编辑:nvsheng 导读:肾结石确诊需要做一些检查,那么具体的检查项目有哪些呢?肾结石大到什么程度需要做恩捷股份(002812)固态电解质技术交流会:已建成硫化锂百吨级中试产线
11月14日,恩捷股份002812)线上召开固态电解质技术交流会。会议上,恩捷股份就固态研发进展、技术优势、专利布局等进行了分享和交流。恩捷股份提到,公司2021年开始布局硫化物电解质材料领域,成立控火灾逃生自救基本技能(火灾安全自救技能)
火灾逃生自救基本技能火灾安全自救技能)时间:2022-06-16 12:15:31 编辑:nvsheng 导读:火灾,具有极大的破坏性与危害性,它不但会使人民群众辛勤创造的劳动成果付之一炬,而且还河北空管分局全力做好2022年春运保障工作
通讯员 张京磊)1月17日,2022年的空管春运保障任务拉开了帷幕。今年春运保障工作面临严峻复杂的疫情形势和重大任务活动保障的双重压力,空管安全保障任务更艰巨、更复杂。华北空管局河北空管分局提前做