会世界模型之争:预测对了,就算理解了吗?|对话于开丞

世界模型之争:预测对了,就算理解了吗?|对话于开丞

会友镖局·2026 年 10 月 22 日·1 小时 34 分人工智能软件与开发创业与公司
在小宇宙播放
创作者写的节目说明

AI已经能生成令人惊叹的视频。但画面看起来合理,是否意味着它真的理解了重力、空间,以及物体之间的关系?

如果让机器人倒一杯水,我们应该给它看无数遍倒水的视频,还是让它先理解“杯子”“水”和“倾倒”,再把这些概念组合起来?

这一期《会友镖局·科技会客厅》,我们邀请于开丞,从自动驾驶聊到世界模型的不同路线,再聊到一个创业团队的技术取舍:为什么调整已经做出成绩的方向?当通用大模型开始操纵机械臂,创业公司的机会又在哪里?

【本期嘉宾】

于开丞|西湖大学自主智能实验室负责人、西湖大学特聘研究员、博士生导师、西湖数智(Awomo)创始人兼CEO,曾在阿里达摩院从事自动驾驶研究。

【本期判断】

世界模型这个名字之下,装着不同的技术目标和商业选择。 于开丞的选择,是让模型理解物理现象,并尝试通过概念的拆解与组合,获得举一反三的能力。在他的判断里,衡量这条路线的关键,是模型面对没见过的场景时,能否做出有效判断,以及这种能力能否随着训练规模扩大而持续提升。

【你会听到】

  • 为什么视频生成、空间生成、机器人决策,都被叫作世界模型?

  • 追求画面的美感,与追求物理真实性,会把模型带向哪些不同方向?

  • “概念世界模型”想解决什么问题?倒一杯水为什么是个好例子?

  • 通用大模型能操纵机械臂,是否意味着其他技术路线会被替代?

  • 一个17人的团队,如何在尚未收敛的技术方向上创业?

  • 有了AI,“老炮儿”的经验为什么可能更值钱?

【时间线】

第一章|同样叫世界模型,做的可能是不同的事

从生成图片、视频,到理解物理世界

从自动驾驶出发,为什么在2023年选择探索世界模型

语言模型与世界模型:从抽象知识出发,还是从物理信号出发

一次概念梳理:世界模型、空间智能与物理智能

互动娱乐、理解世界与操作世界,不同目标如何影响技术选择

第二章|从“看过很多遍”,到“能够举一反三”

用倒水解释“概念世界模型”:杯子、水和动作能否重新组合?

什么是隐空间?模型如何压缩和表达对世界的认识

可规模化训练与“智能斜率”:团队究竟在验证什么

通用大模型操纵机械臂,给世界模型团队带来了什么启发

让物理学家学切菜:能完成任务,与高效完成任务之间的距离

第三章|为什么调整一条已经做出成绩的路线

与杨立昆的思路有哪些共鸣,方法又有哪些不同

回看2024年:生成数据,再用数据训练机器人,这条路有什么局限?

为什么没有顺着原来的技术成果直接创业

半年左右的并行探索:转向并非一夜之间发生

数据、算法、算力,以及团队现阶段真正关注的场景

第四章|技术尚未收敛,创业者如何往前走

17人的团队:“老炮儿”与“小天才”如何搭配

AI改变工作方式之后,工程经验的价值

从研究者到创业者,思考问题的方式发生了什么变化

世界模型的“ChatGPT时刻”,需要出现什么能力

从解决一个问题,到追问一种方法能否规模化

非共识的选择:承认原有路线的局限,需要付出什么代价

【核心观点】

生成目标会影响模型的能力方向。 于开丞认为,服务内容创作与服务真实物理任务,对数据、评价标准和训练资源的要求存在差异,不能只凭生成画面的效果判断物理理解能力。

举一反三,是团队选择这条路线的核心理由。 他们希望模型通过学习、拆解和组合概念,处理训练中没有直接见过的场景,而不必为每种情况重新收集完整示例。

通用模型的进步,也在改变创业公司的考题。 除了证明任务能被完成,还需要证明自己的方案在效率、成本和规模化方面有价值。

AI让经验有了新的发挥方式。 于开丞观察到,工具能够放大执行能力,但工程判断、问题拆解和结果把关,依然需要长期积累。

【名词解释】

概念世界模型:本期嘉宾介绍的技术思路,强调关联语言概念与物理现象,通过概念的拆解、组合,探索跨场景的泛化能力。

智能斜率:嘉宾用来描述模型能力提升速度的表达,关注随着概念积累和组合增加,能力能否更快增长。

【延伸信息】

小红书:会友播客

小助手微信:huiyouhz


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

AI 看点

本期看点

AI 从整集转写里归纳的,不是节目方的宣传语

最值得听的

于开丞用3到4B小模型在物理世界榜单拿到第一或前列,与GPT-5.6同台竞争具身操作任务。

别处听不到的

他透露团队在Astra发布前就搭过GPT操控机械臂系统,实测一个抓取动作耗时3.5小时。

最打动人的

2024年拿完自动驾驶世界冠军后,他用半年时间说服团队推翻自己,转向更底层的世界模型预训练。

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

于开丞2023年就在自动驾驶里用扩散模型做世界模型,比Sora出圈早了一年。他讲清了娱乐派和干活派的根本分歧:一个追求美学分,一个追求物理真实。最实在的是他拿GPT-5.6 Astra实测——一个简单抓取动作要跑3.5小时,成功率从几乎做不到提到百分之十几。他还讲了2024年拿完世界冠军后主动推翻自己路线的那半年,以及3到4B小模型怎么在榜单上跟万亿模型同台。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

本期对话西湖大学自主智能实验室负责人、西湖数智创始人于开丞,围绕世界模型的技术路线展开。于开丞区分了娱乐导向的视频生成模型与物理世界导向的世界模型,解释语言模型“自上而下”与世界模型“自下而上”的底层差异,介绍其团队提出的“概念世界模型”与“智能斜率”思路。他回顾2024年放弃自动驾驶生成数据路线、转向底层预训练的判断过程,并讨论GPT-5.6 Astra操控机械臂的效率问题、世界模型与通用大模型的分工关系,以及两到三年内技术路线收拢的预期。

AI 识别的章节

章节

点一章从那里开始播 · 与上面创作者标的时间点各自独立

00:00

开场:为什么现在聊世界模型

主持人介绍嘉宾于开丞的达摩院与西湖大学背景,点明本期要聊世界模型的技术路线、商业化思考。于开丞回顾2023年在自动驾驶中注意到扩散模型能建模3D物理世界的早期判断。

07:30

语言模型是自上而下,世界模型是自下而上

于开丞解释语言模型继承人类几千年抽象出的语言系统,高效但建立在抽象之上;世界模型则试图直接建模物理世界的连续信号,两者耦合但本质不同。

10:56

世界模型定义太宽,扩散模型为何成为主流

世界模型的数学定义宽泛到几乎无法区分玩家。于开丞解释扩散模型更适合连续空间建模,而语言模型处理的是离散符号,两者数学结构不同。

15:56

2023年的早期探索与概念拆解

团队早期用扩散模型生成驾驶场景数据,发现没有3D信息对驾驶任务帮助有限。于开丞提出核心能力在于概念的拆解与组合,即“举一反三”。

20:23

娱乐派与干活派的分野

于开丞把世界模型分为娱乐导向和物理世界导向两派,前者追求美学分和视觉刺激,后者追求物理真实与任务完成。他明确自己选择后者,并认为世界模型可能成为科学母机。

23:02

视频生成模型为什么指导不了机器人

于开丞用“看监控”的比喻说明物理任务需要的是平淡稳定的连续画面,而娱乐模型被优化去追求爆点和刺激,训练数据与优化方向都不同。

27:20

动作世界模型与科研场景

动作世界模型与机器人绑定较深,但于开丞强调理解物理世界后还可用于细胞运动、生化现象等科研场景。他承认娱乐是更大的商业化渠道,但团队选择更早期的物理实体空间路线。

30:30

参数规模与所处阶段

于开丞估计物理空间为主的世界模型参数在1B到100B之间,远小于语言模型的T级。他认为世界模型仍处于爬坡阶段,通用预训练能力还在路上。

32:42

概念世界模型:先学概念,再组合场景

于开丞用倒水的例子解释概念世界模型:不是灌大量倒水视频,而是先让模型内化杯子、水、倒的动作等基本概念,再在隐空间中组合出未见过的场景。他解释隐空间相当于模型对世界的压缩表征。

37:10

为什么不用因果世界模型

于开丞认为因果模型太绝对,一因一果会伤害模型泛化能力;概念更泛化,适合数据驱动模型。他提出“智能斜率”概念,认为概念组合能让模型能力出现更陡的上升。

41:01

3到4B模型在榜单上的表现

于开丞称团队用3到4B的小模型在多个物理世界榜单拿到第一或前列,包括与GPT-5.6同台的具身操作榜单。他认为这验证了智能斜率的存在,但更多内部结果尚未发布。

46:11

GPT-5.6 Astra操控机械臂:能跑但低效

于开丞透露团队在Astra发布前就搭过类似系统,实测一个简单抓取动作需要3.5小时,成功率从GPT-5.6的几乎做不到提升到百分之十几。他认为大模型与世界模型是分工而非替代关系。

51:42

大模型在背诵,世界模型在理解物理现象

于开丞认为以GPT为代表的大模型本质上在模仿和背诵人类提供的能力,而世界模型直接面向物理现象。他讨论RSI只是效率提升,关键决策仍由人做。

56:44

架构选择与杨立昆路线的异同

团队采用扩散与自回归混合架构,将逐步开源。于开丞认可杨立昆的思路,但方法完全不同,受限于团队规模不严格follow其架构。

59:08

2024年的自我推翻:从生成数据到原生预训练

于开丞回顾2024年放弃“生成数据喂给现有研发流程”的路线,原因是生成像素成本高且不够本质,通用机器人领域无法为失败场景兜底。切换花了约半年,两条线并行后彻底划线。

1:04:47

为什么不做自动驾驶创业

主持人问为何不沿着已拿世界冠军的自动驾驶路线创业,于开丞回答“智能斜率不高”,那条路线线性增长,没有解决本质的智能问题。他透露公司成立九个月,已有机器人公司来谈合作。

1:09:50

数据、算力与商业化场景

于开丞说数据、算法、算力三要素中算法内部可控,数据比例保密,物理现象数据最有效且稀缺。团队更关注给机器人长脑子而非单纯操作,具体商业场景明年一二月公布。

1:14:47

VLA路线与团队两极文化

于开丞认为VLA路线做定制交付可以,但难以泛化出通用大脑。他介绍团队17人呈“老炮加小天才”两极结构,认为AI时代经验与工程化能力变得更稀缺。

1:21:48

创业九个月的身份变化与行业判断

于开丞谈从达摩院到高校再到创业的资源聚拢过程,认为物理世界通用智能方向被行业笃定,但哪个团队能走到最后尚不确定。他预计两到三年内技术路线收拢。

1:26:06

世界模型需要明星架构吗

于开丞认为扩散模型已经是世界模型的明星架构,transformer被过度夸张。他预计两到三年内出现世界模型的“GPT时刻”,标准是自然语言能解决80%的机器人任务。

1:29:44

最难的技术问题与收尾

于开丞说最难的是把概念拆解与泛化持续做深做大,让智能斜率越来越陡。他回顾两次认知转折:2024年放弃旧路线,以及创业后从零做预训练时思考角度的变化。主持人致谢收尾。

会友镖局 · 更多单集

看全部 90 期 →

会友镖局

会世界模型之争:预测对了,就算理解了吗?|对话于开丞

会友镖局 · 10 月 22 日 · 1 小时 34 分

世界模型之争:预测对了,就算理解了吗?|对话于开丞

在小宇宙播放
创作者写的节目说明

AI已经能生成令人惊叹的视频。但画面看起来合理,是否意味着它真的理解了重力、空间,以及物体之间的关系?

如果让机器人倒一杯水,我们应该给它看无数遍倒水的视频,还是让它先理解“杯子”“水”和“倾倒”,再把这些概念组合起来?

这一期《会友镖局·科技会客厅》,我们邀请于开丞,从自动驾驶聊到世界模型的不同路线,再聊到一个创业团队的技术取舍:为什么调整已经做出成绩的方向?当通用大模型开始操纵机械臂,创业公司的机会又在哪里?

【本期嘉宾】

于开丞|西湖大学自主智能实验室负责人、西湖大学特聘研究员、博士生导师、西湖数智(Awomo)创始人兼CEO,曾在阿里达摩院从事自动驾驶研究。

【本期判断】

世界模型这个名字之下,装着不同的技术目标和商业选择。 于开丞的选择,是让模型理解物理现象,并尝试通过概念的拆解与组合,获得举一反三的能力。在他的判断里,衡量这条路线的关键,是模型面对没见过的场景时,能否做出有效判断,以及这种能力能否随着训练规模扩大而持续提升。

【你会听到】

  • 为什么视频生成、空间生成、机器人决策,都被叫作世界模型?

  • 追求画面的美感,与追求物理真实性,会把模型带向哪些不同方向?

  • “概念世界模型”想解决什么问题?倒一杯水为什么是个好例子?

  • 通用大模型能操纵机械臂,是否意味着其他技术路线会被替代?

  • 一个17人的团队,如何在尚未收敛的技术方向上创业?

  • 有了AI,“老炮儿”的经验为什么可能更值钱?

【时间线】

第一章|同样叫世界模型,做的可能是不同的事

从生成图片、视频,到理解物理世界

从自动驾驶出发,为什么在2023年选择探索世界模型

语言模型与世界模型:从抽象知识出发,还是从物理信号出发

一次概念梳理:世界模型、空间智能与物理智能

互动娱乐、理解世界与操作世界,不同目标如何影响技术选择

第二章|从“看过很多遍”,到“能够举一反三”

用倒水解释“概念世界模型”:杯子、水和动作能否重新组合?

什么是隐空间?模型如何压缩和表达对世界的认识

可规模化训练与“智能斜率”:团队究竟在验证什么

通用大模型操纵机械臂,给世界模型团队带来了什么启发

让物理学家学切菜:能完成任务,与高效完成任务之间的距离

第三章|为什么调整一条已经做出成绩的路线

与杨立昆的思路有哪些共鸣,方法又有哪些不同

回看2024年:生成数据,再用数据训练机器人,这条路有什么局限?

为什么没有顺着原来的技术成果直接创业

半年左右的并行探索:转向并非一夜之间发生

数据、算法、算力,以及团队现阶段真正关注的场景

第四章|技术尚未收敛,创业者如何往前走

17人的团队:“老炮儿”与“小天才”如何搭配

AI改变工作方式之后,工程经验的价值

从研究者到创业者,思考问题的方式发生了什么变化

世界模型的“ChatGPT时刻”,需要出现什么能力

从解决一个问题,到追问一种方法能否规模化

非共识的选择:承认原有路线的局限,需要付出什么代价

【核心观点】

生成目标会影响模型的能力方向。 于开丞认为,服务内容创作与服务真实物理任务,对数据、评价标准和训练资源的要求存在差异,不能只凭生成画面的效果判断物理理解能力。

举一反三,是团队选择这条路线的核心理由。 他们希望模型通过学习、拆解和组合概念,处理训练中没有直接见过的场景,而不必为每种情况重新收集完整示例。

通用模型的进步,也在改变创业公司的考题。 除了证明任务能被完成,还需要证明自己的方案在效率、成本和规模化方面有价值。

AI让经验有了新的发挥方式。 于开丞观察到,工具能够放大执行能力,但工程判断、问题拆解和结果把关,依然需要长期积累。

【名词解释】

概念世界模型:本期嘉宾介绍的技术思路,强调关联语言概念与物理现象,通过概念的拆解、组合,探索跨场景的泛化能力。

智能斜率:嘉宾用来描述模型能力提升速度的表达,关注随着概念积累和组合增加,能力能否更快增长。

【延伸信息】

小红书:会友播客

小助手微信:huiyouhz


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

AI 看点

本期看点

AI 从整集转写里归纳的,不是节目方的宣传语

最值得听的

于开丞用3到4B小模型在物理世界榜单拿到第一或前列,与GPT-5.6同台竞争具身操作任务。

别处听不到的

他透露团队在Astra发布前就搭过GPT操控机械臂系统,实测一个抓取动作耗时3.5小时。

最打动人的

2024年拿完自动驾驶世界冠军后,他用半年时间说服团队推翻自己,转向更底层的世界模型预训练。

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

于开丞2023年就在自动驾驶里用扩散模型做世界模型,比Sora出圈早了一年。他讲清了娱乐派和干活派的根本分歧:一个追求美学分,一个追求物理真实。最实在的是他拿GPT-5.6 Astra实测——一个简单抓取动作要跑3.5小时,成功率从几乎做不到提到百分之十几。他还讲了2024年拿完世界冠军后主动推翻自己路线的那半年,以及3到4B小模型怎么在榜单上跟万亿模型同台。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

本期对话西湖大学自主智能实验室负责人、西湖数智创始人于开丞,围绕世界模型的技术路线展开。于开丞区分了娱乐导向的视频生成模型与物理世界导向的世界模型,解释语言模型“自上而下”与世界模型“自下而上”的底层差异,介绍其团队提出的“概念世界模型”与“智能斜率”思路。他回顾2024年放弃自动驾驶生成数据路线、转向底层预训练的判断过程,并讨论GPT-5.6 Astra操控机械臂的效率问题、世界模型与通用大模型的分工关系,以及两到三年内技术路线收拢的预期。

AI 识别的章节

章节

点一章从那里开始播 · 与创作者标的时间点各自独立

00:00

开场:为什么现在聊世界模型

07:30

语言模型是自上而下,世界模型是自下而上

10:56

世界模型定义太宽,扩散模型为何成为主流

15:56

2023年的早期探索与概念拆解

20:23

娱乐派与干活派的分野

23:02

视频生成模型为什么指导不了机器人

27:20

动作世界模型与科研场景

30:30

参数规模与所处阶段

32:42

概念世界模型:先学概念,再组合场景

37:10

为什么不用因果世界模型

41:01

3到4B模型在榜单上的表现

46:11

GPT-5.6 Astra操控机械臂:能跑但低效

51:42

大模型在背诵,世界模型在理解物理现象

56:44

架构选择与杨立昆路线的异同

59:08

2024年的自我推翻:从生成数据到原生预训练

1:04:47

为什么不做自动驾驶创业

1:09:50

数据、算力与商业化场景

1:14:47

VLA路线与团队两极文化

1:21:48

创业九个月的身份变化与行业判断

1:26:06

世界模型需要明星架构吗

1:29:44

最难的技术问题与收尾

本期提到的品牌与产品

节目里自然聊到的,不是广告

西湖大学嘉宾所属机构,自主智能实验室
00:16正面
阿里达摩院嘉宾此前工作单位
00:16中性
西湖数智嘉宾创立的公司
00:16正面
OpenAI作为大语言模型公司代表提及
10:26中性
Sora作为早期视频生成探索提及
16:11中性
GPT-5.6 Astra讨论其操控机械臂的效率
46:10中性
会会友镖局

会友镖局

以AI与人的位置为隐性主线的跨界深度对谈播客,常在外滩大会等线下活动录制,邀请学者、创业者、产品负责人与跨界嘉宾,从技术…

已收录 90 期 · 最近更新 11 月 17 日

这一期适合谁

AI 对内容的推测

听众画像25–34 岁为主 · 偏男性 · 消费力较高
更适合AI从业者

这一期偏哪一派

偏沪派节目由主持人围绕预设问题链推进,嘉宾以专业身份系统讲解技术路线,讨论范围被有意识地收束在概念界定与路线比较上。

在哪里听

https://feed.xyzfm.space/xgeyj6a3mngc复制

概要、章节、提及与推广标注由 AI 生成,可能有误;内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 90 期 →