
我们把AI用成了不同的人|橘子、延君晨、向阳乔木聊Personal Agent
11 月 17 日 · 1 小时 09 分

AI已经能生成令人惊叹的视频。但画面看起来合理,是否意味着它真的理解了重力、空间,以及物体之间的关系?
如果让机器人倒一杯水,我们应该给它看无数遍倒水的视频,还是让它先理解“杯子”“水”和“倾倒”,再把这些概念组合起来?
这一期《会友镖局·科技会客厅》,我们邀请于开丞,从自动驾驶聊到世界模型的不同路线,再聊到一个创业团队的技术取舍:为什么调整已经做出成绩的方向?当通用大模型开始操纵机械臂,创业公司的机会又在哪里?
【本期嘉宾】
于开丞|西湖大学自主智能实验室负责人、西湖大学特聘研究员、博士生导师、西湖数智(Awomo)创始人兼CEO,曾在阿里达摩院从事自动驾驶研究。
【本期判断】
世界模型这个名字之下,装着不同的技术目标和商业选择。 于开丞的选择,是让模型理解物理现象,并尝试通过概念的拆解与组合,获得举一反三的能力。在他的判断里,衡量这条路线的关键,是模型面对没见过的场景时,能否做出有效判断,以及这种能力能否随着训练规模扩大而持续提升。
【你会听到】
为什么视频生成、空间生成、机器人决策,都被叫作世界模型?
追求画面的美感,与追求物理真实性,会把模型带向哪些不同方向?
“概念世界模型”想解决什么问题?倒一杯水为什么是个好例子?
通用大模型能操纵机械臂,是否意味着其他技术路线会被替代?
一个17人的团队,如何在尚未收敛的技术方向上创业?
有了AI,“老炮儿”的经验为什么可能更值钱?
【时间线】
第一章|同样叫世界模型,做的可能是不同的事
从生成图片、视频,到理解物理世界
从自动驾驶出发,为什么在2023年选择探索世界模型
语言模型与世界模型:从抽象知识出发,还是从物理信号出发
一次概念梳理:世界模型、空间智能与物理智能
互动娱乐、理解世界与操作世界,不同目标如何影响技术选择
第二章|从“看过很多遍”,到“能够举一反三”
用倒水解释“概念世界模型”:杯子、水和动作能否重新组合?
什么是隐空间?模型如何压缩和表达对世界的认识
可规模化训练与“智能斜率”:团队究竟在验证什么
通用大模型操纵机械臂,给世界模型团队带来了什么启发
让物理学家学切菜:能完成任务,与高效完成任务之间的距离
第三章|为什么调整一条已经做出成绩的路线
与杨立昆的思路有哪些共鸣,方法又有哪些不同
回看2024年:生成数据,再用数据训练机器人,这条路有什么局限?
为什么没有顺着原来的技术成果直接创业
半年左右的并行探索:转向并非一夜之间发生
数据、算法、算力,以及团队现阶段真正关注的场景
第四章|技术尚未收敛,创业者如何往前走
17人的团队:“老炮儿”与“小天才”如何搭配
AI改变工作方式之后,工程经验的价值
从研究者到创业者,思考问题的方式发生了什么变化
世界模型的“ChatGPT时刻”,需要出现什么能力
从解决一个问题,到追问一种方法能否规模化
非共识的选择:承认原有路线的局限,需要付出什么代价
【核心观点】
生成目标会影响模型的能力方向。 于开丞认为,服务内容创作与服务真实物理任务,对数据、评价标准和训练资源的要求存在差异,不能只凭生成画面的效果判断物理理解能力。
举一反三,是团队选择这条路线的核心理由。 他们希望模型通过学习、拆解和组合概念,处理训练中没有直接见过的场景,而不必为每种情况重新收集完整示例。
通用模型的进步,也在改变创业公司的考题。 除了证明任务能被完成,还需要证明自己的方案在效率、成本和规模化方面有价值。
AI让经验有了新的发挥方式。 于开丞观察到,工具能够放大执行能力,但工程判断、问题拆解和结果把关,依然需要长期积累。
【名词解释】
概念世界模型:本期嘉宾介绍的技术思路,强调关联语言概念与物理现象,通过概念的拆解、组合,探索跨场景的泛化能力。
智能斜率:嘉宾用来描述模型能力提升速度的表达,关注随着概念积累和组合增加,能力能否更快增长。
【延伸信息】
小红书:会友播客
小助手微信:huiyouhz
说明里标出的时间点,点一下跳过去
AI 从整集转写里归纳的,不是节目方的宣传语
于开丞用3到4B小模型在物理世界榜单拿到第一或前列,与GPT-5.6同台竞争具身操作任务。
他透露团队在Astra发布前就搭过GPT操控机械臂系统,实测一个抓取动作耗时3.5小时。
2024年拿完自动驾驶世界冠军后,他用半年时间说服团队推翻自己,转向更底层的世界模型预训练。
AI 读完整集转写后给出的推荐理由
于开丞2023年就在自动驾驶里用扩散模型做世界模型,比Sora出圈早了一年。他讲清了娱乐派和干活派的根本分歧:一个追求美学分,一个追求物理真实。最实在的是他拿GPT-5.6 Astra实测——一个简单抓取动作要跑3.5小时,成功率从几乎做不到提到百分之十几。他还讲了2024年拿完世界冠军后主动推翻自己路线的那半年,以及3到4B小模型怎么在榜单上跟万亿模型同台。
由 AI 从整集转写生成,是创作者说明之外的补充
本期对话西湖大学自主智能实验室负责人、西湖数智创始人于开丞,围绕世界模型的技术路线展开。于开丞区分了娱乐导向的视频生成模型与物理世界导向的世界模型,解释语言模型“自上而下”与世界模型“自下而上”的底层差异,介绍其团队提出的“概念世界模型”与“智能斜率”思路。他回顾2024年放弃自动驾驶生成数据路线、转向底层预训练的判断过程,并讨论GPT-5.6 Astra操控机械臂的效率问题、世界模型与通用大模型的分工关系,以及两到三年内技术路线收拢的预期。
点一章从那里开始播 · 与上面创作者标的时间点各自独立
开场:为什么现在聊世界模型
主持人介绍嘉宾于开丞的达摩院与西湖大学背景,点明本期要聊世界模型的技术路线、商业化思考。于开丞回顾2023年在自动驾驶中注意到扩散模型能建模3D物理世界的早期判断。
语言模型是自上而下,世界模型是自下而上
于开丞解释语言模型继承人类几千年抽象出的语言系统,高效但建立在抽象之上;世界模型则试图直接建模物理世界的连续信号,两者耦合但本质不同。
世界模型定义太宽,扩散模型为何成为主流
世界模型的数学定义宽泛到几乎无法区分玩家。于开丞解释扩散模型更适合连续空间建模,而语言模型处理的是离散符号,两者数学结构不同。
2023年的早期探索与概念拆解
团队早期用扩散模型生成驾驶场景数据,发现没有3D信息对驾驶任务帮助有限。于开丞提出核心能力在于概念的拆解与组合,即“举一反三”。
娱乐派与干活派的分野
于开丞把世界模型分为娱乐导向和物理世界导向两派,前者追求美学分和视觉刺激,后者追求物理真实与任务完成。他明确自己选择后者,并认为世界模型可能成为科学母机。
视频生成模型为什么指导不了机器人
于开丞用“看监控”的比喻说明物理任务需要的是平淡稳定的连续画面,而娱乐模型被优化去追求爆点和刺激,训练数据与优化方向都不同。
动作世界模型与科研场景
动作世界模型与机器人绑定较深,但于开丞强调理解物理世界后还可用于细胞运动、生化现象等科研场景。他承认娱乐是更大的商业化渠道,但团队选择更早期的物理实体空间路线。
参数规模与所处阶段
于开丞估计物理空间为主的世界模型参数在1B到100B之间,远小于语言模型的T级。他认为世界模型仍处于爬坡阶段,通用预训练能力还在路上。
概念世界模型:先学概念,再组合场景
于开丞用倒水的例子解释概念世界模型:不是灌大量倒水视频,而是先让模型内化杯子、水、倒的动作等基本概念,再在隐空间中组合出未见过的场景。他解释隐空间相当于模型对世界的压缩表征。
为什么不用因果世界模型
于开丞认为因果模型太绝对,一因一果会伤害模型泛化能力;概念更泛化,适合数据驱动模型。他提出“智能斜率”概念,认为概念组合能让模型能力出现更陡的上升。
3到4B模型在榜单上的表现
于开丞称团队用3到4B的小模型在多个物理世界榜单拿到第一或前列,包括与GPT-5.6同台的具身操作榜单。他认为这验证了智能斜率的存在,但更多内部结果尚未发布。
GPT-5.6 Astra操控机械臂:能跑但低效
于开丞透露团队在Astra发布前就搭过类似系统,实测一个简单抓取动作需要3.5小时,成功率从GPT-5.6的几乎做不到提升到百分之十几。他认为大模型与世界模型是分工而非替代关系。
大模型在背诵,世界模型在理解物理现象
于开丞认为以GPT为代表的大模型本质上在模仿和背诵人类提供的能力,而世界模型直接面向物理现象。他讨论RSI只是效率提升,关键决策仍由人做。
架构选择与杨立昆路线的异同
团队采用扩散与自回归混合架构,将逐步开源。于开丞认可杨立昆的思路,但方法完全不同,受限于团队规模不严格follow其架构。
2024年的自我推翻:从生成数据到原生预训练
于开丞回顾2024年放弃“生成数据喂给现有研发流程”的路线,原因是生成像素成本高且不够本质,通用机器人领域无法为失败场景兜底。切换花了约半年,两条线并行后彻底划线。
为什么不做自动驾驶创业
主持人问为何不沿着已拿世界冠军的自动驾驶路线创业,于开丞回答“智能斜率不高”,那条路线线性增长,没有解决本质的智能问题。他透露公司成立九个月,已有机器人公司来谈合作。
数据、算力与商业化场景
于开丞说数据、算法、算力三要素中算法内部可控,数据比例保密,物理现象数据最有效且稀缺。团队更关注给机器人长脑子而非单纯操作,具体商业场景明年一二月公布。
VLA路线与团队两极文化
于开丞认为VLA路线做定制交付可以,但难以泛化出通用大脑。他介绍团队17人呈“老炮加小天才”两极结构,认为AI时代经验与工程化能力变得更稀缺。
创业九个月的身份变化与行业判断
于开丞谈从达摩院到高校再到创业的资源聚拢过程,认为物理世界通用智能方向被行业笃定,但哪个团队能走到最后尚不确定。他预计两到三年内技术路线收拢。
世界模型需要明星架构吗
于开丞认为扩散模型已经是世界模型的明星架构,transformer被过度夸张。他预计两到三年内出现世界模型的“GPT时刻”,标准是自然语言能解决80%的机器人任务。
最难的技术问题与收尾
于开丞说最难的是把概念拆解与泛化持续做深做大,让智能斜率越来越陡。他回顾两次认知转折:2024年放弃旧路线,以及创业后从零做预训练时思考角度的变化。主持人致谢收尾。

我们把AI用成了不同的人|橘子、延君晨、向阳乔木聊Personal Agent
11 月 17 日 · 1 小时 09 分

AI已经这么强了,为什么我妈还是用不起来?|硅谷101×灵光
11 月 13 日 · 1 小时

9 月 12 日 · 56 分钟

9 月 12 日 · 46 分钟

会友镖局 · 10 月 22 日 · 1 小时 34 分
AI已经能生成令人惊叹的视频。但画面看起来合理,是否意味着它真的理解了重力、空间,以及物体之间的关系?
如果让机器人倒一杯水,我们应该给它看无数遍倒水的视频,还是让它先理解“杯子”“水”和“倾倒”,再把这些概念组合起来?
这一期《会友镖局·科技会客厅》,我们邀请于开丞,从自动驾驶聊到世界模型的不同路线,再聊到一个创业团队的技术取舍:为什么调整已经做出成绩的方向?当通用大模型开始操纵机械臂,创业公司的机会又在哪里?
【本期嘉宾】
于开丞|西湖大学自主智能实验室负责人、西湖大学特聘研究员、博士生导师、西湖数智(Awomo)创始人兼CEO,曾在阿里达摩院从事自动驾驶研究。
【本期判断】
世界模型这个名字之下,装着不同的技术目标和商业选择。 于开丞的选择,是让模型理解物理现象,并尝试通过概念的拆解与组合,获得举一反三的能力。在他的判断里,衡量这条路线的关键,是模型面对没见过的场景时,能否做出有效判断,以及这种能力能否随着训练规模扩大而持续提升。
【你会听到】
为什么视频生成、空间生成、机器人决策,都被叫作世界模型?
追求画面的美感,与追求物理真实性,会把模型带向哪些不同方向?
“概念世界模型”想解决什么问题?倒一杯水为什么是个好例子?
通用大模型能操纵机械臂,是否意味着其他技术路线会被替代?
一个17人的团队,如何在尚未收敛的技术方向上创业?
有了AI,“老炮儿”的经验为什么可能更值钱?
【时间线】
第一章|同样叫世界模型,做的可能是不同的事
从生成图片、视频,到理解物理世界
从自动驾驶出发,为什么在2023年选择探索世界模型
语言模型与世界模型:从抽象知识出发,还是从物理信号出发
一次概念梳理:世界模型、空间智能与物理智能
互动娱乐、理解世界与操作世界,不同目标如何影响技术选择
第二章|从“看过很多遍”,到“能够举一反三”
用倒水解释“概念世界模型”:杯子、水和动作能否重新组合?
什么是隐空间?模型如何压缩和表达对世界的认识
可规模化训练与“智能斜率”:团队究竟在验证什么
通用大模型操纵机械臂,给世界模型团队带来了什么启发
让物理学家学切菜:能完成任务,与高效完成任务之间的距离
第三章|为什么调整一条已经做出成绩的路线
与杨立昆的思路有哪些共鸣,方法又有哪些不同
回看2024年:生成数据,再用数据训练机器人,这条路有什么局限?
为什么没有顺着原来的技术成果直接创业
半年左右的并行探索:转向并非一夜之间发生
数据、算法、算力,以及团队现阶段真正关注的场景
第四章|技术尚未收敛,创业者如何往前走
17人的团队:“老炮儿”与“小天才”如何搭配
AI改变工作方式之后,工程经验的价值
从研究者到创业者,思考问题的方式发生了什么变化
世界模型的“ChatGPT时刻”,需要出现什么能力
从解决一个问题,到追问一种方法能否规模化
非共识的选择:承认原有路线的局限,需要付出什么代价
【核心观点】
生成目标会影响模型的能力方向。 于开丞认为,服务内容创作与服务真实物理任务,对数据、评价标准和训练资源的要求存在差异,不能只凭生成画面的效果判断物理理解能力。
举一反三,是团队选择这条路线的核心理由。 他们希望模型通过学习、拆解和组合概念,处理训练中没有直接见过的场景,而不必为每种情况重新收集完整示例。
通用模型的进步,也在改变创业公司的考题。 除了证明任务能被完成,还需要证明自己的方案在效率、成本和规模化方面有价值。
AI让经验有了新的发挥方式。 于开丞观察到,工具能够放大执行能力,但工程判断、问题拆解和结果把关,依然需要长期积累。
【名词解释】
概念世界模型:本期嘉宾介绍的技术思路,强调关联语言概念与物理现象,通过概念的拆解、组合,探索跨场景的泛化能力。
智能斜率:嘉宾用来描述模型能力提升速度的表达,关注随着概念积累和组合增加,能力能否更快增长。
【延伸信息】
小红书:会友播客
小助手微信:huiyouhz
说明里标出的时间点,点一下跳过去
AI 从整集转写里归纳的,不是节目方的宣传语
于开丞用3到4B小模型在物理世界榜单拿到第一或前列,与GPT-5.6同台竞争具身操作任务。
他透露团队在Astra发布前就搭过GPT操控机械臂系统,实测一个抓取动作耗时3.5小时。
2024年拿完自动驾驶世界冠军后,他用半年时间说服团队推翻自己,转向更底层的世界模型预训练。
AI 读完整集转写后给出的推荐理由
于开丞2023年就在自动驾驶里用扩散模型做世界模型,比Sora出圈早了一年。他讲清了娱乐派和干活派的根本分歧:一个追求美学分,一个追求物理真实。最实在的是他拿GPT-5.6 Astra实测——一个简单抓取动作要跑3.5小时,成功率从几乎做不到提到百分之十几。他还讲了2024年拿完世界冠军后主动推翻自己路线的那半年,以及3到4B小模型怎么在榜单上跟万亿模型同台。
由 AI 从整集转写生成,是创作者说明之外的补充
本期对话西湖大学自主智能实验室负责人、西湖数智创始人于开丞,围绕世界模型的技术路线展开。于开丞区分了娱乐导向的视频生成模型与物理世界导向的世界模型,解释语言模型“自上而下”与世界模型“自下而上”的底层差异,介绍其团队提出的“概念世界模型”与“智能斜率”思路。他回顾2024年放弃自动驾驶生成数据路线、转向底层预训练的判断过程,并讨论GPT-5.6 Astra操控机械臂的效率问题、世界模型与通用大模型的分工关系,以及两到三年内技术路线收拢的预期。
点一章从那里开始播 · 与创作者标的时间点各自独立
开场:为什么现在聊世界模型
语言模型是自上而下,世界模型是自下而上
世界模型定义太宽,扩散模型为何成为主流
2023年的早期探索与概念拆解
娱乐派与干活派的分野
视频生成模型为什么指导不了机器人
动作世界模型与科研场景
参数规模与所处阶段
概念世界模型:先学概念,再组合场景
为什么不用因果世界模型
3到4B模型在榜单上的表现
GPT-5.6 Astra操控机械臂:能跑但低效
大模型在背诵,世界模型在理解物理现象
架构选择与杨立昆路线的异同
2024年的自我推翻:从生成数据到原生预训练
为什么不做自动驾驶创业
数据、算力与商业化场景
VLA路线与团队两极文化
创业九个月的身份变化与行业判断
世界模型需要明星架构吗
最难的技术问题与收尾
节目里自然聊到的,不是广告

AI 对内容的推测
☕🧄 这个比喻出自 2009 年周立波的一句「喝咖啡的怎么能和吃大蒜的呆在一起呢」;郭德纲后来在《你要高雅》里回了一句「雅和俗分不开,喝着咖啡就着大蒜,秋水共长天一色」。我们借它标注风格取向 —— 两端没有高下,编辑部式与熟人局式都能做出极好的节目。
https://feed.xyzfm.space/xgeyj6a3mngc复制概要、章节、提及与推广标注由 AI 生成,可能有误;内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

我们把AI用成了不同的人|橘子、延君晨、向阳乔木聊Personal Agent
11 月 17 日 · 1 小时 09 分

AI已经这么强了,为什么我妈还是用不起来?|硅谷101×灵光
11 月 13 日 · 1 小时

9 月 12 日 · 56 分钟