4少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

在小宇宙播放
创作者写的节目说明

这期的嘉宾淏楠非常「折腾」。他读过五个大学,读着觉得没意思就换,也是少有的同时做过 Agent、多模态、RL 和具身的人,而且总是做一些逆势而为(非主流)的选择:

他曾在陈天桥和代季峰两位老师的 MiroMind 工作,是最早一批做 Agent 的人,却在 Agent 最热的时候放弃更丰厚的 package,转向多模态。在混元负责多模态 RL infra、主导推出开源多模态强化学习框架 UniRL 之后,他最近又换了方向,去了一家具身公司负责模型训练。其实,Astra 的出现给具身行业带来了不小的震动,也似乎抹平了各家此前在「大脑」上积累的优势。淏楠在此时入局,总有那么一丝「49 年加入国军」的意味。

不过,这些选择看似很跳,但背后的思考一脉相承,既关乎个人志趣,也有对技术发展和未来空间的判断。所以从 Agent 到多模态再到具身,一路做下来,淏楠收获了什么?这几个方向的实际进展,与外界的感知又有哪些不同?前段时间很火的 Minimax H3、GPT Astra,到底会带来哪些改变?这期播客,我们就沿着他的经历聊了下来。

聊到最后,淏楠谈起具身很兴奋。现在入局具身,可能不但不是 49 年入国军,反而恰好赶上了具身的 GPT-3 时刻?

【人类博物馆】

导游:曲凯,42章经创始人

54 号珍藏:王淏楠,前腾讯混元多模态 RL infra 负责人、主导开源多模态强化学习框架 UniRL,曾在 MiroMind 参与 Agent 研发,现于某具身智能公司负责基模预训练。

【时光机】

Part 1 从 Agent 到多模态

  • 为什么会从在 MiroMind 做 Agent,转去在混元做多模态 RL infra?

  • 国内外 RL 的差距到底在哪?

  • Agent 和多模态的关系其实可以很紧密

  • 做 Agent 和做多模态,其实都是围城

  • 大厂不太能做具身?

  • 多模态最后只有两条变现途径

Part 2 聊聊视频生成

  • Seedance 到底为啥这么好?

  • 多模态的竞争可能没那么激烈?

  • 视频生成现在发展到什么程度了?

  • 「抽卡」依然会存在,但概念可能会发生变化

  • 视频生成继续发展下去,可能会解锁什么样的机会?

  • MiniMax H3 到底什么水平?

  • 实时互动的技术真的成熟了吗?

Part 3 从多模态到具身

  • 好多人做世界模型都做迷茫了…

  • 做具身的两种正确路线

  • 为什么 Astra 给具身圈子带来了比较大的震动?

  • 聊聊具身训练的 reward 和数据

  • 具身的「大脑」,最后会变成大模型厂商的竞争吗?

  • 在现在这个时间节点去做具身,是不是 49 年入国军?

  • Agent 开发的场景还是不够多

  • 多模态还有创业公司的机会吗?

  • 具身里可能迎来了 GPT-3 时刻?

【The gang that made this happen】

  • 制作人:陈皮

  • 剪辑:二琳、陈皮

  • 片头:Mondo Bongo - Joe Strummer & The Mescaleros

  • 片尾:Alpine Decline - I Got Up (Just Like John Sinclair Told Us To)


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

AI 看点

本期看点

AI 从整集转写里归纳的,不是节目方的宣传语

最值得听的

具身数据管线的完整逻辑:小模型操作、GPT 接管失败步骤、遥操数据回流,成功率从 60 拉到 80。

别处听不到的

嘉宾同时做过 Agent、多模态 RL Infra 与具身基模预训练,讲得出三条线各自的围城与真实水位。

最打动人的

他提到 Astra 让自己第一次觉得「这东西真的能落地」,是一个研究者对技术拐点的真实反应。

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

一个同时做过 Agent、多模态 RL Infra 和具身基模的人,把三条线的真实水位讲了一遍:国内 RL 差距不在代码而在卡,视频生成只有六十分,抽卡未来拼的是审美不是质量。最实在的是他描述的那套数据管线——小模型先操作,失败时让 GPT 接管并留存遥操数据,成功率从 60 拉到 80,还拿酒店叠被子举例说明具身到底能落在哪。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

前混元多模态 RL Infra 负责人淏楠讲述自己从 language agent 到多模态、再到具身基模预训练的三次转向。他判断国内 RL Infra 与海外的差距主要在卡而非工程能力;视频生成目前约在「六十分」,抽卡的意义会从质量分歧转向审美分歧;世界模型短期难落地,市场情绪大于技术现实;Astra 之所以震动具身圈,是因为它真能输出有物理意义的动作序列。他还给出具身小厂的落地路径:硬件绑定小模型、用 GPT 接管失败步骤形成数据回流管线,并以酒店叠被子为例说明可落地场景。

AI 识别的章节

章节

点一章从那里开始播 · 与上面创作者标的时间点各自独立

00:03

开场:一个同时做过 Agent、多模态和具身的人

主播介绍嘉宾淏楠的履历:曾在 MiroMind 做 language agent,后在腾讯混元负责多模态 RL Infra,最近加入具身公司做基模预训练。本期打算沿着 Agent、多模态、具身三条线聊一遍。

02:21

为什么没选 Agent:造数据的天花板

淏楠回顾 2025 年 agent 爆发期自己最早一批做 web search 数据,但判断继续做大概率是造数据干一年,对个人积累不够有趣,于是转向多模态 RL Infra。

06:25

国内 RL Infra 与海外的差距在卡不在代码

他认为工程实践上的代差没那么大,真正短板是卡少导致实验少、积累慢;同样租一个月云,SFT 刷分效果最好。RL Infra、算法、reward 构成闭环。

09:07

Agent 与多模态的围城,以及为什么转向具身

两个圈子互相觉得对方有意思。多模态最后看下来两条变现路径:继续做视频生成,或做生成 action。后者与 diffusion 逻辑相近,迁移很丝滑。

13:53

视频生成没有 RL 时刻,更吃资本与数据

团队年初以为 diffusion test-time 能做出 reasoning,做了半年发现不行。视频生成更拼预训练和数据质量,数据没人开源,走不了捷径,更吃大团队。

16:40

六十分的视频生成与抽卡的意义变迁

AI 短剧已接近 Netflix 水平但仍有专业人为因素。模型约在六十分,操作仍很 suffer。抽卡会长期存在,但未来分歧来自审美偏好而非质量。

20:49

生成理解一体化与实时互动的两条路

换人等能力会被模型泛化吸收,理解帮助生成。实时互动分伪实时与真实时,目前都在第一条路线且不成熟;H3 大致相当于 2.0 水平,2.5 的精细控制更强。

24:09

一致性问题与对真实时的悲观

加速的 trick 容易让模型崩,镜头一转人脸就变。他认为目前保质量比保 realtime 更重要,模型越来越大天然更慢,真 realtime 短期悲观。

27:15

世界模型为什么让人迷茫

WSD 路线有人在做但最近不火,李飞飞买公司让很多人看不懂。做 research 的人一直知道短期做不出来,是市场情绪架住了大家;做出来能干啥也是问题。

31:06

Astra 为什么震动具身圈

具身需要输出有物理意义的低维 vector,让 language 模型写一串数字再解析成关节角不正常也不 work。Astra 真能按指令输出有意义的动作序列,且基于具身数据训练。

36:09

仿真数据与真机数据的取舍

大模型层面仿真数据有价值,像 game 一样的环境;具身厂商最终 care 能否操控自家机器,仍需真机数据。仿真环境的物理摩擦系数等极难做好。

41:06

大脑小脑叙事与具身厂商的现实

很多公司讲大脑是为了估值,但具身厂商的卡和大模型厂商差两个零。小厂应做好小脑与硬件绑定,上面套 Astra。他还谈到 AI for science 的两波人。

45:33

三条线的总结:Agent、多模态、具身各往哪走

Agent 智力已够,关键是场景覆盖与好用;多模态图片没什么可做,重点在视频可控性与 harness;具身大厂做上层、小厂靠硬件与产品绑定做差异化。

48:43

酒店叠被子与 GPT 接管的数据管线

他以酒店叠被子为例说明可落地场景,并描述一套数据管线:小模型先操作,失败时 GPT 接管并留存遥操数据,迭代后成功率从 60 拉到 80,形成软蒸馏与回流闭环。

42章经 · 更多单集

看全部 75 期 →

42章经

4少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

42章经 · 10 月 24 日 · 54 分钟

少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

在小宇宙播放
创作者写的节目说明

这期的嘉宾淏楠非常「折腾」。他读过五个大学,读着觉得没意思就换,也是少有的同时做过 Agent、多模态、RL 和具身的人,而且总是做一些逆势而为(非主流)的选择:

他曾在陈天桥和代季峰两位老师的 MiroMind 工作,是最早一批做 Agent 的人,却在 Agent 最热的时候放弃更丰厚的 package,转向多模态。在混元负责多模态 RL infra、主导推出开源多模态强化学习框架 UniRL 之后,他最近又换了方向,去了一家具身公司负责模型训练。其实,Astra 的出现给具身行业带来了不小的震动,也似乎抹平了各家此前在「大脑」上积累的优势。淏楠在此时入局,总有那么一丝「49 年加入国军」的意味。

不过,这些选择看似很跳,但背后的思考一脉相承,既关乎个人志趣,也有对技术发展和未来空间的判断。所以从 Agent 到多模态再到具身,一路做下来,淏楠收获了什么?这几个方向的实际进展,与外界的感知又有哪些不同?前段时间很火的 Minimax H3、GPT Astra,到底会带来哪些改变?这期播客,我们就沿着他的经历聊了下来。

聊到最后,淏楠谈起具身很兴奋。现在入局具身,可能不但不是 49 年入国军,反而恰好赶上了具身的 GPT-3 时刻?

【人类博物馆】

导游:曲凯,42章经创始人

54 号珍藏:王淏楠,前腾讯混元多模态 RL infra 负责人、主导开源多模态强化学习框架 UniRL,曾在 MiroMind 参与 Agent 研发,现于某具身智能公司负责基模预训练。

【时光机】

Part 1 从 Agent 到多模态

  • 为什么会从在 MiroMind 做 Agent,转去在混元做多模态 RL infra?

  • 国内外 RL 的差距到底在哪?

  • Agent 和多模态的关系其实可以很紧密

  • 做 Agent 和做多模态,其实都是围城

  • 大厂不太能做具身?

  • 多模态最后只有两条变现途径

Part 2 聊聊视频生成

  • Seedance 到底为啥这么好?

  • 多模态的竞争可能没那么激烈?

  • 视频生成现在发展到什么程度了?

  • 「抽卡」依然会存在,但概念可能会发生变化

  • 视频生成继续发展下去,可能会解锁什么样的机会?

  • MiniMax H3 到底什么水平?

  • 实时互动的技术真的成熟了吗?

Part 3 从多模态到具身

  • 好多人做世界模型都做迷茫了…

  • 做具身的两种正确路线

  • 为什么 Astra 给具身圈子带来了比较大的震动?

  • 聊聊具身训练的 reward 和数据

  • 具身的「大脑」,最后会变成大模型厂商的竞争吗?

  • 在现在这个时间节点去做具身,是不是 49 年入国军?

  • Agent 开发的场景还是不够多

  • 多模态还有创业公司的机会吗?

  • 具身里可能迎来了 GPT-3 时刻?

【The gang that made this happen】

  • 制作人:陈皮

  • 剪辑:二琳、陈皮

  • 片头:Mondo Bongo - Joe Strummer & The Mescaleros

  • 片尾:Alpine Decline - I Got Up (Just Like John Sinclair Told Us To)


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

AI 看点

本期看点

AI 从整集转写里归纳的,不是节目方的宣传语

最值得听的

具身数据管线的完整逻辑:小模型操作、GPT 接管失败步骤、遥操数据回流,成功率从 60 拉到 80。

别处听不到的

嘉宾同时做过 Agent、多模态 RL Infra 与具身基模预训练,讲得出三条线各自的围城与真实水位。

最打动人的

他提到 Astra 让自己第一次觉得「这东西真的能落地」,是一个研究者对技术拐点的真实反应。

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

一个同时做过 Agent、多模态 RL Infra 和具身基模的人,把三条线的真实水位讲了一遍:国内 RL 差距不在代码而在卡,视频生成只有六十分,抽卡未来拼的是审美不是质量。最实在的是他描述的那套数据管线——小模型先操作,失败时让 GPT 接管并留存遥操数据,成功率从 60 拉到 80,还拿酒店叠被子举例说明具身到底能落在哪。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

前混元多模态 RL Infra 负责人淏楠讲述自己从 language agent 到多模态、再到具身基模预训练的三次转向。他判断国内 RL Infra 与海外的差距主要在卡而非工程能力;视频生成目前约在「六十分」,抽卡的意义会从质量分歧转向审美分歧;世界模型短期难落地,市场情绪大于技术现实;Astra 之所以震动具身圈,是因为它真能输出有物理意义的动作序列。他还给出具身小厂的落地路径:硬件绑定小模型、用 GPT 接管失败步骤形成数据回流管线,并以酒店叠被子为例说明可落地场景。

AI 识别的章节

章节

点一章从那里开始播 · 与创作者标的时间点各自独立

00:03

开场:一个同时做过 Agent、多模态和具身的人

02:21

为什么没选 Agent:造数据的天花板

06:25

国内 RL Infra 与海外的差距在卡不在代码

09:07

Agent 与多模态的围城,以及为什么转向具身

13:53

视频生成没有 RL 时刻,更吃资本与数据

16:40

六十分的视频生成与抽卡的意义变迁

20:49

生成理解一体化与实时互动的两条路

24:09

一致性问题与对真实时的悲观

27:15

世界模型为什么让人迷茫

31:06

Astra 为什么震动具身圈

36:09

仿真数据与真机数据的取舍

41:06

大脑小脑叙事与具身厂商的现实

45:33

三条线的总结:Agent、多模态、具身各往哪走

48:43

酒店叠被子与 GPT 接管的数据管线

本期提到的品牌与产品

节目里自然聊到的,不是广告

MiroMind嘉宾早期做 language agent 的公司
02:03中性
腾讯混元嘉宾此前负责多模态 RL Infra 的团队
00:20中性
UniRL嘉宾在混元主力推进的 RL Infra 项目
00:20正面
Astra被认为震动具身圈的模型,能输出有物理意义的动作序列
32:40正面
Seedance被评价数据质量非常好
14:16正面
MiniMax H3被评估大致相当于 2.0 水平
22:45中性
442章经

42章经

面向AI从业者与早期创业者的深度对谈播客,聚焦AI模型技术前沿与创业实践的一线经验

已收录 75 期 · 最近更新 11 月 7 日

这一期适合谁

AI 对内容的推测

听众画像25–34 岁为主 · 偏男性 · 消费力较高
更适合AI 从业者

这一期偏哪一派

偏沪派主播以记者式提问推进,围绕预设问题逐层追问技术判断,嘉宾专业性驱动内容,跑题被有意识收住。

在哪里听

https://feed.xyzfm.space/evgg6xle9rdc复制

概要、章节、提及与推广标注由 AI 生成,可能有误;内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 75 期 →