4从蒸馏到合成数据到 RSI,模型竞争的下一个焦点是什么?|对谈 Evolvent AI 联创孟繁青

从蒸馏到合成数据到 RSI,模型竞争的下一个焦点是什么?|对谈 Evolvent AI 联创孟繁青

42章经·2026 年 8 月 8 日·59 分钟人工智能科技产业求职与招聘
在小宇宙播放
创作者写的节目说明

活动预告🥳:8 月 22 日,我们会请到繁青做一场线上活动,还会有数十位 model researchers 参与,大家记得翻到 shownotes 末尾查看报名信息!

近几个月,我们找了很多做模型、算法的人交流,聊下来的感受之一是:数据的重要性再次凸显出来。

市场也有很明确的对应反馈,比如一批合成数据公司在很短时间内做出了可观的收入;无论是模型厂还是互联网大厂,都在数据上更为投入。

这期节目,我们请来了较早抓住这波合成数据机会的 Evolvent AI 联合创始人孟繁青。繁青是 01 年出生的 NUS PhD,曾在 Kimi 做过一年多的 Agent 和 RL Infra。

节目里,我们从他在模型厂做 Post-training 与出来创业的不同感受聊起,也相继把有关后训练、数据、RSI/Self-Evolving/AI for AI、国内模型竞争格局,甚至蒸馏这个相对敏感的话题,都比较完整地梳理了一遍,聊出的一个最大非共识,是繁青对国内外模型差异的判断:

原本我们以为,国内更有优势的会是偏工程的 Post-training;但在他看来,国内模型真正有特色的地方,反而是 Pre-training 阶段被资源限制倒逼出来的架构创新。

基于这个认知,我们也得出了一个让人乐观的结论:

很多人会说国模很依赖蒸馏,但繁青认为,蒸馏只是一个加速手段,并不是国内模型变强的决定性因素。就算有一天海外把所有蒸馏通道都封掉,国模依然可以靠预训练的创新能力,构建起自己的竞争力。

最后,Evolvent AI 最近发布了新的研究成果 RSIBench-Data。如果有朋友想在数据、RSI 方面进行交流,也欢迎联系繁青。

【人类博物馆】

导游:曲凯,42章经创始人

51 号珍藏:孟繁青,Evolvent AI 联合创始人;前 Kimi RL 实习生,foucs 在 RL Infra,参与 Kimi K2.5、Kimi Linear 等重要模型发版

【时光机】

Part 1 后训练与模型竞争

  • 在 Kimi 和出来创业的感受有什么不同?

  • 为什么 Post-training 背景的人更容易出来创业?有哪些可能性?

  • 今天的 Bench 和 Eval,与过去相比有什么变化?

  • Post-training = 做数据、训模型的门槛在变低?

  • 同样是做数据,拉开质量差距的是什么?

  • 国内模型 vs 海外模型,优势其实在 Pre-training?

  • 国模的竞争格局会怎样发展?最后大家要拼的是什么?

Part 2 RSI

  • RSI、Self-Evolving、AI for AI、Auto-Research……该怎么理解这些词?

  • 如果 RSI 真的能转起来,模型是不是真的就要吃掉一切了?

  • 假设模型真能自我迭代,创业公司为什么不直接做一个更好的基模?

  • 要做好 RSI,本质上要解决什么问题?

  • RSI 继续发展下去,会引发怎样的变化?

Part 3 数据

  • 模型对数据的需求经历了哪几波变化?

  • 模型厂自己也能造数据,为什么还要外采?

  • 数据的下一波机会可能是什么?

  • 现在是「算法就是数据,数据就是 Infra,Infra 就是算法」?

  • 怎么理解合成数据和蒸馏之间的关系?蒸馏技法的区别在哪?

Part 4 展望

  • 模型现有的技术路线还有多大空间?

  • 为什么最近 AI4S 火了起来?

  • 相比于大厂,长期更看好初创模型公司?

  • 蒸馏对国内模型追赶的意义到底有多大?

  • 从合成数据到 RSIBench-Data,Evolvent AI 最终想做成什么?

【活动预告🥳】

8 月 22 日,我们会请到我们会请到繁青做一场线上活动,还会有数十位 model researchers 参与,感兴趣的朋友欢迎点击链接或扫描下面的二维码,一起来认识&交流!

【The gang that made this happen】

  • 制作人:陈皮

  • 剪辑:陈皮

  • 片头:Mondo Bongo - Joe Strummer & The Mescaleros

  • 片尾:GeGeGe - 光のサイン


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

AI 看点

本期看点

AI 从整集转写里归纳的,不是节目方的宣传语

最值得听的

嘉宾断言不存在 RSI 基模:RSI 本质是带剪枝的 DFS,能力在预训练时就已内化,创业机会在模型厂与应用层之间。

别处听不到的

Kimi 内部训练生态、合成数据几千元一个长任务的行情、RSI 轨迹要跑十几小时,都是一线从业者才说得出的细节。

最打动人的

谈到招人标准时他说,工程能力好的人比学术能力很强的人更好,团队以零零后 researcher 为主。

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

一个 00 后研究员,博士没毕业就创业,在 Kimi 实习时参与过 K2.5。他把当下最热的 RSI 说成“一个更聪明的 DFS”,还断言根本不存在 RSI 基模——因为这种能力在预训练时就被内化了。节目里还有合成数据几千块一个长任务、一条 RSI 轨迹要跑十几小时这样的具体行情,以及一个反直觉判断:国内模型其实是预训练更强、后训练更弱。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

Evolvent AI 联合创始人孟繁青(NUS 博士生,曾在 Kimi 实习、参与 Kimi Linear 与 K2.5)与曲凯对谈,从 post-training 创业者画像切入,讨论 bench 从做题到造环境的演变、造数据的 know-how 为何难以被 Agent 替代、国内模型“预训练更强、后训练更弱”的反直觉判断、组织架构为何成为长期胜负手,以及 RSI 的本质是“更聪明的 DFS”、不存在 RSI 基模的论断。后半段梳理数据四代更替、合成数据与蒸馏的关系、蒸馏并非国内追赶的决定性因素,以及 AI for Science 与多模态的位置,最后介绍公司做合成数据与 RSI 中间层的规划。

AI 识别的章节

章节

点一章从那里开始播 · 与上面创作者标的时间点各自独立

00:03

从 Kimi 实习到创业:post-training 的人为什么都出来了

孟繁青介绍自己在 Kimi 做 Agent 与 RL infra、参与 Kimi Linear 和 K2.5 的经历,以及创业后不再训基模、转而做与模型智力正交的事。他解释预训练吃资源、后训练离落地更近,所以后训练背景的创业者更多。

07:08

bench 变了:从做数学题到造一个白领的工作环境

现在的 bench 要给模型造出带飞书、Notion 的工作环境,让它在里面长时间探索。环境正确性靠与真实软件输出比对,评分拆成多个细项仍依赖人工设计。训模型门槛确实降低,但造数据的 know-how 才是核心能力,数据比 infra 更重要。

13:04

反直觉判断:国内预训练更强,后训练更弱

国内在算力远少于海外的情况下,靠 Kimi Linear、DeepSeek 注意力机制等底层架构创新逼近前沿;后训练偏弱不是技术实力问题,而是数据积淀晚半年,目前主要靠蒸馏补足。数据积淀拼人力与组织,优化更难。

17:26

交替领先的格局,与拼到最后拼组织

开源社区内会呈现某家发大版本领先几个月、再被超越的交替局面。人才与数据都能靠投入补齐,但混元的例子说明组织架构设计才是长期变量,比如多模态部门该不该独立。

21:45

RSI 是什么:给模型一个环境和一个目标

Self-Evolving、AI for AI、RSI 形式上是同一件事:给模型环境与目标,让它持续操作、根据反馈修改自己。从表层结果自检到 harness 自迭代再到模型训模型都算,最难的是模型自己训自己。垂域仍需要自己的 harness 与更小的开源模型。

28:20

模型厂降价与创业公司的位置

降价有商业考量,垄断后未必持续降;垂域有数据隐私需求,不一定愿意用闭源大模型。创业公司不该去训 RSI 基模、也不该做 RSI harness,而应做模型厂与应用层之间的 RSI 通道。

30:51

RSI 的本质是一个更聪明的 DFS

现在所有 RSI 方法都可看作带剪枝的 DFS,回溯由 LLM 判断而非代码。剪枝需要预判未来状态与收益,即 world model 加 value model,而这两者在预训练时已被内化,因此不存在 RSI 基模,进步只来自知识内化与更长的 context。

34:31

数据的四代更替与 Agent 数据的两种来源

从 raw data 到专家标注再到合成数据,专家数据因要求变高而减少。模型从 chatbot 到推理机器再到 agent,催生 agent 数据:造环境跑轨迹的合成数据,与真人在工作环境中的交互轨迹。

38:10

数据的价格、外采逻辑与下一波 RSI 数据

合成数据贵的能卖到几千一个长任务,专家数据一两千,真人轨迹走量。模型厂外采是为补分布,bench 收敛后需求减少。下一波是 RSI 数据——一条后训练小模型的完整轨迹可能要跑十几小时,普通用户的数据卖不出去。

42:45

算法就是数据,数据就是 infra

算法收敛到最简单形式,infra 解决长尾推理导致的卡闲置,数据驱动算法与 infra 的进一步设计。数据量会继续增加但不会无限,agent 使用增多会反哺更好的合成数据。

46:26

合成数据与蒸馏:硬抄还是有技巧

环境足够复杂、题目与评分足够高质量,本身就是极难的事,做出来就是有技巧的蒸馏。合成数据对落后模型价值更高,但对领先模型同样有效——模型自己探索出正确轨迹再训自己,就是 RSI。

48:50

Coding 之外:AI for Science 成为智力新标尺

coding 仍是主发力方向但 pipeline 趋稳,各家转向 AI for Science,设计分子与蛋白质。仅从 coding 已难体现模型质变,science 是衡量智力的直接标尺,叙事从奥赛转向诺贝尔。

51:40

大厂与 AI lab 的长期分野,以及多模态的位置

技术在公司间流通,差异最终落在人与组织形态上。多模态不该被排除在主线外,只是受资源限制;文本信息高度压缩学得快,多模态噪声多发展慢,但 AI 进入物理世界后听觉触觉都会重要。

54:07

蒸馏不是国内模型变强的决定性因素

智力基础来自预训练,国内在预训练架构上做得好,这是追赶主因;蒸馏只是加速手段,封掉 API 也不影响追赶,只是更费劲。字节不蒸馏的考虑是怕抄近道错过主路上的 insight。

56:28

Evolvent AI 在做什么,以及他们要招什么人

公司跑了半年,团队以零零后 researcher 为主,做合成数据商单与 bench 学术探索,长期做桥接模型厂与应用层的 RSI 中间层,已发布 RSIBench-Data。招人不看论文与引用,更看工程能力。

42章经 · 更多单集

看全部 75 期 →

42章经

4从蒸馏到合成数据到 RSI,模型竞争的下一个焦点是什么?|对谈 Evolvent AI 联创孟繁青

42章经 · 8 月 8 日 · 59 分钟

从蒸馏到合成数据到 RSI,模型竞争的下一个焦点是什么?|对谈 Evolvent AI 联创孟繁青

在小宇宙播放
创作者写的节目说明

活动预告🥳:8 月 22 日,我们会请到繁青做一场线上活动,还会有数十位 model researchers 参与,大家记得翻到 shownotes 末尾查看报名信息!

近几个月,我们找了很多做模型、算法的人交流,聊下来的感受之一是:数据的重要性再次凸显出来。

市场也有很明确的对应反馈,比如一批合成数据公司在很短时间内做出了可观的收入;无论是模型厂还是互联网大厂,都在数据上更为投入。

这期节目,我们请来了较早抓住这波合成数据机会的 Evolvent AI 联合创始人孟繁青。繁青是 01 年出生的 NUS PhD,曾在 Kimi 做过一年多的 Agent 和 RL Infra。

节目里,我们从他在模型厂做 Post-training 与出来创业的不同感受聊起,也相继把有关后训练、数据、RSI/Self-Evolving/AI for AI、国内模型竞争格局,甚至蒸馏这个相对敏感的话题,都比较完整地梳理了一遍,聊出的一个最大非共识,是繁青对国内外模型差异的判断:

原本我们以为,国内更有优势的会是偏工程的 Post-training;但在他看来,国内模型真正有特色的地方,反而是 Pre-training 阶段被资源限制倒逼出来的架构创新。

基于这个认知,我们也得出了一个让人乐观的结论:

很多人会说国模很依赖蒸馏,但繁青认为,蒸馏只是一个加速手段,并不是国内模型变强的决定性因素。就算有一天海外把所有蒸馏通道都封掉,国模依然可以靠预训练的创新能力,构建起自己的竞争力。

最后,Evolvent AI 最近发布了新的研究成果 RSIBench-Data。如果有朋友想在数据、RSI 方面进行交流,也欢迎联系繁青。

【人类博物馆】

导游:曲凯,42章经创始人

51 号珍藏:孟繁青,Evolvent AI 联合创始人;前 Kimi RL 实习生,foucs 在 RL Infra,参与 Kimi K2.5、Kimi Linear 等重要模型发版

【时光机】

Part 1 后训练与模型竞争

  • 在 Kimi 和出来创业的感受有什么不同?

  • 为什么 Post-training 背景的人更容易出来创业?有哪些可能性?

  • 今天的 Bench 和 Eval,与过去相比有什么变化?

  • Post-training = 做数据、训模型的门槛在变低?

  • 同样是做数据,拉开质量差距的是什么?

  • 国内模型 vs 海外模型,优势其实在 Pre-training?

  • 国模的竞争格局会怎样发展?最后大家要拼的是什么?

Part 2 RSI

  • RSI、Self-Evolving、AI for AI、Auto-Research……该怎么理解这些词?

  • 如果 RSI 真的能转起来,模型是不是真的就要吃掉一切了?

  • 假设模型真能自我迭代,创业公司为什么不直接做一个更好的基模?

  • 要做好 RSI,本质上要解决什么问题?

  • RSI 继续发展下去,会引发怎样的变化?

Part 3 数据

  • 模型对数据的需求经历了哪几波变化?

  • 模型厂自己也能造数据,为什么还要外采?

  • 数据的下一波机会可能是什么?

  • 现在是「算法就是数据,数据就是 Infra,Infra 就是算法」?

  • 怎么理解合成数据和蒸馏之间的关系?蒸馏技法的区别在哪?

Part 4 展望

  • 模型现有的技术路线还有多大空间?

  • 为什么最近 AI4S 火了起来?

  • 相比于大厂,长期更看好初创模型公司?

  • 蒸馏对国内模型追赶的意义到底有多大?

  • 从合成数据到 RSIBench-Data,Evolvent AI 最终想做成什么?

【活动预告🥳】

8 月 22 日,我们会请到我们会请到繁青做一场线上活动,还会有数十位 model researchers 参与,感兴趣的朋友欢迎点击链接或扫描下面的二维码,一起来认识&交流!

【The gang that made this happen】

  • 制作人:陈皮

  • 剪辑:陈皮

  • 片头:Mondo Bongo - Joe Strummer & The Mescaleros

  • 片尾:GeGeGe - 光のサイン


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

AI 看点

本期看点

AI 从整集转写里归纳的,不是节目方的宣传语

最值得听的

嘉宾断言不存在 RSI 基模:RSI 本质是带剪枝的 DFS,能力在预训练时就已内化,创业机会在模型厂与应用层之间。

别处听不到的

Kimi 内部训练生态、合成数据几千元一个长任务的行情、RSI 轨迹要跑十几小时,都是一线从业者才说得出的细节。

最打动人的

谈到招人标准时他说,工程能力好的人比学术能力很强的人更好,团队以零零后 researcher 为主。

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

一个 00 后研究员,博士没毕业就创业,在 Kimi 实习时参与过 K2.5。他把当下最热的 RSI 说成“一个更聪明的 DFS”,还断言根本不存在 RSI 基模——因为这种能力在预训练时就被内化了。节目里还有合成数据几千块一个长任务、一条 RSI 轨迹要跑十几小时这样的具体行情,以及一个反直觉判断:国内模型其实是预训练更强、后训练更弱。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

Evolvent AI 联合创始人孟繁青(NUS 博士生,曾在 Kimi 实习、参与 Kimi Linear 与 K2.5)与曲凯对谈,从 post-training 创业者画像切入,讨论 bench 从做题到造环境的演变、造数据的 know-how 为何难以被 Agent 替代、国内模型“预训练更强、后训练更弱”的反直觉判断、组织架构为何成为长期胜负手,以及 RSI 的本质是“更聪明的 DFS”、不存在 RSI 基模的论断。后半段梳理数据四代更替、合成数据与蒸馏的关系、蒸馏并非国内追赶的决定性因素,以及 AI for Science 与多模态的位置,最后介绍公司做合成数据与 RSI 中间层的规划。

AI 识别的章节

章节

点一章从那里开始播 · 与创作者标的时间点各自独立

00:03

从 Kimi 实习到创业:post-training 的人为什么都出来了

07:08

bench 变了:从做数学题到造一个白领的工作环境

13:04

反直觉判断:国内预训练更强,后训练更弱

17:26

交替领先的格局,与拼到最后拼组织

21:45

RSI 是什么:给模型一个环境和一个目标

28:20

模型厂降价与创业公司的位置

30:51

RSI 的本质是一个更聪明的 DFS

34:31

数据的四代更替与 Agent 数据的两种来源

38:10

数据的价格、外采逻辑与下一波 RSI 数据

42:45

算法就是数据,数据就是 infra

46:26

合成数据与蒸馏:硬抄还是有技巧

48:50

Coding 之外:AI for Science 成为智力新标尺

51:40

大厂与 AI lab 的长期分野,以及多模态的位置

54:07

蒸馏不是国内模型变强的决定性因素

56:28

Evolvent AI 在做什么,以及他们要招什么人

本期提到的品牌与产品

节目里自然聊到的,不是广告

Kimi嘉宾实习并参与 Linear、K2.5 等模型
00:46正面
DeepSeek被作为架构创新与 RL 范式代表提及
09:06正面
Kimi Linear线性注意力机制,省计算量
14:03正面
混元作为组织架构调整后突飞猛进的例子
20:05正面
RSIBench-Data团队发布的针对 data 的 RSI benchmark
57:48正面
Evolvent AI嘉宾联合创办的公司
56:38正面
442章经

42章经

面向AI从业者与早期创业者的深度对谈播客,聚焦AI模型技术前沿与创业实践的一线经验

已收录 75 期 · 最近更新 11 月 7 日

这一期适合谁

AI 对内容的推测

听众画像25–34 岁为主 · 偏男性 · 消费力较高
更适合大模型从业者

这一期偏哪一派

典型沪派主播按问题清单推进,从创业画像到 RSI 定义逐层追问,嘉宾以专业解释回应,跑题被有意识收住。

在哪里听

https://feed.xyzfm.space/evgg6xle9rdc复制

概要、章节、提及与推广标注由 AI 生成,可能有误;内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 75 期 →