张148. 对游凯超3小时访谈:开源Infra、和模型Co-design 、“如果vLLM失败,我们会后悔一辈子”

148. 对游凯超3小时访谈:开源Infra、和模型Co-design 、“如果vLLM失败,我们会后悔一辈子”

在小宇宙播放
创作者写的节目说明

今天我们的嘉宾是游凯超,他是创业公司Inferact联合创始人兼首席科学家——这个公司很特殊,是从伯克利一个校园开源项目vLLM演化而来。这个社区的维护者用了将近3年时间,把它从一篇算法论文变成了一个开源社区,又变成了一个公司的正常运营。

这些维护者们放弃了大量的个人诱惑,坚持着他们所相信的开源精神。

今年初,Inferact获得了1.5亿美元种子轮融资。我们讨论了当一个寄托着社区情怀的开源项目,变成一个商业化的组织运营之后,它所面临的抉择、转变与思考。

另外一方面,我们也非常希望在AI Infra技术前沿上,给大家带来一些新的思路。所以我也和游凯超聊了聊,在AI Infra、模型结构,甚至Harness Engineering都要联合设计的时代背景下,多方的联合设计应该怎么做?

接下来,就是我对游凯超的访谈。

OUTLINE:

从算法到机器学习系统

开源项目vLLM的诞生

“如果vLLM失败了,我们会后悔一辈子”

“仁慈的独裁者”

从社区到创业

模型与Infra的Co-design

Token VS 电力

技术预测

LINKS:

我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出;

我们的视频播客在Bilibili、小红书、视频号、抖音等全视频平台播出;

如果你想服用文字版,请搜索我们工作室的公众号:语言即世界language is world。

DISCLAIMER: 本内容不作为投资建议。

CONTACT: [email protected]

Jump into the new world-and explore with us!😉

说明里标出的时间点,点一下跳过去

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

游凯超是vLLM核心维护者,他亲述了从清华到伯克利、从算法研究转向AI Infra的历程,以及vLLM如何从校园开源项目变成1.5亿美元融资的创业公司。他分享了如何用“如果vLLM失败了,你会后悔一辈子”说服CTO放弃两千万美元年薪加入创业,也解释了为什么DeepSeek的infra全球顶级、token为什么带着模型的烙印。对AI基础设施和开源文化感兴趣的人,这期能听到别处没有的一手细节。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

本期节目访谈Inferact联合创始人游凯超,回顾他从清华算法研究转向AI Infra的历程,讲述vLLM从伯克利开源项目到1.5亿美元种子轮融资公司的演变,深入探讨开源社区治理、模型与Infra的Co-design、中美AI格局等话题。游凯超分享了他对学术圈“礼乐崩坏”的观察、开源精神的坚守、以及“开源模型最后会赢”的判断。节目还涉及DeepSeek的infra优势、DSPark技术解析、token与电的类比等硬核内容。

AI 识别的章节

章节

点一章从那里开始播 · 与上面创作者标的时间点各自独立

00:02

开场与嘉宾介绍

主持人介绍游凯超身份和本期主题,游凯超打招呼并提及与主持人的渊源。

02:21

从初高中到清华:编程启蒙与学术起步

游凯超回忆2015年开始接触编程,通过学堂在线学习Python,高考擦线进入清华,强调学习过程比分数更重要。

08:26

从算法研究转向机器学习系统

游凯超解释转向原因:学术圈审稿质量下降、算法成果依赖系统、工业界反馈,以及何恺明案例的启示。

18:41

伯克利交流与关键人物

2019年暑期研修遇到Michael Jordan和Ion Stoica,埋下转向系统的种子,并结识未来合伙人李卓汉。

27:22

清华特奖与开源探索

游凯超获得清华特奖,但认为特奖被过度炒作。期间参与开源项目,如天授强化学习系统,逐渐坚定转向系统方向。

38:01

vLLM的诞生与早期发展

介绍vLLM起源、PagedAttention论文、开源过程,以及游凯超作为第四个核心维护者加入的契机。

50:08

开源社区的精神与挑战

讨论开源维护者的共同特征,强调追求意义而非金钱,以及社区人来人往的常态。

58:25

vLLM的重构与中国社区建设

2024年vLLM从v0到v1重构,2025年游凯超回国搭建中国社区,支持DeepSeek等中国开源模型爆发。

1:09:21

捐赠给PyTorch基金会与成立公司的抉择

vLLM捐赠给PyTorch基金会以保证开源,但Ion Stoica坚持需要公司支持,团队犹豫两年。

1:20:13

说服核心成员与创业决心

游凯超最早决定创业,说服CTO吴苏格,拒绝顶级大厂两千万美元年薪的offer,最终成立Inferact。

1:34:10

公司成立后的治理与商业化

Inferact成立后,开源社区与公司关系、融资情况、商业模式探索,以及社区对公司的态度。

1:47:56

公司愿景与团队管理

Inferact的十年愿景、商业模式(Endpoint服务、BYOC),以及从社区到公司的管理转变。

1:53:26

模型与Infra的Co-design:电力系统类比

用电力系统比喻硬件、模型、推理引擎的关系,解释Co-design的必要性,以及硬件彩票概念。

2:10:54

DeepSeek的Infra优势与可学习之处

分析DeepSeek的infra为何顶级,源于幻方量化背景,但自建机房难以复制,可学习的是算法团队懂infra。

2:22:43

MOE架构与注意力机制挑战

MOE带来的三大挑战(细粒度专家、动态路由、专家并行),以及线性注意力等新趋势。

2:28:38

Test-time Scaling与Harness Co-design

测试时计算扩展的不同阶段对推理引擎的需求,以及Harness框架与推理引擎的联合优化。

2:37:16

技术预测与中美格局

游凯超的Hot Take:上下文需求停留在百万级别,中美各有优劣,开源模型最终会赢。

2:46:59

个人感悟与快问快答

游凯超谈性格底色、写作习惯、对AI未来的看法,以及快问快答环节,以李宗盛《山丘》收尾。

张小珺Jùn|商业访谈录 · 更多单集

看全部 158 期 →

张小珺Jùn|商业访谈录

张148. 对游凯超3小时访谈:开源Infra、和模型Co-design 、“如果vLLM失败,我们会后悔一辈子”

张小珺Jùn|商业访谈录 · 7 月 28 日 · 3 小时

148. 对游凯超3小时访谈:开源Infra、和模型Co-design 、“如果vLLM失败,我们会后悔一辈子”

在小宇宙播放
创作者写的节目说明

今天我们的嘉宾是游凯超,他是创业公司Inferact联合创始人兼首席科学家——这个公司很特殊,是从伯克利一个校园开源项目vLLM演化而来。这个社区的维护者用了将近3年时间,把它从一篇算法论文变成了一个开源社区,又变成了一个公司的正常运营。

这些维护者们放弃了大量的个人诱惑,坚持着他们所相信的开源精神。

今年初,Inferact获得了1.5亿美元种子轮融资。我们讨论了当一个寄托着社区情怀的开源项目,变成一个商业化的组织运营之后,它所面临的抉择、转变与思考。

另外一方面,我们也非常希望在AI Infra技术前沿上,给大家带来一些新的思路。所以我也和游凯超聊了聊,在AI Infra、模型结构,甚至Harness Engineering都要联合设计的时代背景下,多方的联合设计应该怎么做?

接下来,就是我对游凯超的访谈。

OUTLINE:

从算法到机器学习系统

开源项目vLLM的诞生

“如果vLLM失败了,我们会后悔一辈子”

“仁慈的独裁者”

从社区到创业

模型与Infra的Co-design

Token VS 电力

技术预测

LINKS:

我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出;

我们的视频播客在Bilibili、小红书、视频号、抖音等全视频平台播出;

如果你想服用文字版,请搜索我们工作室的公众号:语言即世界language is world。

DISCLAIMER: 本内容不作为投资建议。

CONTACT: [email protected]

Jump into the new world-and explore with us!😉

说明里标出的时间点,点一下跳过去

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

游凯超是vLLM核心维护者,他亲述了从清华到伯克利、从算法研究转向AI Infra的历程,以及vLLM如何从校园开源项目变成1.5亿美元融资的创业公司。他分享了如何用“如果vLLM失败了,你会后悔一辈子”说服CTO放弃两千万美元年薪加入创业,也解释了为什么DeepSeek的infra全球顶级、token为什么带着模型的烙印。对AI基础设施和开源文化感兴趣的人,这期能听到别处没有的一手细节。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

本期节目访谈Inferact联合创始人游凯超,回顾他从清华算法研究转向AI Infra的历程,讲述vLLM从伯克利开源项目到1.5亿美元种子轮融资公司的演变,深入探讨开源社区治理、模型与Infra的Co-design、中美AI格局等话题。游凯超分享了他对学术圈“礼乐崩坏”的观察、开源精神的坚守、以及“开源模型最后会赢”的判断。节目还涉及DeepSeek的infra优势、DSPark技术解析、token与电的类比等硬核内容。

AI 识别的章节

章节

点一章从那里开始播 · 与创作者标的时间点各自独立

00:02

开场与嘉宾介绍

02:21

从初高中到清华:编程启蒙与学术起步

08:26

从算法研究转向机器学习系统

18:41

伯克利交流与关键人物

27:22

清华特奖与开源探索

38:01

vLLM的诞生与早期发展

50:08

开源社区的精神与挑战

58:25

vLLM的重构与中国社区建设

1:09:21

捐赠给PyTorch基金会与成立公司的抉择

1:20:13

说服核心成员与创业决心

1:34:10

公司成立后的治理与商业化

1:47:56

公司愿景与团队管理

1:53:26

模型与Infra的Co-design:电力系统类比

2:10:54

DeepSeek的Infra优势与可学习之处

2:22:43

MOE架构与注意力机制挑战

2:28:38

Test-time Scaling与Harness Co-design

2:37:16

技术预测与中美格局

2:46:59

个人感悟与快问快答

本期提到的品牌与产品

节目里自然聊到的,不是广告

DeepSeek多次提及,认为其infra团队全球顶级,是Co-design的典范。
58:56正面
PyTorch基金会vLLM捐赠给该基金会,以保证项目长期开源。
1:02:58正面
FlashAttention作为系统优化算法的例子,解决了长上下文计算效率问题。
2:51:41正面
Red Hat作为Linux维护公司的例子,类比vLLM需要公司支持。
1:06:49正面
a16z早期资助vLLM开源项目的VC之一。
1:39:32正面
Sequoia早期捐赠vLLM的VC之一。
1:39:34正面
张张小珺Jùn|商业访谈录

张小珺Jùn|商业访谈录

深度商业访谈,以AI前沿技术与产业实践为主线,兼及产业史观、企业传承与人物成长叙事

已收录 158 期 · 最近更新 10 月 21 日

这一期适合谁

AI 对内容的推测

听众画像25–34 岁为主 · 偏男性 · 消费力较高
更适合AI从业者

这一期偏哪一派

偏沪派内容主要由事前准备的资料与嘉宾的专业性驱动,围绕vLLM和Co-design展开,有明确的问题意识,讨论范围被有意识地收…

在哪里听

https://feed.xyzfm.space/dk4yh3pkpjp3复制

概要、章节、提及与推广标注由 AI 生成,可能有误;内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 158 期 →