
免费试用对 AI 产品经营的影响,以及创始人在成本、增长和商业模式之间如何权衡
11 月 22 日 · 31 分钟

这一期,我们听的是 Unsupervised Learning(Redpoint) 的一期节目。
【这期讲什么】
Yash Patil 曾是 OpenAI 研究员,参与过 Codex,如今负责 Applied Compute。他认为,后训练是 AI 技术栈中最容易被忽视的部分,也是掌握自身智能的关键。
他解释了企业什么时候应该先优化自己的 harness 和上下文,以及什么时候值得更新权重:最大的推理工作负载,以及会随时间变化或依赖判断的任务。这正是他认为后训练胜过推理的核心原因。最大的工作负载既最值得训练,也最值得提供服务,而模型的训练方式决定了它应该如何被提供服务。让生产环境中的服务运行起来是较容易的一半;他呼应 Dylan Patel 的说法,认为 GPU 加上 vLLM 再加上 OpenRouter “某种程度上”就能做到这一点。
Yash 坦率地谈到了 RL 的局限。RL 是一台沿山爬升的机器,而最困难的部分是定义这座山,这使得一家公司的私有评测和员工一样值得保护。它的泛化能力远不如预训练。而持续学习仍然受阻于一个尚未解决的问题:如何从稀疏奖励中实现极高数据效率的训练。
他阐述了自己对新型 AI 超大规模云服务商的押注:它将像 AWS、GCP 和 Azure 当年建立在 CPU 之上一样,建立在 GPU 之上。他将其描绘成一个倒金字塔,底部是训练,只有少数参与者能够竞争;其上依次是推理、路由和 harness。对话还涉及:是否每家公司都需要自己的模型;为什么 Jevons 悖论让成本的重要性超出了他的预期;模型如何“像水一样”进行 reward hacking;以及为什么美国需要 American open-weight models,尽管“全面禁令不是答案”。
【时间轴】
简介
掌握自身智能的理由
OpenAI x Baseten 与多模型未来
后训练能击败前沿模型吗?
哪些数据会留在分布外
数据效率与持续学习
什么时候更新模型权重才有意义
实践中的在线训练
降低后训练成本
每家公司都需要自己的模型吗?
不可验证领域中的 RL
Applied Compute 如何挑选客户
构建推理业务
押注新型 AI 超大规模云服务商的理由
构建 RL 环境
快速问答
【说明】
本节目与原节目、嘉宾或其所属机构不存在官方隶属关系。
————————————
我是 Felix,在中美经营一家 AI 技术公司。
想共同探索 AI 机会,或者想加入我的团队做有意思的事,欢迎来找我:
说明里标出的时间点,点一下跳过去

免费试用对 AI 产品经营的影响,以及创始人在成本、增长和商业模式之间如何权衡
11 月 22 日 · 31 分钟

硅谷早报|甲骨文筹齐OpenAI资金:交付时间表稳住但举债承压;SpaceX发债买芯片
11 月 22 日 · 10 分钟

Muse产品负责人分享:从树莓派周末实验到上线,整个过程打磨了七个月
11 月 21 日 · 1 小时 18 分

硅谷早报|Astra降价却难胜任长程开发:单次便宜难抵空转返工总账
11 月 21 日 · 12 分钟

硅谷早上好 · 10 月 15 日 · 52 分钟
这一期,我们听的是 Unsupervised Learning(Redpoint) 的一期节目。
【这期讲什么】
Yash Patil 曾是 OpenAI 研究员,参与过 Codex,如今负责 Applied Compute。他认为,后训练是 AI 技术栈中最容易被忽视的部分,也是掌握自身智能的关键。
他解释了企业什么时候应该先优化自己的 harness 和上下文,以及什么时候值得更新权重:最大的推理工作负载,以及会随时间变化或依赖判断的任务。这正是他认为后训练胜过推理的核心原因。最大的工作负载既最值得训练,也最值得提供服务,而模型的训练方式决定了它应该如何被提供服务。让生产环境中的服务运行起来是较容易的一半;他呼应 Dylan Patel 的说法,认为 GPU 加上 vLLM 再加上 OpenRouter “某种程度上”就能做到这一点。
Yash 坦率地谈到了 RL 的局限。RL 是一台沿山爬升的机器,而最困难的部分是定义这座山,这使得一家公司的私有评测和员工一样值得保护。它的泛化能力远不如预训练。而持续学习仍然受阻于一个尚未解决的问题:如何从稀疏奖励中实现极高数据效率的训练。
他阐述了自己对新型 AI 超大规模云服务商的押注:它将像 AWS、GCP 和 Azure 当年建立在 CPU 之上一样,建立在 GPU 之上。他将其描绘成一个倒金字塔,底部是训练,只有少数参与者能够竞争;其上依次是推理、路由和 harness。对话还涉及:是否每家公司都需要自己的模型;为什么 Jevons 悖论让成本的重要性超出了他的预期;模型如何“像水一样”进行 reward hacking;以及为什么美国需要 American open-weight models,尽管“全面禁令不是答案”。
【时间轴】
简介
掌握自身智能的理由
OpenAI x Baseten 与多模型未来
后训练能击败前沿模型吗?
哪些数据会留在分布外
数据效率与持续学习
什么时候更新模型权重才有意义
实践中的在线训练
降低后训练成本
每家公司都需要自己的模型吗?
不可验证领域中的 RL
Applied Compute 如何挑选客户
构建推理业务
押注新型 AI 超大规模云服务商的理由
构建 RL 环境
快速问答
【说明】
本节目与原节目、嘉宾或其所属机构不存在官方隶属关系。
————————————
我是 Felix,在中美经营一家 AI 技术公司。
想共同探索 AI 机会,或者想加入我的团队做有意思的事,欢迎来找我:
说明里标出的时间点,点一下跳过去

https://proxy.wavpub.com/morningguigu.xml复制内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

免费试用对 AI 产品经营的影响,以及创始人在成本、增长和商业模式之间如何权衡
11 月 22 日 · 31 分钟

硅谷早报|甲骨文筹齐OpenAI资金:交付时间表稳住但举债承压;SpaceX发债买芯片
11 月 22 日 · 10 分钟

Muse产品负责人分享:从树莓派周末实验到上线,整个过程打磨了七个月
11 月 21 日 · 1 小时 18 分