硅AI 明白人|Anthropic研究员:模型会形成关于概念的通用表征

AI 明白人|Anthropic研究员:模型会形成关于概念的通用表征

硅谷早上好·2026 年 10 月 20 日·1 小时 04 分
创作者写的节目说明

这一期,我们听的是 Lenny's Podcast 对 Emmanuel Ameisen 的访谈。

【这期讲什么】
Emmanuel Ameisen 是 Anthropic 的可解释性研究员,他深入研究 Claude 等 LLM,试图理解它们如何思考。在加入 Anthropic 之前,他曾在 Stripe 和 Insight 从事多年应用机器学习研究,也是《Building Machine Learning Powered Applications》一书的作者。他的研究带来了该领域一些最令人瞩目的发现:模型会形成关于概念的通用表征,会提前规划许多 token,却不会明确表达这些计划,而且可能展现出某种在结构上类似于人类有意识与无意识加工之区别的特征。

【你会听到】

  • 为什么“下一个 token 预测器”的框架低估了模型实际进行规划和思考的能力
  • 为什么拟人化 AI 其实可能是正确的方法
  • 为什么模型是“培育”出来的,而不是被构建出来的
  • “J 空间”揭示了模型自我意识的哪些信息
  • 那些看似突然的能力跃迁背后平滑的扩展曲线
  • 可解释性如何与 AI 对齐和安全建立联系

【时间轴】
Emmanuel Ameisen 介绍
为什么 AI 模型是培育出来的,而不是被构建出来的
为什么下一个 token 预测比听起来更难
模型如何表征概念并理解世界
LLM 如何提前规划
AI 可能具有意识吗?
扩展定律与文本的力量
为什么平滑的进步会带来突然的突破
为什么观察 AI 不足以解决对齐问题
Golden Gate Claude 实验
为什么 Anthropic 严肃看待 AI 安全
什么时候拟人化 AI 是有用的
AI 能教会我们哪些关于智能的知识
对 AI 对齐保持乐观的理由
我们是否生活在一个模拟中?
Jev、决策模型与 AI 的直觉
关于模型如何思考的另外两个令人惊讶的发现
如何进入可解释性研究领域
闪电问答与最后的思考

【说明】
本节目与原节目、嘉宾或其所属机构不存在官方隶属关系。Lenny 可能是节目中讨论的相关公司的投资者。

————————————
我是 Felix,在中美经营一家 AI 技术公司。
想共同探索 AI 机会,或者想加入我的团队做有意思的事,欢迎来找我:

  • 小红书 / 公众号:康康你的AI
  • X:@hereFelixK
  • 博客:https://felixk.me
  • 播客:AI 边角料

说明里标出的时间点,点一下跳过去

硅谷早上好 · 更多单集

看全部 86 期 →

硅谷早上好

硅AI 明白人|Anthropic研究员:模型会形成关于概念的通用表征

硅谷早上好 · 10 月 20 日 · 1 小时 04 分

AI 明白人|Anthropic研究员:模型会形成关于概念的通用表征

创作者写的节目说明

这一期,我们听的是 Lenny's Podcast 对 Emmanuel Ameisen 的访谈。

【这期讲什么】
Emmanuel Ameisen 是 Anthropic 的可解释性研究员,他深入研究 Claude 等 LLM,试图理解它们如何思考。在加入 Anthropic 之前,他曾在 Stripe 和 Insight 从事多年应用机器学习研究,也是《Building Machine Learning Powered Applications》一书的作者。他的研究带来了该领域一些最令人瞩目的发现:模型会形成关于概念的通用表征,会提前规划许多 token,却不会明确表达这些计划,而且可能展现出某种在结构上类似于人类有意识与无意识加工之区别的特征。

【你会听到】

  • 为什么“下一个 token 预测器”的框架低估了模型实际进行规划和思考的能力
  • 为什么拟人化 AI 其实可能是正确的方法
  • 为什么模型是“培育”出来的,而不是被构建出来的
  • “J 空间”揭示了模型自我意识的哪些信息
  • 那些看似突然的能力跃迁背后平滑的扩展曲线
  • 可解释性如何与 AI 对齐和安全建立联系

【时间轴】
Emmanuel Ameisen 介绍
为什么 AI 模型是培育出来的,而不是被构建出来的
为什么下一个 token 预测比听起来更难
模型如何表征概念并理解世界
LLM 如何提前规划
AI 可能具有意识吗?
扩展定律与文本的力量
为什么平滑的进步会带来突然的突破
为什么观察 AI 不足以解决对齐问题
Golden Gate Claude 实验
为什么 Anthropic 严肃看待 AI 安全
什么时候拟人化 AI 是有用的
AI 能教会我们哪些关于智能的知识
对 AI 对齐保持乐观的理由
我们是否生活在一个模拟中?
Jev、决策模型与 AI 的直觉
关于模型如何思考的另外两个令人惊讶的发现
如何进入可解释性研究领域
闪电问答与最后的思考

【说明】
本节目与原节目、嘉宾或其所属机构不存在官方隶属关系。Lenny 可能是节目中讨论的相关公司的投资者。

————————————
我是 Felix,在中美经营一家 AI 技术公司。
想共同探索 AI 机会,或者想加入我的团队做有意思的事,欢迎来找我:

  • 小红书 / 公众号:康康你的AI
  • X:@hereFelixK
  • 博客:https://felixk.me
  • 播客:AI 边角料

说明里标出的时间点,点一下跳过去

硅硅谷早上好

硅谷早上好

聚焦AI时代科技与商业变局的海外播客编译解读节目,以早报快讯加深度拆解双轨呈现,覆盖AI竞争格局、资本运作、企业级软件与…

已收录 86 期 · 最近更新 11 月 22 日

在哪里听

https://proxy.wavpub.com/morningguigu.xml复制

内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 86 期 →