A[人人能懂] 黑箱里的秩序,记忆中的断舍离

[人人能懂] 黑箱里的秩序,记忆中的断舍离

AI可可AI生活·2025 年 12 月 5 日·28 分钟
在小宇宙播放
创作者写的节目说明

你有没有想过,AI不仅在学习知识,也在学习如何学习、如何忘记,甚至如何拥有自己独特的“笔迹”?本期节目,我们将看到一个“阅表无数”的AI如何秒解难题,并揭开神经网络训练中那如同“强迫症”般的神秘秩序是如何形成的。我们还会探索一个反常识的发现:为什么让AI学到“顿悟”,反而能让它忘得更快更准?以及AI如何学会“断舍离”,主动过滤记忆来提升自己。最后,我们聊聊如何给开源模型刻上无法抹去的“隐形签名”。准备好了吗?让我们一起潜入AI思想的深水区。

你的表格数据,需要一个“见过世面”的AI

AI训练中的神秘秩序:一把解开“神经网络坍塌”之谜的钥匙

想让机器忘得快,先得让它学到“呆”?

AI的“断舍离”:为什么聪明人要学会忘记?

AI的“隐形墨水”:如何给开源模型刻上无法抹去的签名?

本期介绍的几篇论文:

[LG] Accurate predictions on small data with a tabular foundation model

[University of Freiburg]

https://www.nature.com/articles/s41586-024-08328-6.pdf

---

[LG] Diagonalizing the Softmax: Hadamard Initialization for Tractable Cross-Entropy Dynamics

[University of Oxford & University of British Columbia]

https://arxiv.org/abs/2512.04006

---

[LG] Grokked Models are Better Unlearners

[Cardiff University]

https://arxiv.org/abs/2512.03437

---

[LG] Cache What Lasts: Token Retention for Memory-Bounded KV Cache in LLMs

[JPMorganChase AI Research & Yale University]

https://arxiv.org/abs/2512.03324

---

[LG] MarkTune: Improving the Quality-Detectability Trade-off in Open-Weight LLM Watermarking

[University of Pennsylvania & CMU & Columbia University]

https://arxiv.org/abs/2512.04044


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

AI可可AI生活 · 更多单集

看全部 1112 期 →

AI可可AI生活

A[人人能懂] 黑箱里的秩序,记忆中的断舍离

AI可可AI生活 · 2025 年 12 月 5 日 · 28 分钟

[人人能懂] 黑箱里的秩序,记忆中的断舍离

在小宇宙播放
创作者写的节目说明

你有没有想过,AI不仅在学习知识,也在学习如何学习、如何忘记,甚至如何拥有自己独特的“笔迹”?本期节目,我们将看到一个“阅表无数”的AI如何秒解难题,并揭开神经网络训练中那如同“强迫症”般的神秘秩序是如何形成的。我们还会探索一个反常识的发现:为什么让AI学到“顿悟”,反而能让它忘得更快更准?以及AI如何学会“断舍离”,主动过滤记忆来提升自己。最后,我们聊聊如何给开源模型刻上无法抹去的“隐形签名”。准备好了吗?让我们一起潜入AI思想的深水区。

你的表格数据,需要一个“见过世面”的AI

AI训练中的神秘秩序:一把解开“神经网络坍塌”之谜的钥匙

想让机器忘得快,先得让它学到“呆”?

AI的“断舍离”:为什么聪明人要学会忘记?

AI的“隐形墨水”:如何给开源模型刻上无法抹去的签名?

本期介绍的几篇论文:

[LG] Accurate predictions on small data with a tabular foundation model

[University of Freiburg]

https://www.nature.com/articles/s41586-024-08328-6.pdf

---

[LG] Diagonalizing the Softmax: Hadamard Initialization for Tractable Cross-Entropy Dynamics

[University of Oxford & University of British Columbia]

https://arxiv.org/abs/2512.04006

---

[LG] Grokked Models are Better Unlearners

[Cardiff University]

https://arxiv.org/abs/2512.03437

---

[LG] Cache What Lasts: Token Retention for Memory-Bounded KV Cache in LLMs

[JPMorganChase AI Research & Yale University]

https://arxiv.org/abs/2512.03324

---

[LG] MarkTune: Improving the Quality-Detectability Trade-off in Open-Weight LLM Watermarking

[University of Pennsylvania & CMU & Columbia University]

https://arxiv.org/abs/2512.04044


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

AAI可可AI生活

AI可可AI生活

面向普通人的AI前沿论文解读节目,每期固定串讲五篇最新论文,把技术逻辑翻译成可迁移到个人成长、工作与日常决策的思维模型与…

已收录 1112 期 · 最近更新 11 月 10 日

在哪里听

https://feed.xyzfm.space/wl9t7httkfd3复制

内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 1112 期 →