AAI前沿:从数学推理到记忆注入

AI前沿:从数学推理到记忆注入

AI可可AI生活·2025 年 5 月 2 日·9 分钟
在小宇宙播放
创作者写的节目说明

本期播客精华汇总

  1. Phi-4-Mini-Reasoning: Exploring the Limits of Small Reasoning Language Models in MathPhi-4-Mini-Reasoning:探索小型数学推理语言模型的极限通过四阶段训练(大规模蒸馏、微调、偏好优化、强化学习),仅38亿参数的Phi-4-Mini-Reasoning在数学推理上超越70亿-80亿参数模型,揭示小模型需“量体裁衣”的训练策略,反直觉地发现朴素高质量数据可能有害。
  2. ParamΔ for Direct Weight Mixing: Post-Train Large Language Model at Zero Cost直接权重混合的 ParamΔ:零成本训练后的大型语言模型ParamΔ通过简单权重差值加法,将后训练能力零成本迁移到新基座模型,性能达官方版的95%,为开源社区提供高效模型更新方案,揭示参数空间的代数结构潜力。
  3. Model Connectomes: A Generational Approach to Data-Efficient Language Models模型连接组:一种面向数据高效的语言模型的方法受生物进化启发,提出“模型连接组”作为稀疏先验,仅用1亿词数据即可实现高性能语言学习,展现结构先验在数据效率和人脑对齐上的潜力。
  4. Memorization and Knowledge Injection in Gated LLMs记忆与门控 LLMs 中的知识注入MEGa框架通过门控LoRA模块注入事件记忆,显著缓解灾难性遗忘,接近RAG性能,展示模块化记忆和内部回忆(iRAG)在持续学习中的前景。
  5. AdaR1: From Long-CoT to Hybrid-CoT via Bi-Level Adaptive Reasoning OptimizationAdaR1:从长 CoT 到混合 CoT 通过双级自适应推理优化AdaR1通过融合长短CoT模型和双层偏好优化,实现自适应推理,推理长度减半而准确率仅微降,展现“因题施策”的高效推理潜力。

完整推介:https://mp.weixin.qq.com/s/MyQN09CEBe59dbKcL7YEQg


在小宇宙查看该单集文稿

AI可可AI生活 · 更多单集

看全部 1112 期 →

AI可可AI生活

AAI前沿:从数学推理到记忆注入

AI可可AI生活 · 2025 年 5 月 2 日 · 9 分钟

AI前沿:从数学推理到记忆注入

在小宇宙播放
创作者写的节目说明

本期播客精华汇总

  1. Phi-4-Mini-Reasoning: Exploring the Limits of Small Reasoning Language Models in MathPhi-4-Mini-Reasoning:探索小型数学推理语言模型的极限通过四阶段训练(大规模蒸馏、微调、偏好优化、强化学习),仅38亿参数的Phi-4-Mini-Reasoning在数学推理上超越70亿-80亿参数模型,揭示小模型需“量体裁衣”的训练策略,反直觉地发现朴素高质量数据可能有害。
  2. ParamΔ for Direct Weight Mixing: Post-Train Large Language Model at Zero Cost直接权重混合的 ParamΔ:零成本训练后的大型语言模型ParamΔ通过简单权重差值加法,将后训练能力零成本迁移到新基座模型,性能达官方版的95%,为开源社区提供高效模型更新方案,揭示参数空间的代数结构潜力。
  3. Model Connectomes: A Generational Approach to Data-Efficient Language Models模型连接组:一种面向数据高效的语言模型的方法受生物进化启发,提出“模型连接组”作为稀疏先验,仅用1亿词数据即可实现高性能语言学习,展现结构先验在数据效率和人脑对齐上的潜力。
  4. Memorization and Knowledge Injection in Gated LLMs记忆与门控 LLMs 中的知识注入MEGa框架通过门控LoRA模块注入事件记忆,显著缓解灾难性遗忘,接近RAG性能,展示模块化记忆和内部回忆(iRAG)在持续学习中的前景。
  5. AdaR1: From Long-CoT to Hybrid-CoT via Bi-Level Adaptive Reasoning OptimizationAdaR1:从长 CoT 到混合 CoT 通过双级自适应推理优化AdaR1通过融合长短CoT模型和双层偏好优化,实现自适应推理,推理长度减半而准确率仅微降,展现“因题施策”的高效推理潜力。

完整推介:https://mp.weixin.qq.com/s/MyQN09CEBe59dbKcL7YEQg


在小宇宙查看该单集文稿
AAI可可AI生活

AI可可AI生活

面向普通人的AI前沿论文解读节目,每期固定串讲五篇最新论文,把技术逻辑翻译成可迁移到个人成长、工作与日常决策的思维模型与…

已收录 1112 期 · 最近更新 11 月 10 日

在哪里听

https://feed.xyzfm.space/wl9t7httkfd3复制

内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 1112 期 →