
11 月 10 日 · 26 分钟

介绍了五项AI研究:大型语言模型内部存储信息比表面更多且真实性编码与任务相关;大型语言模型数学推理能力不足,依赖模式匹配而非逻辑推理;少量合成数据会导致模型崩溃,但模型规模增大到一定程度后鲁棒性会提升;协作验证方法通过多路径推理提升大型语言模型推理能力;旋转位置编码(RoPE)并非仅仅衰减依赖关系,其低频部分承载语义信息,高频部分构建位置注意力模式,改进方案p-RoPE提升了模型处理长文本能力。
完整推介:https://mp.weixin.qq.com/s/fOBtPdU3MWSzbNvzVYP34w

11 月 10 日 · 26 分钟

[人人能懂AI前沿] 3D持续打磨、多智能体博弈与微米级控制
11 月 9 日 · 24 分钟

[人人能懂AI前沿] 从元技能提炼、对抗性推理到物理世界的“柔性破界”
11 月 8 日 · 23 分钟

[人人能懂AI前沿] 从分配脑容量、无反馈破局到预测未来的代价
11 月 7 日 · 24 分钟

AI可可AI生活 · 2024 年 10 月 14 日 · 10 分钟
介绍了五项AI研究:大型语言模型内部存储信息比表面更多且真实性编码与任务相关;大型语言模型数学推理能力不足,依赖模式匹配而非逻辑推理;少量合成数据会导致模型崩溃,但模型规模增大到一定程度后鲁棒性会提升;协作验证方法通过多路径推理提升大型语言模型推理能力;旋转位置编码(RoPE)并非仅仅衰减依赖关系,其低频部分承载语义信息,高频部分构建位置注意力模式,改进方案p-RoPE提升了模型处理长文本能力。
完整推介:https://mp.weixin.qq.com/s/fOBtPdU3MWSzbNvzVYP34w

https://feed.xyzfm.space/wl9t7httkfd3复制内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

11 月 10 日 · 26 分钟

[人人能懂AI前沿] 3D持续打磨、多智能体博弈与微米级控制
11 月 9 日 · 24 分钟

[人人能懂AI前沿] 从元技能提炼、对抗性推理到物理世界的“柔性破界”
11 月 8 日 · 23 分钟