AAI前沿:从模型安全到推理加速

AI前沿:从模型安全到推理加速

AI可可AI生活·2025 年 4 月 19 日·6 分钟
在小宇宙播放
创作者写的节目说明

本期《TAI快报》介绍了五篇AI领域的突破性论文,涵盖模型安全、性能预测、模型设计、计算优化和推理增强:

  1. Antidistillation Sampling:提出反蒸馏抽样方法,通过“毒化”推理轨迹降低模型被蒸馏的风险,保护知识产权,同时维持模型性能。
  2. Can Pre-training Indicators Reliably Predict Fine-tuning Outcomes of LLMs?:揭示传统困惑度预测微调性能的局限,提出Span Corruption困惑度和k-shot学习性能等新指标,提升模型选择效率。
  3. It’s All Connected: A Journey Through Test-Time Memorization, Attentional Bias, Retention, and Online Optimization:通过Miras框架重新设计序列模型,提出Moneta等新模型,超越Transformer在长文本和推理任务中的表现。
  4. Sleep-time Compute: Beyond Inference Scaling at Test-time:提出睡眠时计算范式,离线预处理上下文降低实时计算成本,减少5倍计算量并提升准确率。
  5. Speculative Thinking: Enhancing Small-Model Reasoning with Large Model Guidance at Inference Time:提出推测性思考框架,利用大模型指导小模型推理,提升6-14%准确率并优化效率。

完整推介:https://mp.weixin.qq.com/s/CF1EB3VugfcMlyKJbYpBFQ


在小宇宙查看该单集文稿

AI可可AI生活 · 更多单集

看全部 1112 期 →

AI可可AI生活

AAI前沿:从模型安全到推理加速

AI可可AI生活 · 2025 年 4 月 19 日 · 6 分钟

AI前沿:从模型安全到推理加速

在小宇宙播放
创作者写的节目说明

本期《TAI快报》介绍了五篇AI领域的突破性论文,涵盖模型安全、性能预测、模型设计、计算优化和推理增强:

  1. Antidistillation Sampling:提出反蒸馏抽样方法,通过“毒化”推理轨迹降低模型被蒸馏的风险,保护知识产权,同时维持模型性能。
  2. Can Pre-training Indicators Reliably Predict Fine-tuning Outcomes of LLMs?:揭示传统困惑度预测微调性能的局限,提出Span Corruption困惑度和k-shot学习性能等新指标,提升模型选择效率。
  3. It’s All Connected: A Journey Through Test-Time Memorization, Attentional Bias, Retention, and Online Optimization:通过Miras框架重新设计序列模型,提出Moneta等新模型,超越Transformer在长文本和推理任务中的表现。
  4. Sleep-time Compute: Beyond Inference Scaling at Test-time:提出睡眠时计算范式,离线预处理上下文降低实时计算成本,减少5倍计算量并提升准确率。
  5. Speculative Thinking: Enhancing Small-Model Reasoning with Large Model Guidance at Inference Time:提出推测性思考框架,利用大模型指导小模型推理,提升6-14%准确率并优化效率。

完整推介:https://mp.weixin.qq.com/s/CF1EB3VugfcMlyKJbYpBFQ


在小宇宙查看该单集文稿
AAI可可AI生活

AI可可AI生活

面向普通人的AI前沿论文解读节目,每期固定串讲五篇最新论文,把技术逻辑翻译成可迁移到个人成长、工作与日常决策的思维模型与…

已收录 1112 期 · 最近更新 11 月 10 日

在哪里听

https://feed.xyzfm.space/wl9t7httkfd3复制

内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 1112 期 →