AAI前沿:数据多样性选择、扩散性和知识蒸馏

AI前沿:数据多样性选择、扩散性和知识蒸馏

AI可可AI生活·2025 年 2 月 22 日·13 分钟
在小宇宙播放
创作者写的节目说明

本期播客精华汇总:

本期TAI快报,我们聚焦AI效率提升的最新研究进展,探讨了大型语言模型“瘦身大法”。

  1. [CL] Diversity-driven Data Selection for Language Model Tuning through Sparse Autoencoder:  通过稀疏自编码器 (SAE) 驱动的数据多样性选择,提升指令微调数据质量,实验证明SAE-GreedSelect和SAE-SimScale算法能有效提升模型性能。
  2. [CV] Improving the Diffusability of Autoencoders:  揭示自编码器“扩散性”对潜在扩散模型的重要性,提出尺度等变正则化方法,有效抑制潜在空间高频成分,显著提升图像和视频生成质量。
  3. [CV] Designing Parameter and Compute Efficient Diffusion Transformers using Distillation:  探索知识蒸馏技术在扩散Transformer模型压缩中的应用,系统研究模型设计空间,为设计参数/计算高效的扩散模型提供指导原则。
  4. [CL] LServe: Efficient Long-sequence LLM Serving with Unified Sparse Attention:  提出LServe系统,通过统一的块稀疏注意力机制,结合静态和动态稀疏性,加速长序列大型语言模型的预填充和解码过程,显著提升服务效率。
  5. [CL] RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression:  提出RocketKV两阶段KV缓存压缩方法,结合SnapKV++永久性淘汰和混合注意力动态选择,有效降低长上下文LLM推理的内存占用和延迟,实现端到端加速。

完整推介:https://mp.weixin.qq.com/s/JeP883IcyIMFpTByBwWLmA


在小宇宙查看该单集文稿

AI可可AI生活 · 更多单集

看全部 1112 期 →

AI可可AI生活

AAI前沿:数据多样性选择、扩散性和知识蒸馏

AI可可AI生活 · 2025 年 2 月 22 日 · 13 分钟

AI前沿:数据多样性选择、扩散性和知识蒸馏

在小宇宙播放
创作者写的节目说明

本期播客精华汇总:

本期TAI快报,我们聚焦AI效率提升的最新研究进展,探讨了大型语言模型“瘦身大法”。

  1. [CL] Diversity-driven Data Selection for Language Model Tuning through Sparse Autoencoder:  通过稀疏自编码器 (SAE) 驱动的数据多样性选择,提升指令微调数据质量,实验证明SAE-GreedSelect和SAE-SimScale算法能有效提升模型性能。
  2. [CV] Improving the Diffusability of Autoencoders:  揭示自编码器“扩散性”对潜在扩散模型的重要性,提出尺度等变正则化方法,有效抑制潜在空间高频成分,显著提升图像和视频生成质量。
  3. [CV] Designing Parameter and Compute Efficient Diffusion Transformers using Distillation:  探索知识蒸馏技术在扩散Transformer模型压缩中的应用,系统研究模型设计空间,为设计参数/计算高效的扩散模型提供指导原则。
  4. [CL] LServe: Efficient Long-sequence LLM Serving with Unified Sparse Attention:  提出LServe系统,通过统一的块稀疏注意力机制,结合静态和动态稀疏性,加速长序列大型语言模型的预填充和解码过程,显著提升服务效率。
  5. [CL] RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression:  提出RocketKV两阶段KV缓存压缩方法,结合SnapKV++永久性淘汰和混合注意力动态选择,有效降低长上下文LLM推理的内存占用和延迟,实现端到端加速。

完整推介:https://mp.weixin.qq.com/s/JeP883IcyIMFpTByBwWLmA


在小宇宙查看该单集文稿
AAI可可AI生活

AI可可AI生活

面向普通人的AI前沿论文解读节目,每期固定串讲五篇最新论文,把技术逻辑翻译成可迁移到个人成长、工作与日常决策的思维模型与…

已收录 1112 期 · 最近更新 11 月 10 日

在哪里听

https://feed.xyzfm.space/wl9t7httkfd3复制

内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 1112 期 →