H2026.10.22 | 流式视频评测揭示时序瓶颈;VLM三维建图仍难精准

2026.10.22 | 流式视频评测揭示时序瓶颈;VLM三维建图仍难精准

在小宇宙播放
创作者写的节目说明

【目录】
本期的 15 篇论文如下:

[] 🎬 StreamEval: Evaluating Interactive Streaming Video Generation Models(StreamEval:评估交互式流式视频生成模型)
[] 🗺 SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?(SpatialScout:VLM智能体能否主动探索并构建3D场景地图?)
[] 🎞 Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation(展望未来:自回归视频生成中的未来演化建模)
[] 🗄 Cache Engineering for Agents(面向智能体的缓存工程)
[] 👐 DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations(DONIC:基于人类演示的通用灵巧双手跟踪控制)
[] 🌍 Agent World Model in the Wild: Computer-Use Agent Environment Synthesis(真实环境中的智能体世界模型:计算机使用智能体环境合成)
[] 🔍 Spectral-Spatial Interpretation(光谱-空间解释)
[] 🧩 PrismaCoder: Pushing the Boundaries of Open Multimodal Code Intelligence through Decomposed Rubric Synthesis(PrismaCoder:通过分解式评分细则合成突破开放多模态代码智能的边界)
[] 🎓 Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills(苏格拉底式技能学习:交错教学与实践以培养可迁移的智能体技能)
[] 🎮 Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds(游戏中的规模化:面向多样虚拟世界具身智能体的持续预训练)
[] 🤖 AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics(AgenticRoboRL:将编程智能体后训练引入智能体机器人)
[] 🧠 Memory-Centric Continual Learning for AI Agents(以记忆为中心的AI智能体持续学习)
[] 🤖 Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use(多模态具身智能体:从计算机使用到机器人使用的统一能力中心视角)
[] 🧠 TraceForge: Distilling with Your Own Thinking(TraceForge:用自身思考进行蒸馏)
[] 🛡 Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents(正确的屏幕,错误的转移:世界模型作为GUI智能体的验证器)

【关注我们】
您还可以在以下平台找到我们,获得播客内容以外更多信息
小红书: AI速递


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

AI 看点

本期看点

AI 从整集转写里归纳的,不是节目方的宣传语

最值得听的

StreamEval 评测 37 个模型后指出,交互式视频生成的主要瓶颈是按时执行控制操作,而非画质。

别处听不到的

用世界模型在视觉表征空间预测下一屏,以 0.987 AUC、约 17 毫秒判断 GUI 屏幕转移是否异常。

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

一期把 15 篇当日 AI 论文压进 11 分钟:StreamEval 用 37 个模型证明视频生成的瓶颈是“按时执行”而非画质,SpatialScout 里 VLM 建图最佳平均 IOU 只有 41.71%,还有把机器人规划器成功率从 18.1% 拉到 71.0% 的后训练方法、用世界模型 17 毫秒判断 GUI 屏幕是否被劫持。适合想快速扫一遍具身智能与智能体前沿的人。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

本期速递 15 篇 AI 论文,主线是模型能力从“生成内容”转向“执行任务”后暴露的评测与验证缺口。StreamEval 指出交互式视频生成的主要瓶颈是按时执行控制操作而非画质;SpatialScout 显示 VLM 智能体三维建图最佳平均 IOU 仅 41.71%;FCP 用预测更远未来片段逼模型学习场景演化。其余论文覆盖智能体缓存工程(成本降约 27.7%)、灵巧双手跟踪(仿真成功率 86.79%)、合成 PC 环境训练迁移、多模态代码评分细则、记忆中心持续学习、机器人规划器后训练(成功率 18.1% 升至 71.0%)、自身思考蒸馏,以及用世界模型做 GUI 智能体运行时验证(0.987 AUC、约 17.1 毫秒)。

AI 识别的章节

章节

点一章从那里开始播 · 与上面创作者标的时间点各自独立

00:06

开场:15 篇论文与五大方向

主播交代日期与本期范围,聚焦流式视频生成、三维场景理解、智能体与机器人、多模态代码及持续学习五个方向,随后进入正题。

00:23

StreamEval:画质不等于执行能力

介绍交互式流式视频生成评测基准,覆盖五类任务、300 个案例、10 项指标,评测 37 个模型。结论是按时完成控制操作才是当前主要瓶颈,画质与身份保持不能代表请求执行能力。

01:09

SpatialScout:VLM 建图仍难精准

VLM 智能体在 80 个仿真室内场景中主动选视角、跨视角关联物体并生成对象级度量地图。最佳模型平均 IOU 仅 41.71%,覆盖不足与错误对应是主要失败原因。

01:56

FCP:让模型预测更远的未来

指出自回归视频生成中局部连贯不等于学会场景演化,提出未来帧预测作为辅助训练目标,不增加推理开销,在 Physics IQ 等基准上提升物理合理性。

02:38

智能体缓存工程:成本降约 27.7%

针对长轨迹带来的 KV Cache 开销,提出让智能体直接管理活跃缓存的思路,并设计 AKV 服务系统,在多个基准上取得最高平均分,平均成本降低约 27.7%。

03:14

DONIC:通用灵巧双手跟踪控制

从异构人类演示中学习双手灵巧跟踪,无需按任务分别训练或测试时微调。单一策略结合 PPO 与行为克隆,仿真中未见轨迹成功率达 86.79%。

04:16

合成 PC 环境训练可迁移到真实场景

仅用开源模型合成覆盖图形界面、MCP 服务与命令行的个人电脑环境,构建 341 个任务、640 个世界状态,模型在八项分布外基准上平均分提高约 8 到 10 分。

04:47

SSI:分离空间与光谱证据的图像解释

针对多通道图像模型解释中空间与光谱证据混杂的问题,在每个空间位置固定上下文做局部 Shapley 归因,在鸟类、地物分类与疤痕分割任务上验证,成本随通道数线性增长。

05:37

PrismaCoder:多模态代码的分解式评分

关注程序运行正确之外图表、网页、SVG 渲染也要正确,把指令拆成代码集与视觉集评分细则用于数据筛选和强化学习奖励,构建 2M 数据集与 9B、3B 开源模型。

06:23

苏格拉底式技能学习:交错教学与实践

探讨 LLM 智能体如何获得可迁移的 agent skill,提出教育者讲解质疑诊断、学生负责环境操作与技能编写的交错指导,并用问题触发复习降低教育者 token 与采集成本。

07:08

游戏世界中的规模化持续预训练

用 120 组配置考察数据量、多样性与模型规模的影响:早期阶段带来跨世界收益,后期收益集中在相近世界;实时交互下小模型延迟更低反而更有优势。

07:44

AgenticRoboRL:后训练规划器

把编程智能体后训练方法用于机器人规划器,先监督微调再以任务成功为终端奖励做多轮强化学习,冻结 VLA 执行组件,LIBERO-Pro 成功率从 18.1% 升至 71.0%。

08:26

MCCL:把记忆当作学习基础设施

指出智能体受固定权重与有限上下文限制难以持续提升,提出以记忆为中心的持续学习,用三轴分类梳理存储与管理策略,强调在延迟、干扰和变化中检验记忆是否真正改善行为。

09:18

五步能力框架:评测偏重执行

提出感知、预判、规划、执行、验证五步框架,汇总 64 个基准发现现有评测明显偏重执行,对预判和验证覆盖很少,主张加入可归因信号与中间检查点。

10:00

TraceForge:用自身思考做蒸馏

不照搬教师隐藏推理,而是保留教师答案、用学生同家族风格生成推理轨迹。在 HumanEval 与 MBPP 部分对比中最高领先 55 分,并避免回放加密推理块的合规风险。

10:40

世界模型做 GUI 智能体验证器与收尾

指出 GUI 智能体安全关键在屏幕之间的转移,提出 LGWM 在视觉表征空间预测下一屏做运行时验证,184 万条真实转移预训练,0.987 AUC、约 17.1 毫秒。随后收束全期并引导订阅。

HuggingFace 每日AI论文速递 · 更多单集

看全部 738 期 →

HuggingFace 每日AI论文速递

H2026.10.22 | 流式视频评测揭示时序瓶颈;VLM三维建图仍难精准

HuggingFace 每日AI论文速递 · 10 月 23 日 · 12 分钟

2026.10.22 | 流式视频评测揭示时序瓶颈;VLM三维建图仍难精准

在小宇宙播放
创作者写的节目说明

【目录】
本期的 15 篇论文如下:

[] 🎬 StreamEval: Evaluating Interactive Streaming Video Generation Models(StreamEval:评估交互式流式视频生成模型)
[] 🗺 SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?(SpatialScout:VLM智能体能否主动探索并构建3D场景地图?)
[] 🎞 Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation(展望未来:自回归视频生成中的未来演化建模)
[] 🗄 Cache Engineering for Agents(面向智能体的缓存工程)
[] 👐 DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations(DONIC:基于人类演示的通用灵巧双手跟踪控制)
[] 🌍 Agent World Model in the Wild: Computer-Use Agent Environment Synthesis(真实环境中的智能体世界模型:计算机使用智能体环境合成)
[] 🔍 Spectral-Spatial Interpretation(光谱-空间解释)
[] 🧩 PrismaCoder: Pushing the Boundaries of Open Multimodal Code Intelligence through Decomposed Rubric Synthesis(PrismaCoder:通过分解式评分细则合成突破开放多模态代码智能的边界)
[] 🎓 Socratic Skill Learning: Interleaving Teaching and Practice for Transferable Agent Skills(苏格拉底式技能学习:交错教学与实践以培养可迁移的智能体技能)
[] 🎮 Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds(游戏中的规模化:面向多样虚拟世界具身智能体的持续预训练)
[] 🤖 AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics(AgenticRoboRL:将编程智能体后训练引入智能体机器人)
[] 🧠 Memory-Centric Continual Learning for AI Agents(以记忆为中心的AI智能体持续学习)
[] 🤖 Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use(多模态具身智能体:从计算机使用到机器人使用的统一能力中心视角)
[] 🧠 TraceForge: Distilling with Your Own Thinking(TraceForge:用自身思考进行蒸馏)
[] 🛡 Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents(正确的屏幕,错误的转移:世界模型作为GUI智能体的验证器)

【关注我们】
您还可以在以下平台找到我们,获得播客内容以外更多信息
小红书: AI速递


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

AI 看点

本期看点

AI 从整集转写里归纳的,不是节目方的宣传语

最值得听的

StreamEval 评测 37 个模型后指出,交互式视频生成的主要瓶颈是按时执行控制操作,而非画质。

别处听不到的

用世界模型在视觉表征空间预测下一屏,以 0.987 AUC、约 17 毫秒判断 GUI 屏幕转移是否异常。

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

一期把 15 篇当日 AI 论文压进 11 分钟:StreamEval 用 37 个模型证明视频生成的瓶颈是“按时执行”而非画质,SpatialScout 里 VLM 建图最佳平均 IOU 只有 41.71%,还有把机器人规划器成功率从 18.1% 拉到 71.0% 的后训练方法、用世界模型 17 毫秒判断 GUI 屏幕是否被劫持。适合想快速扫一遍具身智能与智能体前沿的人。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

本期速递 15 篇 AI 论文,主线是模型能力从“生成内容”转向“执行任务”后暴露的评测与验证缺口。StreamEval 指出交互式视频生成的主要瓶颈是按时执行控制操作而非画质;SpatialScout 显示 VLM 智能体三维建图最佳平均 IOU 仅 41.71%;FCP 用预测更远未来片段逼模型学习场景演化。其余论文覆盖智能体缓存工程(成本降约 27.7%)、灵巧双手跟踪(仿真成功率 86.79%)、合成 PC 环境训练迁移、多模态代码评分细则、记忆中心持续学习、机器人规划器后训练(成功率 18.1% 升至 71.0%)、自身思考蒸馏,以及用世界模型做 GUI 智能体运行时验证(0.987 AUC、约 17.1 毫秒)。

AI 识别的章节

章节

点一章从那里开始播 · 与创作者标的时间点各自独立

00:06

开场:15 篇论文与五大方向

00:23

StreamEval:画质不等于执行能力

01:09

SpatialScout:VLM 建图仍难精准

01:56

FCP:让模型预测更远的未来

02:38

智能体缓存工程:成本降约 27.7%

03:14

DONIC:通用灵巧双手跟踪控制

04:16

合成 PC 环境训练可迁移到真实场景

04:47

SSI:分离空间与光谱证据的图像解释

05:37

PrismaCoder:多模态代码的分解式评分

06:23

苏格拉底式技能学习:交错教学与实践

07:08

游戏世界中的规模化持续预训练

07:44

AgenticRoboRL:后训练规划器

08:26

MCCL:把记忆当作学习基础设施

09:18

五步能力框架:评测偏重执行

10:00

TraceForge:用自身思考做蒸馏

10:40

世界模型做 GUI 智能体验证器与收尾

本期提到的品牌与产品

节目里自然聊到的,不是广告

HuggingFace节目名称中的平台名,非商业合作。
00:06中性
StreamEval交互式流式视频生成评测基准。
00:22中性
SpatialScoutVLM 智能体三维建图基准。
01:08中性
DONIC通用灵巧双手跟踪控制策略。
03:14中性
PrismaCoder多模态代码智能模型与数据集。
05:37中性
AgenticRoboRL机器人规划器后训练方法。
07:43中性
HHuggingFace 每日AI论文速递

HuggingFace 每日AI论文速递

面向中文AI从业者与爱好者的每日AI论文速递,工作日高密度速览前沿论文,月末以月度热门论文特辑补充,形成每日速递加月末特…

已收录 738 期 · 最近更新 11 月 8 日

这一期适合谁

AI 对内容的推测

听众画像25–34 岁为主 · 偏男性 · 消费力中等
更适合AI 研究者

这一期偏哪一派

典型沪派典型编辑部式生产:开场即交代日期与 15 篇论文范围,全程按论文编号逐条推进,无闲聊与跑题,主播只做信息转述与结论提炼。

在哪里听

https://feed.xyzfm.space/7jtt3j3lbbra复制

概要、章节、提及与推广标注由 AI 生成,可能有误;内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 738 期 →