H2026.11.20 | 诊断机器人思行断点;声音画面联合理解

2026.11.20 | 诊断机器人思行断点;声音画面联合理解

在小宇宙播放
创作者写的节目说明

⏱️ Highlights
[] 🤖 Mind2Act World: A Diagnostic Benchmark for Embodied Mind, Physical Action, and Mind-Action Composition in Robotic Manipulation(Mind2Act World:机器人操作中具身心智、物理动作与心智—动作组合的诊断基准)
[] 🎬 WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding(WeMM-Video:推进开源全模态视频理解的前沿)
[] 🔎 WeVisForensics: Self-Evolving Agent for Omni AI-Generated Video Detection(WeVisForensics:面向全模态AI生成视频检测的自进化智能体)
[] 🎨 Coda-DaVinci: Reimagining Video Generation with Code2Video(Coda-DaVinci:用Code2Video重新构想视频生成)
[] 🧩 The Mask Is Not the Object: Volumetric Supervision for 3D Gaussian Segmentation(掩码不等于物体:面向三维高斯分割的体积监督)
[] 👁️ EgoCaptioner: Towards Comprehensive and Fine-Grained Egocentric Video Captioning(EgoCaptioner:迈向全面、细粒度的第一视角视频描述)
[] 🖱️ TuringSpace: Grounding Spatial Intelligence in Action with Interactive CAPTCHAs(TuringSpace:用交互式验证码将空间智能落实到行动中)
[] 🖼️ HiUni: Harmonizing Understanding and Generation in Shared Visual Space(HiUni:在共享视觉空间中协调理解与生成)
[] 🧭 ZeroVLN: Learning to Navigate without Supervised Fine-Tuning of the VLM Brain(ZeroVLN:无需对VLM大脑进行监督微调的导航学习)
[] 🎲 Posterior Matching Distillation(后验匹配蒸馏)
[] 📏 Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth(Depth Pro 2:清晰且时间一致的单目公制深度)
[] 🐾 WAM-Policy: World Action Models with On-Policy Distillation for Quadrupedal Loco-Manipulation(WAM-Policy:面向四足移动操作、结合在策略蒸馏的世界动作模型)
[] 🧠 Probing the "Conscious" Mind: Selective Access and Global Workspace in Vision-Language Models(探查“有意识”的心智:视觉语言模型中的选择性访问与全局工作空间)
[] 🌍 WM^MLLM: Turning MLLMs into World Models(WM^MLLM:将多模态大语言模型转变为世界模型)
[] ⚖️ AltRA-Test: An Alternative Annotator Test for LLM Judges Without Shared Annotators(AltRA-Test:无需共享标注者的LLM裁判替代标注者检验)

【关注我们】
您还可以在以下平台找到我们,获得播客内容以外更多信息
小红书: AI速递


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

AI 看点

本期看点

AI 从整集转写里归纳的,不是节目方的宣传语

最值得听的

Mind2Act World 揭示机器人单项能力 52.7%、组合闭环却只有 12% 的成功率落差。

别处听不到的

AltRA-Test 用重采样人类标签构造「全人类面板」,检验模型能否替代人类打分。

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

九分钟扫过十五篇论文,每篇都给出关键数字和一句「它没证明什么」:机器人组合工作流成功率只有 12%,四足机器人仿真 85% 却在真实场景三十次只成功七次,LLM 裁判只有三成组合通过一致性检验。适合想快速摸清具身智能、多模态视频与模型评测三条线最新进展的人。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

本期速递十五篇 AI 论文,围绕三条线索:机器人如何把思考接上行动(Mind2Act World 组合工作流成功率仅 12%、ZeroVLN 用自然语言调用动作专家、WAM-Policy 四足前腿操作蒸馏)、视频与多模态如何同时看懂听懂(WeMM-Video 音频视觉 token 交错、WeVisForensics 调查员加检验员架构、EgoCaptioner 第一视角描述、HiUni 理解与生成共享主干)、以及模型作为裁判与记忆载体的可靠性(AltRA-Test 检验 LLM 裁判、WM^MLLM 外部世界状态、Depth Pro 2 流式深度)。每篇都点出实验证明了什么、又没证明什么。

AI 识别的章节

章节

点一章从那里开始播 · 与上面创作者标的时间点各自独立

00:06

开场:十五篇论文的三条主线

交代本期从机器人思行闭环、视频多模态理解到模型裁判三条线索挑选十五篇论文,并说明每篇只抓一个关键想法、留意实验到底证明了什么。

00:23

Mind2Act World:思考接上行为何仍失败

基准把机器人任务拆成历史、决策、物理执行三个视角,三十个仿真任务中组合工作流成功率仅 12%。节目提醒任务流程长度不同,且推理时模拟器暂停,及时成功不等于实时响应。

01:04

WeMM-Video:把声音放回同一时间线

音频压缩成每秒十个 token 与视觉 token 带时间戳交错输入,中英双语多规模家族支持直接回答与思考模式。35B 版本在 VideoMME 上思考模式提升,但部分任务反而下降。

01:38

WeVisForensics:调查员与检验员的分工

视频取证被做成调查流程,调查员决定查哪段、请哪类专家,检验员负责外观、物理常识与文字证据,训练时快慢双速更新。四组评测平均准确率 95.2%,但进化发生在训练而非上线后。

02:10

Coda-DaVinci 与三维高斯分割的监督缺口

用代码写三维代理约束视频,可控性与场景一致性有收益但动作可能僵硬、长视频转场不稳。掩码不等于物体,低贡献高斯缺乏监督会留残片,按深度分簇直接监督可改善。

02:59

EgoCaptioner 与 TuringSpace:结构化描述与可交互空间题

第一视角视频先交代全片场景再分步骤标关键瞬间,强化学习同时奖励事实、时间对齐与叙述质量。TuringSpace 把空间题做成可点击拖动的验证码,9B 模型通过率从 1.6% 升到 33.1%。

03:55

HiUni 与 ZeroVLN:共享主干与零微调导航

HiUni 用 HiGate 把含噪像素细节送生成头、语义走共享主干,理解基准平均接近原模型但 OCR 等有下降。ZeroVLN 不对导航大脑做监督微调,改让大脑用自然语言调用动作专家。

04:59

ZeroVLN 的成功率与 PMD 的多样性

ZeroVLN 专家预测十六步只走前四步就重新观察,RT-2 成功率从 17% 升到 52.7%,代价是路径可能更长。后验匹配蒸馏让学生从同一噪声生成多候选、按不同方向重加权再匹配教师均值。

06:07

Depth Pro 2:边缘清楚又不忽远忽近

原生分辨率下交替做帧内与跨帧注意力,结合焦距得到公制尺度,流式模式只缓存过去帧。B200 上 1080p 小模型约 53 帧每秒、大模型约 8 帧每秒,焦距估计不准会影响实际距离。

06:53

WAM-Policy 与「有意识心智」探查

四足前腿操作策略把慢教师蒸馏成少步学生,仿真成功率从 77% 保留到 76.7%,合并强化学习专家后达 85%,但真实机器人三十次只成功七次。探查实验把视觉语言中间状态映射到共同词表并干预概念。

08:00

WM^MLLM:把世界状态存在生成器外面

全景局部补丁与修订记录负责记忆,图像模型只提候选视频、只负责展示,同版本回访可读回原图,局部编辑保证区域外像素不变。112 次本地编辑完成率从 34.8% 升到 83%,但单中心全景不是完整三维世界。

08:37

AltRA-Test:模型能不能替人打分

方法反复重采样题目与人类标签形成全人类面板,再把一份标签换成模型检验一致性。每题仍需至少三个人类标签,默认实验只有 35.3% 的组合通过,保住的是人群共享信号,发现不了共同错误。

HuggingFace 每日AI论文速递 · 更多单集

看全部 749 期 →

HuggingFace 每日AI论文速递

H2026.11.20 | 诊断机器人思行断点;声音画面联合理解

HuggingFace 每日AI论文速递 · 11 月 21 日 · 10 分钟

2026.11.20 | 诊断机器人思行断点;声音画面联合理解

在小宇宙播放
创作者写的节目说明

⏱️ Highlights
[] 🤖 Mind2Act World: A Diagnostic Benchmark for Embodied Mind, Physical Action, and Mind-Action Composition in Robotic Manipulation(Mind2Act World:机器人操作中具身心智、物理动作与心智—动作组合的诊断基准)
[] 🎬 WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding(WeMM-Video:推进开源全模态视频理解的前沿)
[] 🔎 WeVisForensics: Self-Evolving Agent for Omni AI-Generated Video Detection(WeVisForensics:面向全模态AI生成视频检测的自进化智能体)
[] 🎨 Coda-DaVinci: Reimagining Video Generation with Code2Video(Coda-DaVinci:用Code2Video重新构想视频生成)
[] 🧩 The Mask Is Not the Object: Volumetric Supervision for 3D Gaussian Segmentation(掩码不等于物体:面向三维高斯分割的体积监督)
[] 👁️ EgoCaptioner: Towards Comprehensive and Fine-Grained Egocentric Video Captioning(EgoCaptioner:迈向全面、细粒度的第一视角视频描述)
[] 🖱️ TuringSpace: Grounding Spatial Intelligence in Action with Interactive CAPTCHAs(TuringSpace:用交互式验证码将空间智能落实到行动中)
[] 🖼️ HiUni: Harmonizing Understanding and Generation in Shared Visual Space(HiUni:在共享视觉空间中协调理解与生成)
[] 🧭 ZeroVLN: Learning to Navigate without Supervised Fine-Tuning of the VLM Brain(ZeroVLN:无需对VLM大脑进行监督微调的导航学习)
[] 🎲 Posterior Matching Distillation(后验匹配蒸馏)
[] 📏 Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth(Depth Pro 2:清晰且时间一致的单目公制深度)
[] 🐾 WAM-Policy: World Action Models with On-Policy Distillation for Quadrupedal Loco-Manipulation(WAM-Policy:面向四足移动操作、结合在策略蒸馏的世界动作模型)
[] 🧠 Probing the "Conscious" Mind: Selective Access and Global Workspace in Vision-Language Models(探查“有意识”的心智:视觉语言模型中的选择性访问与全局工作空间)
[] 🌍 WM^MLLM: Turning MLLMs into World Models(WM^MLLM:将多模态大语言模型转变为世界模型)
[] ⚖️ AltRA-Test: An Alternative Annotator Test for LLM Judges Without Shared Annotators(AltRA-Test:无需共享标注者的LLM裁判替代标注者检验)

【关注我们】
您还可以在以下平台找到我们,获得播客内容以外更多信息
小红书: AI速递


在小宇宙查看该单集文稿

说明里标出的时间点,点一下跳过去

AI 看点

本期看点

AI 从整集转写里归纳的,不是节目方的宣传语

最值得听的

Mind2Act World 揭示机器人单项能力 52.7%、组合闭环却只有 12% 的成功率落差。

别处听不到的

AltRA-Test 用重采样人类标签构造「全人类面板」,检验模型能否替代人类打分。

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

九分钟扫过十五篇论文,每篇都给出关键数字和一句「它没证明什么」:机器人组合工作流成功率只有 12%,四足机器人仿真 85% 却在真实场景三十次只成功七次,LLM 裁判只有三成组合通过一致性检验。适合想快速摸清具身智能、多模态视频与模型评测三条线最新进展的人。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

本期速递十五篇 AI 论文,围绕三条线索:机器人如何把思考接上行动(Mind2Act World 组合工作流成功率仅 12%、ZeroVLN 用自然语言调用动作专家、WAM-Policy 四足前腿操作蒸馏)、视频与多模态如何同时看懂听懂(WeMM-Video 音频视觉 token 交错、WeVisForensics 调查员加检验员架构、EgoCaptioner 第一视角描述、HiUni 理解与生成共享主干)、以及模型作为裁判与记忆载体的可靠性(AltRA-Test 检验 LLM 裁判、WM^MLLM 外部世界状态、Depth Pro 2 流式深度)。每篇都点出实验证明了什么、又没证明什么。

AI 识别的章节

章节

点一章从那里开始播 · 与创作者标的时间点各自独立

00:06

开场:十五篇论文的三条主线

00:23

Mind2Act World:思考接上行为何仍失败

01:04

WeMM-Video:把声音放回同一时间线

01:38

WeVisForensics:调查员与检验员的分工

02:10

Coda-DaVinci 与三维高斯分割的监督缺口

02:59

EgoCaptioner 与 TuringSpace:结构化描述与可交互空间题

03:55

HiUni 与 ZeroVLN:共享主干与零微调导航

04:59

ZeroVLN 的成功率与 PMD 的多样性

06:07

Depth Pro 2:边缘清楚又不忽远忽近

06:53

WAM-Policy 与「有意识心智」探查

08:00

WM^MLLM:把世界状态存在生成器外面

08:37

AltRA-Test:模型能不能替人打分

本期提到的品牌与产品

节目里自然聊到的,不是广告

HuggingFace节目名中的平台名
00:06中性
Mind2Act World机器人思行闭环基准
00:23中性
WeMM-Video全模态视频理解模型家族
01:03中性
WeVisForensics视频取证调查框架
01:38中性
Coda-DaVinci用代码写三维代理约束视频
02:09中性
EgoCaptioner第一视角视频描述方法
03:20中性
HHuggingFace 每日AI论文速递

HuggingFace 每日AI论文速递

面向中文AI从业者与爱好者的每日AI论文速递,工作日高密度速览前沿论文,周末以周度热门论文盘点特辑补充,形成每日速递加周…

已收录 749 期 · 最近更新 11 月 21 日

这一期适合谁

AI 对内容的推测

听众画像25–34 岁为主 · 偏男性 · 消费力中等
更适合AI 研究者与工程师

这一期偏哪一派

典型沪派节目按预设论文清单逐篇讲解,每篇交代方法、数字与局限,是编辑部式的资料组织,而非熟人闲聊。

在哪里听

https://feed.xyzfm.space/7jtt3j3lbbra复制

概要、章节、提及与推广标注由 AI 生成,可能有误;内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 749 期 →