
机器人学干活,教它的人却在算日结:具身智能数采田野调查-Vol 109
11 月 17 日 · 1 小时 05 分

从Sharpa近期的灵巧手Demo讲起,无论是CES上翻扑克牌、折风车,还是在春晚盘核桃,在GTC大会期间削苹果,这些Demo代表灵巧手第一次展示了够胜任精细的以及长步骤任务,这是具身智能在灵巧操作上的里程碑时刻。
探讨灵巧手在硬件上的不同路线,包括直驱代表的Sharpa Wave,腱绳方案代表的特斯拉 Optimus,代表了两种“第一性原理”。
梳理了具身智能行业正在发生的几个关键趋势。NVIDIA、Google DeepMind、Disney Research 联合开发的Newton物理引擎和NVIDIA Cosmos带来的合成数据与虚拟世界仿真;从EgoScale论文中看到的两万小时第一视角数据带来的Scaling Law迹象;具备视频预测能力的世界模型,如DreamDojo实现了一分钟的长程任务;还有SONIC同样展现了运动控制领域Scaling Law的曙光。
在模型架构上,剖析了Sharpa的CraftNet三层系统,从System 2的语言意识层,到System 1的视觉动作层,再到System 0的触觉手感层,以及世界模型、VLA的路线之争,最后讨论了NVIDIA三台计算机(训练—仿真—推理),展望触觉作为新模态、分层预训练推动灵巧操作走向通用泛化潜力。
从盘核桃到装显卡:这些 Demo 到底有多难?
对于人来说简单的事情,对于机器反而是难的——就像人的 DNA 里携带了预训练的模型,机器人得完全从零做起。——朱雪洲
为什么夹爪不够用?一把刀就能说明问题
人要用好一个刀,你要握持,甚至拿一个手指抵住刀背——夹爪夹住刀是两点受力,那个刀是不稳定的。——朱雪洲
从OpenAI在18年的的灵巧手研究开始,谈行业的痛点
当我们在谈 scale 的时候,其实我们谈的在机器人这个领域往往是多个不同角度的scale,它包括任务的scale、数据的scale、模型规模 的scale、计算规模的scale。——Juana
灵巧手Know how:直驱 vs 腱绳-特斯拉跳票的卡点在哪?
全腱绳也不是真正仿生——人手内部有不少小肌肉群是直驱的。——朱雪洲
CraftNet 的架构:首个三分层的模型
一旦接触上物体,你就没有必要视觉上一直盯着看了,这个时候触觉本体已经 take over 了。——朱雪洲
数据金字塔:仿真练手感,视频练眼力,真机做对齐
在真实世界里去做改变是比较困难的,但在仿真里它就非常容易 scale。——Juana
Scaling Law 的曙光:上万小时的第一人称视频
世界模型 vs VLA:形似但"灵魂还没到"
今天 VLA 可能有点形似,但灵魂层面还没有真理解世界。一个更好的 VLA 本质就是一个基于世界模型的 VLA。——朱雪洲
模型的协同、运行性能、算力需求
如果让医生把人的手做一个全麻,就是你完全感知不到手上末端信号,然后在这种情况下去做一些手部的操作,很多时候你就会发现你很难完成你原本以为很简单的任务。——Juana
人物:
欢迎订阅脑放电波,2024/25苹果播客周度推荐节目、小宇宙累计12次编辑推荐单集、2024CPA播客中文奖年度科技数码类播客
欢迎在评论区留言发表你对 灵巧操作、具身智能Scaling Law 的感受与看法
对于节目话题的更多观点,获取更多未呈现在节目中的扩展阅读,欢迎添加脑放电波小助手微信(BrainAMP01),附言“灵巧手”,加群参与讨论,后续会发布本期节目的文字稿
参考内容
1. 物理AI核心技术与平台
Cosmos:NVIDIA 面向物理 AI 的世界基础模型开放平台。
推理 VLA (Reasoning Vision-Language-Action):融合视觉、语言与动作生成的逐步推理 AI 模型。
三台计算机 (Three Computers for Robotics):NVIDIA 为物理 AI 提出的训练、仿真、部署三层计算架构。
Isaac GR00T:NVIDIA 面向人形机器人的通用基础模型研发平台。
Isaac Sim / Isaac Lab:机器人仿真与合成数据生成框架及其配套强化学习框架。
Newton 物理仿真引擎:NVIDIA、Google DeepMind、Disney Research 联合开发的开源 GPU 物理引擎。
2. 前沿机器人论文
DreamDojo:在 4.4 万小时人类第一人称视频上预训练的通用机器人世界模型。
EgoScale:利用人类第一人称数据训练 VLA 模型、提升灵巧操作能力的框架。
DreamZero(GR00T N2 基础研究):基于视频扩散模型的世界-动作模型,具备强大的零样本泛化能力。
SONIC:NVIDIA 在运动控制上的 scaling law 研究,展示了数据、模型和算力规模化的效果
TacMap:高保真触觉仿真框架,行业内唯一可大规模商用的触觉仿真方案,NVIDIA 与 Sharpa 合作开发
3. 灵巧手与机器人公司
SharpaWave 灵巧手:Sharpa 首款产品,22 个主动自由度、尺寸与人手高度匹配。
CraftNet (VTLA 模型):Sharpa 的端到端分层视觉-触觉-语言-动作模型。
Sharpa North 机器人:Sharpa 在 CES 2026 推出的首款自主全尺寸人形机器人。
OpenAI 机械手解魔方 (2019):证明仿真训练的神经网络可控制真实灵巧手单手还原魔方的里程碑研究。
4. 经典 Demo 视频(Sharpa 官方)
GTC 2026:组装电脑:Sharpa North 自主将 GPU 精准插入主板 PCIe 插槽。
削苹果:机器人双手协调配合触觉反馈完成削苹果皮。
转网球:对比有无触觉系统辅助下灵巧手旋转网球的效果。
CES 2026:打乒乓球与折风车:0.02 秒反应时间的乒乓球对打及纸风车折叠长程任务。
CES 2026:综合展示(含 BlackJack 发牌):Sharpa 在 CES 展台的多项互动演示,含 21 点荷官发牌。
5.软件架构和其他技术名词
CraftNet:Sharpa 的分层模型架构,包含三个系统:
Egocentric Data(第一人称数据):从机器人或人类第一视角采集的数据,对训练最有价值
Sim-to-Real:从仿真到现实的迁移,是具身智能的关键挑战
节目中用到的音乐:来自monkeyman535的90's Rock Style,地址freesound.org;来自kjartan_abel的Berlin Town,地址freesound.org;基于 CC BY 4.0 DEED 使用。
说明里标出的时间点,点一下跳过去

机器人学干活,教它的人却在算日结:具身智能数采田野调查-Vol 109
11 月 17 日 · 1 小时 05 分

教完AI写作却弃用:我们得了"AI内容过敏症",对谈葬 AI 咸鱼-Vol108
11 月 2 日 · 57 分钟

用过20元到20万的睡眠科技,我们不再“努力睡眠”-vol 107
10 月 21 日 · 1 小时 22 分

苹果新 CEO 要烧“10 把火”,手表长出耳朵:盘点Apple 26 秋季发布会-Vol106
9 月 11 日 · 1 小时 03 分

脑放电波 · 4 月 12 日 · 1 小时 37 分
从Sharpa近期的灵巧手Demo讲起,无论是CES上翻扑克牌、折风车,还是在春晚盘核桃,在GTC大会期间削苹果,这些Demo代表灵巧手第一次展示了够胜任精细的以及长步骤任务,这是具身智能在灵巧操作上的里程碑时刻。
探讨灵巧手在硬件上的不同路线,包括直驱代表的Sharpa Wave,腱绳方案代表的特斯拉 Optimus,代表了两种“第一性原理”。
梳理了具身智能行业正在发生的几个关键趋势。NVIDIA、Google DeepMind、Disney Research 联合开发的Newton物理引擎和NVIDIA Cosmos带来的合成数据与虚拟世界仿真;从EgoScale论文中看到的两万小时第一视角数据带来的Scaling Law迹象;具备视频预测能力的世界模型,如DreamDojo实现了一分钟的长程任务;还有SONIC同样展现了运动控制领域Scaling Law的曙光。
在模型架构上,剖析了Sharpa的CraftNet三层系统,从System 2的语言意识层,到System 1的视觉动作层,再到System 0的触觉手感层,以及世界模型、VLA的路线之争,最后讨论了NVIDIA三台计算机(训练—仿真—推理),展望触觉作为新模态、分层预训练推动灵巧操作走向通用泛化潜力。
从盘核桃到装显卡:这些 Demo 到底有多难?
对于人来说简单的事情,对于机器反而是难的——就像人的 DNA 里携带了预训练的模型,机器人得完全从零做起。——朱雪洲
为什么夹爪不够用?一把刀就能说明问题
人要用好一个刀,你要握持,甚至拿一个手指抵住刀背——夹爪夹住刀是两点受力,那个刀是不稳定的。——朱雪洲
从OpenAI在18年的的灵巧手研究开始,谈行业的痛点
当我们在谈 scale 的时候,其实我们谈的在机器人这个领域往往是多个不同角度的scale,它包括任务的scale、数据的scale、模型规模 的scale、计算规模的scale。——Juana
灵巧手Know how:直驱 vs 腱绳-特斯拉跳票的卡点在哪?
全腱绳也不是真正仿生——人手内部有不少小肌肉群是直驱的。——朱雪洲
CraftNet 的架构:首个三分层的模型
一旦接触上物体,你就没有必要视觉上一直盯着看了,这个时候触觉本体已经 take over 了。——朱雪洲
数据金字塔:仿真练手感,视频练眼力,真机做对齐
在真实世界里去做改变是比较困难的,但在仿真里它就非常容易 scale。——Juana
Scaling Law 的曙光:上万小时的第一人称视频
世界模型 vs VLA:形似但"灵魂还没到"
今天 VLA 可能有点形似,但灵魂层面还没有真理解世界。一个更好的 VLA 本质就是一个基于世界模型的 VLA。——朱雪洲
模型的协同、运行性能、算力需求
如果让医生把人的手做一个全麻,就是你完全感知不到手上末端信号,然后在这种情况下去做一些手部的操作,很多时候你就会发现你很难完成你原本以为很简单的任务。——Juana
人物:
欢迎订阅脑放电波,2024/25苹果播客周度推荐节目、小宇宙累计12次编辑推荐单集、2024CPA播客中文奖年度科技数码类播客
欢迎在评论区留言发表你对 灵巧操作、具身智能Scaling Law 的感受与看法
对于节目话题的更多观点,获取更多未呈现在节目中的扩展阅读,欢迎添加脑放电波小助手微信(BrainAMP01),附言“灵巧手”,加群参与讨论,后续会发布本期节目的文字稿
参考内容
1. 物理AI核心技术与平台
Cosmos:NVIDIA 面向物理 AI 的世界基础模型开放平台。
推理 VLA (Reasoning Vision-Language-Action):融合视觉、语言与动作生成的逐步推理 AI 模型。
三台计算机 (Three Computers for Robotics):NVIDIA 为物理 AI 提出的训练、仿真、部署三层计算架构。
Isaac GR00T:NVIDIA 面向人形机器人的通用基础模型研发平台。
Isaac Sim / Isaac Lab:机器人仿真与合成数据生成框架及其配套强化学习框架。
Newton 物理仿真引擎:NVIDIA、Google DeepMind、Disney Research 联合开发的开源 GPU 物理引擎。
2. 前沿机器人论文
DreamDojo:在 4.4 万小时人类第一人称视频上预训练的通用机器人世界模型。
EgoScale:利用人类第一人称数据训练 VLA 模型、提升灵巧操作能力的框架。
DreamZero(GR00T N2 基础研究):基于视频扩散模型的世界-动作模型,具备强大的零样本泛化能力。
SONIC:NVIDIA 在运动控制上的 scaling law 研究,展示了数据、模型和算力规模化的效果
TacMap:高保真触觉仿真框架,行业内唯一可大规模商用的触觉仿真方案,NVIDIA 与 Sharpa 合作开发
3. 灵巧手与机器人公司
SharpaWave 灵巧手:Sharpa 首款产品,22 个主动自由度、尺寸与人手高度匹配。
CraftNet (VTLA 模型):Sharpa 的端到端分层视觉-触觉-语言-动作模型。
Sharpa North 机器人:Sharpa 在 CES 2026 推出的首款自主全尺寸人形机器人。
OpenAI 机械手解魔方 (2019):证明仿真训练的神经网络可控制真实灵巧手单手还原魔方的里程碑研究。
4. 经典 Demo 视频(Sharpa 官方)
GTC 2026:组装电脑:Sharpa North 自主将 GPU 精准插入主板 PCIe 插槽。
削苹果:机器人双手协调配合触觉反馈完成削苹果皮。
转网球:对比有无触觉系统辅助下灵巧手旋转网球的效果。
CES 2026:打乒乓球与折风车:0.02 秒反应时间的乒乓球对打及纸风车折叠长程任务。
CES 2026:综合展示(含 BlackJack 发牌):Sharpa 在 CES 展台的多项互动演示,含 21 点荷官发牌。
5.软件架构和其他技术名词
CraftNet:Sharpa 的分层模型架构,包含三个系统:
Egocentric Data(第一人称数据):从机器人或人类第一视角采集的数据,对训练最有价值
Sim-to-Real:从仿真到现实的迁移,是具身智能的关键挑战
节目中用到的音乐:来自monkeyman535的90's Rock Style,地址freesound.org;来自kjartan_abel的Berlin Town,地址freesound.org;基于 CC BY 4.0 DEED 使用。
说明里标出的时间点,点一下跳过去

https://feed.xyzfm.space/wupdmt9er7nb复制内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

机器人学干活,教它的人却在算日结:具身智能数采田野调查-Vol 109
11 月 17 日 · 1 小时 05 分

教完AI写作却弃用:我们得了"AI内容过敏症",对谈葬 AI 咸鱼-Vol108
11 月 2 日 · 57 分钟

用过20元到20万的睡眠科技,我们不再“努力睡眠”-vol 107
10 月 21 日 · 1 小时 22 分