硅E257|对话Vitalik:AI安全背后的哲学思想,有效利他主义如何影响硅谷?

E257|对话Vitalik:AI安全背后的哲学思想,有效利他主义如何影响硅谷?

硅谷101|中国版·2026 年 10 月 29 日·1 小时 53 分人工智能哲学与思想创业与公司
在喜马拉雅播放
创作者写的节目说明



怎样用有限的钱帮助更多人?有效利他主义(Effective Altruism,简称“EA”),就是从这个朴素的问题出发,推动人们比较不同慈善项目的效果,从捐赠蚊帐、预防疟疾,到后来投入数亿美元研究AI安全。

SBF与FTX的崩塌,曾让这场运动陷入信誉危机。最近,AI研究员辞职、安全评估机构和捐赠网络引发的争议,又让EA受到关注。当一些人把防止AI毁灭人类视为最值得投入的事业,他们的判断如何影响研究方向和资金分配?其中又有怎样的利益与权力问题?

本期节目,我们邀请以太坊联合创始人Vitalik Buterin与科技记者Afra,聊聊EA和理性主义究竟主张什么,以及这些思想如何影响了今天的AI发展。

Vitalik曾向这个圈子的机构捐赠大量资金。他在节目中回忆,一笔加密货币捐赠如何意外地变成数亿美元,以及受赠机构后来的方向,为什么让他开始重新考虑当初的选择。


节目全程以中文录制,前半段由Afra介绍背景,后半段是我们与Vitalik的对话。


【主播】 

Yiwen,硅谷101主持人

泓君,硅谷101创始人,播客主理人


【嘉宾】

Vitalik Buterin,以太坊联合创始人

Afra,科技记者


【时间轴】

有效利他主义是什么,它如何走到AI安全中心?

两个关键人物:William MacAskill与Eliezer Yudkowsky

八万个小时:怎样使用一生,才能帮助更多人?

EA的四次转向:全球健康、长期主义、信任危机与AI安全

EA与理性主义的异同:怎样做好事,怎样想清楚?

AI安全如何影响前沿AI实验室的公司选择

METR与捐赠网络:安全评估如何引发了争议?

走进伯克利:Lighthaven、The Curve与硅谷思想聚会

去华尔街赚钱,再把钱捐出去:这条路出了什么问题?

EA与e/acc:关于AI加速与减速的争论


Vitalik的捐赠:一笔意外的加密货币如何变成数亿美元

如何成为一名负责任的数字游民?Vitalik最初的EA经历

哲学僵尸与意识:理性主义者都在讨论什么?

当思想社群有了富豪捐赠者和专业机构

AI安全思想和P(doom)逐渐成为争论焦点

狗狗币的故事:意外收到大量代币之后

印度疫情救助与FLI:两笔捐赠如何落地

当FLI转向AI政策,Vitalik和它的矛盾何在?


当“帮助人类”变成机构、政策与权力

一个领域已经有很多钱,还值得继续捐吗?

从救助生命到影响政策,捐赠效果为什么更难判断?

SBF留下的问题:为什么聪明人也会看错人?

EA、理性主义、e/acc与d/acc,分歧到底在哪里?

“好公司必须赢”:相信Anthropic,能解决安全问题吗?

安全、开源与商业利益:谁来决定AI的未来?

Vitalik眼中的OpenAI:开放、安全与加速之间的变化


除了加速与暂停,还有什么选择?

d/acc:Vitalik为什么主张加强分布式防御?

以防疫为例:怎样让普通人拥有保护自己的工具?

面对AI的不确定性,普通人可以怎样理解这些争论?

Vitalik:承认我们还不知道的事情

AI安全也需要制衡:让多个不完美的系统互相监督


【相关阅读和名词解释】

往期相关:E233|硅谷右翼的权力网如何形成?聊聊彼得·蒂尔的思想启蒙拼图


人物:

William MacAskill(威廉·麦卡斯基尔):哲学家,曾任牛津大学哲学副教授,EA运动共同发起人之一,共同创办了Giving What We Can、80,000 Hours等机构,也是长期主义的重要倡导者。

Sam Bankman-Fried(萨姆·班克曼-弗里德,SBF):加密货币交易所FTX联合创始人,曾是EA最受瞩目的支持者和捐赠者之一。

Eliezer Yudkowsky(埃利泽·尤德考斯基):AI安全研究者与写作者、机器智能研究所共同创始人,也是互联网理性主义社群的重要奠基者。他关于认知偏差、理性思考和AI对齐的文章,影响了LessWrong及部分EA社群。

Chris Olah(克里斯·奥拉):Anthropic联合创始人,主要研究如何理解神经网络的内部运作,是机械可解释性领域的重要研究者。

Kevin Bass(凯文·巴斯):网络评论者,曾公开追查并质疑Anthropic、METR及相关AI安全机构之间的资金和人际联系。

Jacob Coxon(雅各布·考克森):曾在OpenAI和Anthropic从事研究,2026年9月辞职并公开警告前沿AI公司的竞争可能带来严重安全风险。

Dustin Moskovitz(达斯廷·莫斯科维茨):Facebook和Asana联合创始人,与妻子Cari Tuna创办Good Ventures,承诺捐出绝大部分财富。

Jaan Tallinn(雅恩·塔林):Skype联合创始人,长期资助AI安全与存在风险研究,也是未来生命研究所的共同创始人。他参与支持的Survival and Flourishing Fund,是相关研究机构的重要资金渠道之一。

Gideon Lewis-Kraus(吉迪恩·刘易斯-克劳斯):《纽约客》记者,2022年撰写了关于William MacAskill的长篇人物报道。

Toby Ord(托比·奥德):澳大利亚哲学家、Giving What We Can共同创始人,EA运动的重要早期推动者。他长期研究全球贫困、道德责任与可能威胁人类长远未来的存在风险。

Scott Alexander(斯科特·亚历山大):精神科医生与写作者,先后创办Slate Star Codex和Astral Codex Ten。他的文章涵盖科学、医学、社会议题和认知方法,是理性主义社群的重要阅读材料。

Zvi Mowshowitz(兹维·莫肖维茨):Don’t Worry About the Vase的作者,长期评论AI发展、安全与政策。

Nick Bostrom(尼克·博斯特罗姆):哲学家,曾任牛津大学教授、未来人类研究所创始主任,《超级智能》作者。他对超级智能、存在风险和人类长远未来的研究,影响了EA及AI安全领域的讨论。

Sandeep Nailwal(桑迪普·奈尔瓦尔):Polygon联合创始人、印度疫情救助基金CryptoRelief发起人。本期Vitalik谈到向该基金捐赠加密货币。


机构

80,000 Hours(八万小时):由William MacAskill和Benjamin Todd共同创办的非营利职业研究与咨询机构,帮助人们思考如何利用职业生涯产生更大的社会影响,是EA的重要机构之一。

METR(模型评估与威胁研究,Model Evaluation & Threat Research):研究与评估前沿AI能力及潜在重大风险的非营利机构。

Coefficient Giving:前身为Open Philanthropy的慈善资助与咨询机构,长期与Moskovitz夫妇的Good Ventures合作。它是EA相关资助网络的重要节点,支持全球健康、动物福利、疫情防范和AI安全等领域。

Future of Life Institute(未来生命研究所,FLI):研究并倡导降低先进技术重大风险的非营利机构,工作涉及AI等领域。它接受了Vitalik的重要捐赠。

Centre for the Governance of AI(人工智能治理中心,GovAI):从事AI治理与政策研究、培养相关人才的非营利机构。

Machine Intelligence Research Institute(机器智能研究所,MIRI):由尤德考斯基等人共同创办、长期关注高级AI与人类利益如何对齐的非营利机构,与理性主义及EA社群联系密切,也是本期提到的Vitalik曾支持的机构之一。

GiveWell:通过证据与成本效益分析评估慈善项目、引导捐赠的非营利机构,主要关注全球健康与发展。

Against Malaria Foundation(抗疟疾基金会,AMF):主要通过资助长效杀虫蚊帐的分发预防疟疾的慈善机构,长期获得GiveWell推荐。

PopVax:印度生物技术公司,研发疫苗和癌症免疫疗法。其疫苗项目获得过Vitalik的Balvi基金支持。

Lighthaven:由Lightcone Infrastructure运营的伯克利会议与活动园区,经常举办理性主义、AI安全及相关社群的聚会。

The Curve:围绕先进AI的发展、风险、经济影响与治理举办的会议,汇集研究人员、企业界、政策界及不同立场的参与者。

Progress Conference:由Roots of Progress Institute主办,讨论科技、经济和社会进步的会议。

Effective Altruism Global(有效利他主义全球大会,EA Global):面向EA社群的系列会议,讨论如何通过研究、职业选择和捐赠更有效地改善世界。

Zuzalu:Vitalik等人于2023年在黑山组织的临时社区实验,参与者共同生活、交流并开展活动。

PauseAI(暂停AI运动):主张在能够确保安全并实现民主监督之前,暂停前沿AI开发的国际草根运动。

LessWrong:由尤德考斯基等人推动形成的社区博客,讨论理性思考、认知偏差、决策与AI风险,是互联网理性主义社群的重要平台,与EA存在思想和人员上的广泛交集。


作品

Machines of Loving Grace(《充满爱意的机器》):Dario Amodei于2024年发表的文章,讨论强大AI可能为健康、经济和社会带来的积极变化。

The Sequences(《系列文章》):尤德考斯基关于理性思考、认知偏差、信念更新、决策和AI等问题的一系列博文,是LessWrong及理性主义社群的重要基础文本,也影响了部分EA参与者。

Rationality: From AI to Zombies(《理性:从AI到僵尸》):以The Sequences等博文为基础编辑整理的尤德考斯基文集。

Slate Star Codex(《石板星法典》):Scott Alexander原来的个人博客,涉及医学、科学、政治、哲学和理性思考,是理性主义社群的重要交流与阅读平台。

Astral Codex Ten(《星界法典十》):Scott Alexander在Slate Star Codex之后开设的博客与newsletter,继续讨论科学、社会问题和理性判断。

Don’t Worry About the Vase(《别担心花瓶》):Zvi Mowshowitz的博客与newsletter,近年来大量追踪AI能力、安全研究、企业动态和政策。

Harry Potter and the Methods of Rationality(《哈利·波特与理性之道》):尤德考斯基创作的《哈利·波特》同人小说,设想接受科学与理性思维训练的哈利如何理解魔法世界。

UNSONG(《无歌》):Scott Alexander创作的幻想小说,将宗教神秘主义、语言和现实世界的运行规则结合起来。

Snowmoon(《雪月》):Vitalik创作并公开发布的小说。


思想和流派:

Effective Altruism(有效利他主义,EA):用证据和理性分析,寻找最有效的助人方式。关注全球Lighthaven健康、动物福利等议题,部分参与者尤其重视AI安全。

Rationalism(理性主义):本期特指围绕LessWrong等博客形成的社群,强调识别认知偏差、根据证据修正判断。与EA联系密切,但不等同于EA。

Effective Accelerationism(有效加速主义,e/acc):主张加快AI等技术的发展,相信创新与竞争能推动社会进步,通常反对以灾难风险为由限制开发。

d/acc(防御性加速主义):Vitalik提出的思路,主张优先发展能保护人、分散权力的技术,例如网络安全、疫苗和空气过滤,提高社会抵御风险的能力。


【监制】

泓君

【后期】

Amei

【运营】

朱婕

【BGM】

DOX - Lennon Hutton

Deadlock - Lennon Hutton

Primary Code - Max Anson

Estimations - Christoffer Moe Ditlevsen

The Hoover Dam - Bonnie Grace

Radar Focus - Blue Saga

One Step Away - Dian Shuai

Spring Dance - Forever Sunset

Signal Containment - Out To The World

Pulse Runner - Helmut Schenker

说明里标出的时间点,点一下跳过去

AI 看点

本期看点

AI 从整集转写里归纳的,不是节目方的宣传语

最值得听的

Vitalik用“消灭癌症可能消灭全人类”讲清AI对齐的价值脆弱性,并指出智力与善良是两个维度。

别处听不到的

Vitalik自述2020年打电话让母亲读多伦多私钥、两天研究Safe代码取出狗狗币的全过程。

最打动人的

Afra把当下的AI领域比作没有大人的幼儿园,一群研究员哇哇大哭却说不清AI到底想干什么。

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

Anthropic招股书里“safety”出现248次,这个数字背后是一整套从牛津慈善运动长成硅谷权力网络的思想。节目把有效利他主义的四个阶段拆开讲,再请以太坊创始人Vitalik讲他2016年花两万五千美元买狗狗币、后来兑现四到六亿美元捐出去的全过程,以及他为什么后来跟自己捐的机构闹掰。关于AI安全该靠限制模型还是靠检测和疫苗,他给了一个和主流叙事不太一样的答案。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

本期节目从Anthropic招股书披露的AI安全风险切入,系统梳理有效利他主义(EA)从牛津慈善运动到硅谷AI权力中心的演变。嘉宾Afra将EA分为蚊帐时代、长远规划、声誉崩盘、AI安全四个阶段,辨析EA与理性主义的区别,并讨论Anthropic与EA的资金和人员关联。以太坊创始人Vitalik Buterin随后讲述自己接触EA的经历、2021年巨额加密捐赠的来龙去脉、与未来生命研究所的分歧,以及他对AI安全、d/acc和制度设计的思考。节目最终回到一个核心问题:当一群人以全人类未来为名掌握资金和技术方向时,谁有权质疑和纠正他们。

AI 识别的章节

章节

点一章从那里开始播 · 与上面创作者标的时间点各自独立

00:02

从Anthropic招股书说起:AI安全为何成为上市风险

主播以Anthropic招股书中248次safety、36次AI安全以及长期利益信托安排切入,提出公众是否有权知道谁代表人类做决定。随后介绍EA的两位关键人物MacAskill和Yudkowsky,交代本期分两场录制、Afra先讲背景再对话Vitalik的结构。

07:44

EA是什么:八万小时与四个阶段

Afra用80,000 Hours解释EA的核心逻辑——把有限的工作时间当作资源最大化分配。她将EA分为蚊帐时代、长远规划时期、声誉崩盘时代和AI安全时代,指出SBF是长远规划转向的关键推手,而AI安全让EA进入公众意识。

13:16

理性主义与EA:认知论和道德主张的分野

Afra辨析理性主义是一套认知论和思维训练,EA是一套道德主张和身份认同。EA社群有天使投资小圈子、对赚钱和捐钱都敏感,更像带宗教性质的社交圈;理性主义则越来越小、越来越佛系。

16:19

Anthropic是EA公司吗:创始人出走与资金链质疑

Afra判断Anthropic非常EA、OpenAI不那么EA,七位创始人因不满OpenAI对安全不够重视而出走。主播追问METR等安全审计机构与Anthropic投资人的利益关联,Afra认为EA的议程并不隐藏,但钱多了会决定什么问题被认为重要。

22:07

伯克利、Lighthaven与理性主义的地理版图

Afra描述伯克利已自成AI安全机构体系,Lighthaven是理性主义和EA的活动大本营。她对比The Curve连接华盛顿与硅谷、Progress Conference主张富足,而理性主义社群更佛系、不追求影响力。

25:48

MacAskill与EA的牛津起源:从占领华尔街到硅谷

Afra讲述MacAskill二十二岁承诺永久捐出收入、创立80,000 Hours,提出去华尔街赚钱再捐钱可能比去贫困国家当医生救更多人。她分析这套主张如何为SBF式人物提供道德借口,以及EA重心最终完全转向AI安全。

32:19

Afra的自我定位与对AI加速的担忧

Afra说自己不是EA成员,但被EA将理想转化为行动的方式吸引。她认为e/acc更像网络标签而非真正行动力量,而在参加The Curve和Progress Conference、与十几二十位研究员交流后,她更愿意相信AI自我迭代速度令人担忧,主张先放缓、用人话解释清楚。

37:44

谁在资助EA:Coefficient Giving与Vitalik的捐款

主播介绍Coefficient Giving累计拨款超七十亿美元,主要来自Dustin Moskovitz夫妇的Good Ventures;Vitalik 2021年捐出约15亿美元加密资产,其中给FLI的最终兑现约5亿美元。Afra解释为何推荐Vitalik上节目:他不坐商务舱、把机票钱折算成可挽救的生命。

40:39

Vitalik自述:从LessWrong到全球健康捐赠

Vitalik回忆2013至2015年接触理性主义和EA,认同目标但认为早期EA效率低。他用两千美元买蚊帐能救一人、二十万美元私人飞机只能舒服十几小时作对比,说明自己2016至2018年开始大量捐钱给全球健康和长寿研究。

44:28

Yudkowsky、Scott Alexander与AI对齐问题

Vitalik解释理性主义是让人更有效思考,EA是更有效帮助他人。他详述Yudkowsky从加速主义者转向AI对齐研究,用“消灭癌症可能消灭全人类”说明价值脆弱性,并指出智力与善良是两个维度。他也介绍Scott Alexander的博客和EA社群更机构化的发展。

52:07

理性主义与EA的功劳之争及Vitalik的风险概率

Afra转述理性主义元老对EA抢走AI安全功劳的不满,指出现在很多AI安全研究者既不认同EA也不认同理性主义。Vitalik说自己对AI风险的估计有很多不确定性,包括AI发展速度、对齐问题是否可解、国家竞争下的政治不确定性。

59:29

狗狗币、Safe多签与四到六亿美元的意外兑现

Vitalik讲述2016年花两万五千美元买狗狗币、2020年暴涨后打电话让母亲读私钥、两天研究Safe代码取出资产的过程。他把大部分换成以太坊捐给GiveWell、CryptoRelief和FLI,原本预计两三千万美元,最终兑现四到六亿美元。

1:07:13

与FLI的分歧:从存在性风险到AI政治行动

Vitalik说FLI从关心所有存在性风险转向以AI为中心、从研究转向政治行动,他多次要求多元化但被拒绝。他解释自己按“被忽视性”在每个重要领域选一个默认组织捐赠,并提到全球公共卫生在2025年因政治变化受到伤害。

1:11:13

AI安全的最大问题:公司激励而非研究不足

Vitalik认为现在AI安全更大的问题不是研究人不够,而是OpenAI和Anthropic的激励结构扭曲,都希望自己赢所以做得太快。他指出政策问题比慈善拨款复杂得多,因为很难判断一个干预是好的还是坏的,还涉及间接效应和政治反弹。

1:19:04

EA的派系:支持Anthropic、反对Anthropic与理性主义

Vitalik把硅谷AI流派细分为支持Anthropic的EA、远离Anthropic的EA、passAI和理性主义等。他解释理性主义者更像猫、不喜欢机构,喜欢写小说和玩梗,而EA非常严肃、把自己当拯救世界的战士。Afra说Vitalik更像理性主义者。

1:27:49

Anthropic的批评:安全哲学还是权力辩护

Vitalik分析支持Anthropic的EA逻辑——好公司赢了至少更有原则;反对者则认为Anthropic加速了AI竞赛,其安全哲学隐含“我们好所以该赢”的精英主义。他说Anthropic的公开论点与自身利益相关性可能高于90%,这个问题还没有好答案。

1:36:06

d/acc:防御性、去中心化的加速方案

Vitalik介绍d/acc的三个要点:技术发展重要、多做防御性技术、不集中权力。他用欧洲山脉与东欧平原的地理类比解释去中心化防御,并批评EA把80%资源放在限制AI模型上,而真正抗病毒研究担心的是更常见的短期病毒。

1:43:13

普通人的takeaway:不确定性、可解释性与制度设计

Afra描述AI领域像没有大人的幼儿园,研究员无法用人话解释AI有多强、想干什么,AI民粹主义正在抬头。Vitalik列出多重不确定性,提出AI安全更像制度设计而非工程问题,需要分权制衡,并强调保持开放心态。

1:50:41

收束:当“有效”的对象延伸到未出生世代

主播回到EA最初的问题——如何用有限的钱和时间帮助更多人,指出当关心对象从眼前的人延伸到未出生世代和未来智能,“有效”必然越来越难定义。理解EA是为了理解今天谁在决定AI方向、谁在定义风险,以及其他人是否有质疑和纠正的机会。

硅谷101|中国版 · 更多单集

看全部 261 期 →

硅谷101|中国版

硅E257|对话Vitalik:AI安全背后的哲学思想,有效利他主义如何影响硅谷?

硅谷101|中国版 · 10 月 29 日 · 1 小时 53 分

E257|对话Vitalik:AI安全背后的哲学思想,有效利他主义如何影响硅谷?

在喜马拉雅播放
创作者写的节目说明



怎样用有限的钱帮助更多人?有效利他主义(Effective Altruism,简称“EA”),就是从这个朴素的问题出发,推动人们比较不同慈善项目的效果,从捐赠蚊帐、预防疟疾,到后来投入数亿美元研究AI安全。

SBF与FTX的崩塌,曾让这场运动陷入信誉危机。最近,AI研究员辞职、安全评估机构和捐赠网络引发的争议,又让EA受到关注。当一些人把防止AI毁灭人类视为最值得投入的事业,他们的判断如何影响研究方向和资金分配?其中又有怎样的利益与权力问题?

本期节目,我们邀请以太坊联合创始人Vitalik Buterin与科技记者Afra,聊聊EA和理性主义究竟主张什么,以及这些思想如何影响了今天的AI发展。

Vitalik曾向这个圈子的机构捐赠大量资金。他在节目中回忆,一笔加密货币捐赠如何意外地变成数亿美元,以及受赠机构后来的方向,为什么让他开始重新考虑当初的选择。


节目全程以中文录制,前半段由Afra介绍背景,后半段是我们与Vitalik的对话。


【主播】 

Yiwen,硅谷101主持人

泓君,硅谷101创始人,播客主理人


【嘉宾】

Vitalik Buterin,以太坊联合创始人

Afra,科技记者


【时间轴】

有效利他主义是什么,它如何走到AI安全中心?

两个关键人物:William MacAskill与Eliezer Yudkowsky

八万个小时:怎样使用一生,才能帮助更多人?

EA的四次转向:全球健康、长期主义、信任危机与AI安全

EA与理性主义的异同:怎样做好事,怎样想清楚?

AI安全如何影响前沿AI实验室的公司选择

METR与捐赠网络:安全评估如何引发了争议?

走进伯克利:Lighthaven、The Curve与硅谷思想聚会

去华尔街赚钱,再把钱捐出去:这条路出了什么问题?

EA与e/acc:关于AI加速与减速的争论


Vitalik的捐赠:一笔意外的加密货币如何变成数亿美元

如何成为一名负责任的数字游民?Vitalik最初的EA经历

哲学僵尸与意识:理性主义者都在讨论什么?

当思想社群有了富豪捐赠者和专业机构

AI安全思想和P(doom)逐渐成为争论焦点

狗狗币的故事:意外收到大量代币之后

印度疫情救助与FLI:两笔捐赠如何落地

当FLI转向AI政策,Vitalik和它的矛盾何在?


当“帮助人类”变成机构、政策与权力

一个领域已经有很多钱,还值得继续捐吗?

从救助生命到影响政策,捐赠效果为什么更难判断?

SBF留下的问题:为什么聪明人也会看错人?

EA、理性主义、e/acc与d/acc,分歧到底在哪里?

“好公司必须赢”:相信Anthropic,能解决安全问题吗?

安全、开源与商业利益:谁来决定AI的未来?

Vitalik眼中的OpenAI:开放、安全与加速之间的变化


除了加速与暂停,还有什么选择?

d/acc:Vitalik为什么主张加强分布式防御?

以防疫为例:怎样让普通人拥有保护自己的工具?

面对AI的不确定性,普通人可以怎样理解这些争论?

Vitalik:承认我们还不知道的事情

AI安全也需要制衡:让多个不完美的系统互相监督


【相关阅读和名词解释】

往期相关:E233|硅谷右翼的权力网如何形成?聊聊彼得·蒂尔的思想启蒙拼图


人物:

William MacAskill(威廉·麦卡斯基尔):哲学家,曾任牛津大学哲学副教授,EA运动共同发起人之一,共同创办了Giving What We Can、80,000 Hours等机构,也是长期主义的重要倡导者。

Sam Bankman-Fried(萨姆·班克曼-弗里德,SBF):加密货币交易所FTX联合创始人,曾是EA最受瞩目的支持者和捐赠者之一。

Eliezer Yudkowsky(埃利泽·尤德考斯基):AI安全研究者与写作者、机器智能研究所共同创始人,也是互联网理性主义社群的重要奠基者。他关于认知偏差、理性思考和AI对齐的文章,影响了LessWrong及部分EA社群。

Chris Olah(克里斯·奥拉):Anthropic联合创始人,主要研究如何理解神经网络的内部运作,是机械可解释性领域的重要研究者。

Kevin Bass(凯文·巴斯):网络评论者,曾公开追查并质疑Anthropic、METR及相关AI安全机构之间的资金和人际联系。

Jacob Coxon(雅各布·考克森):曾在OpenAI和Anthropic从事研究,2026年9月辞职并公开警告前沿AI公司的竞争可能带来严重安全风险。

Dustin Moskovitz(达斯廷·莫斯科维茨):Facebook和Asana联合创始人,与妻子Cari Tuna创办Good Ventures,承诺捐出绝大部分财富。

Jaan Tallinn(雅恩·塔林):Skype联合创始人,长期资助AI安全与存在风险研究,也是未来生命研究所的共同创始人。他参与支持的Survival and Flourishing Fund,是相关研究机构的重要资金渠道之一。

Gideon Lewis-Kraus(吉迪恩·刘易斯-克劳斯):《纽约客》记者,2022年撰写了关于William MacAskill的长篇人物报道。

Toby Ord(托比·奥德):澳大利亚哲学家、Giving What We Can共同创始人,EA运动的重要早期推动者。他长期研究全球贫困、道德责任与可能威胁人类长远未来的存在风险。

Scott Alexander(斯科特·亚历山大):精神科医生与写作者,先后创办Slate Star Codex和Astral Codex Ten。他的文章涵盖科学、医学、社会议题和认知方法,是理性主义社群的重要阅读材料。

Zvi Mowshowitz(兹维·莫肖维茨):Don’t Worry About the Vase的作者,长期评论AI发展、安全与政策。

Nick Bostrom(尼克·博斯特罗姆):哲学家,曾任牛津大学教授、未来人类研究所创始主任,《超级智能》作者。他对超级智能、存在风险和人类长远未来的研究,影响了EA及AI安全领域的讨论。

Sandeep Nailwal(桑迪普·奈尔瓦尔):Polygon联合创始人、印度疫情救助基金CryptoRelief发起人。本期Vitalik谈到向该基金捐赠加密货币。


机构

80,000 Hours(八万小时):由William MacAskill和Benjamin Todd共同创办的非营利职业研究与咨询机构,帮助人们思考如何利用职业生涯产生更大的社会影响,是EA的重要机构之一。

METR(模型评估与威胁研究,Model Evaluation & Threat Research):研究与评估前沿AI能力及潜在重大风险的非营利机构。

Coefficient Giving:前身为Open Philanthropy的慈善资助与咨询机构,长期与Moskovitz夫妇的Good Ventures合作。它是EA相关资助网络的重要节点,支持全球健康、动物福利、疫情防范和AI安全等领域。

Future of Life Institute(未来生命研究所,FLI):研究并倡导降低先进技术重大风险的非营利机构,工作涉及AI等领域。它接受了Vitalik的重要捐赠。

Centre for the Governance of AI(人工智能治理中心,GovAI):从事AI治理与政策研究、培养相关人才的非营利机构。

Machine Intelligence Research Institute(机器智能研究所,MIRI):由尤德考斯基等人共同创办、长期关注高级AI与人类利益如何对齐的非营利机构,与理性主义及EA社群联系密切,也是本期提到的Vitalik曾支持的机构之一。

GiveWell:通过证据与成本效益分析评估慈善项目、引导捐赠的非营利机构,主要关注全球健康与发展。

Against Malaria Foundation(抗疟疾基金会,AMF):主要通过资助长效杀虫蚊帐的分发预防疟疾的慈善机构,长期获得GiveWell推荐。

PopVax:印度生物技术公司,研发疫苗和癌症免疫疗法。其疫苗项目获得过Vitalik的Balvi基金支持。

Lighthaven:由Lightcone Infrastructure运营的伯克利会议与活动园区,经常举办理性主义、AI安全及相关社群的聚会。

The Curve:围绕先进AI的发展、风险、经济影响与治理举办的会议,汇集研究人员、企业界、政策界及不同立场的参与者。

Progress Conference:由Roots of Progress Institute主办,讨论科技、经济和社会进步的会议。

Effective Altruism Global(有效利他主义全球大会,EA Global):面向EA社群的系列会议,讨论如何通过研究、职业选择和捐赠更有效地改善世界。

Zuzalu:Vitalik等人于2023年在黑山组织的临时社区实验,参与者共同生活、交流并开展活动。

PauseAI(暂停AI运动):主张在能够确保安全并实现民主监督之前,暂停前沿AI开发的国际草根运动。

LessWrong:由尤德考斯基等人推动形成的社区博客,讨论理性思考、认知偏差、决策与AI风险,是互联网理性主义社群的重要平台,与EA存在思想和人员上的广泛交集。


作品

Machines of Loving Grace(《充满爱意的机器》):Dario Amodei于2024年发表的文章,讨论强大AI可能为健康、经济和社会带来的积极变化。

The Sequences(《系列文章》):尤德考斯基关于理性思考、认知偏差、信念更新、决策和AI等问题的一系列博文,是LessWrong及理性主义社群的重要基础文本,也影响了部分EA参与者。

Rationality: From AI to Zombies(《理性:从AI到僵尸》):以The Sequences等博文为基础编辑整理的尤德考斯基文集。

Slate Star Codex(《石板星法典》):Scott Alexander原来的个人博客,涉及医学、科学、政治、哲学和理性思考,是理性主义社群的重要交流与阅读平台。

Astral Codex Ten(《星界法典十》):Scott Alexander在Slate Star Codex之后开设的博客与newsletter,继续讨论科学、社会问题和理性判断。

Don’t Worry About the Vase(《别担心花瓶》):Zvi Mowshowitz的博客与newsletter,近年来大量追踪AI能力、安全研究、企业动态和政策。

Harry Potter and the Methods of Rationality(《哈利·波特与理性之道》):尤德考斯基创作的《哈利·波特》同人小说,设想接受科学与理性思维训练的哈利如何理解魔法世界。

UNSONG(《无歌》):Scott Alexander创作的幻想小说,将宗教神秘主义、语言和现实世界的运行规则结合起来。

Snowmoon(《雪月》):Vitalik创作并公开发布的小说。


思想和流派:

Effective Altruism(有效利他主义,EA):用证据和理性分析,寻找最有效的助人方式。关注全球Lighthaven健康、动物福利等议题,部分参与者尤其重视AI安全。

Rationalism(理性主义):本期特指围绕LessWrong等博客形成的社群,强调识别认知偏差、根据证据修正判断。与EA联系密切,但不等同于EA。

Effective Accelerationism(有效加速主义,e/acc):主张加快AI等技术的发展,相信创新与竞争能推动社会进步,通常反对以灾难风险为由限制开发。

d/acc(防御性加速主义):Vitalik提出的思路,主张优先发展能保护人、分散权力的技术,例如网络安全、疫苗和空气过滤,提高社会抵御风险的能力。


【监制】

泓君

【后期】

Amei

【运营】

朱婕

【BGM】

DOX - Lennon Hutton

Deadlock - Lennon Hutton

Primary Code - Max Anson

Estimations - Christoffer Moe Ditlevsen

The Hoover Dam - Bonnie Grace

Radar Focus - Blue Saga

One Step Away - Dian Shuai

Spring Dance - Forever Sunset

Signal Containment - Out To The World

Pulse Runner - Helmut Schenker

说明里标出的时间点,点一下跳过去

AI 看点

本期看点

AI 从整集转写里归纳的,不是节目方的宣传语

最值得听的

Vitalik用“消灭癌症可能消灭全人类”讲清AI对齐的价值脆弱性,并指出智力与善良是两个维度。

别处听不到的

Vitalik自述2020年打电话让母亲读多伦多私钥、两天研究Safe代码取出狗狗币的全过程。

最打动人的

Afra把当下的AI领域比作没有大人的幼儿园,一群研究员哇哇大哭却说不清AI到底想干什么。

AI 推荐理由

为什么值得听

AI 读完整集转写后给出的推荐理由

Anthropic招股书里“safety”出现248次,这个数字背后是一整套从牛津慈善运动长成硅谷权力网络的思想。节目把有效利他主义的四个阶段拆开讲,再请以太坊创始人Vitalik讲他2016年花两万五千美元买狗狗币、后来兑现四到六亿美元捐出去的全过程,以及他为什么后来跟自己捐的机构闹掰。关于AI安全该靠限制模型还是靠检测和疫苗,他给了一个和主流叙事不太一样的答案。

AI 概要

本期概要

由 AI 从整集转写生成,是创作者说明之外的补充

本期节目从Anthropic招股书披露的AI安全风险切入,系统梳理有效利他主义(EA)从牛津慈善运动到硅谷AI权力中心的演变。嘉宾Afra将EA分为蚊帐时代、长远规划、声誉崩盘、AI安全四个阶段,辨析EA与理性主义的区别,并讨论Anthropic与EA的资金和人员关联。以太坊创始人Vitalik Buterin随后讲述自己接触EA的经历、2021年巨额加密捐赠的来龙去脉、与未来生命研究所的分歧,以及他对AI安全、d/acc和制度设计的思考。节目最终回到一个核心问题:当一群人以全人类未来为名掌握资金和技术方向时,谁有权质疑和纠正他们。

AI 识别的章节

章节

点一章从那里开始播 · 与创作者标的时间点各自独立

00:02

从Anthropic招股书说起:AI安全为何成为上市风险

07:44

EA是什么:八万小时与四个阶段

13:16

理性主义与EA:认知论和道德主张的分野

16:19

Anthropic是EA公司吗:创始人出走与资金链质疑

22:07

伯克利、Lighthaven与理性主义的地理版图

25:48

MacAskill与EA的牛津起源:从占领华尔街到硅谷

32:19

Afra的自我定位与对AI加速的担忧

37:44

谁在资助EA:Coefficient Giving与Vitalik的捐款

40:39

Vitalik自述:从LessWrong到全球健康捐赠

44:28

Yudkowsky、Scott Alexander与AI对齐问题

52:07

理性主义与EA的功劳之争及Vitalik的风险概率

59:29

狗狗币、Safe多签与四到六亿美元的意外兑现

1:07:13

与FLI的分歧:从存在性风险到AI政治行动

1:11:13

AI安全的最大问题:公司激励而非研究不足

1:19:04

EA的派系:支持Anthropic、反对Anthropic与理性主义

1:27:49

Anthropic的批评:安全哲学还是权力辩护

1:36:06

d/acc:防御性、去中心化的加速方案

1:43:13

普通人的takeaway:不确定性、可解释性与制度设计

1:50:41

收束:当“有效”的对象延伸到未出生世代

本期提到的品牌与产品

节目里自然聊到的,不是广告

Anthropic招股书披露AI安全风险与长期利益信托安排
00:01中性
80,000 HoursEA职业咨询组织,体现EA资源分配逻辑
03:21正面
FTXSBF创办的交易所崩塌,引发EA信任危机
03:38负面
METR为Anthropic做独立安全审计,资金链受质疑
18:22中性
OpenAI创始人因安全分歧出走成立Anthropic
05:37中性
未来生命研究所Vitalik最大捐赠接收方,后转向AI政治行动
05:56中性
硅硅谷101|中国版

硅谷101|中国版

一档聚焦科技产业前沿的深度访谈播客,以AI基础设施与产业落地为核心,延伸至消费硬件、大宗商品等跨领域议题,追踪议题演进。

已收录 261 期 · 最近更新 10 月 29 日

这一期适合谁

AI 对内容的推测

听众画像25–34 岁为主 · 偏男性 · 消费力较高
更适合科技从业者

这一期偏哪一派

偏沪派节目由编辑式问题驱动:开场用招股书细节立题,逐段梳理EA思想史与人物关系,主播承担背景补充和追问,讨论范围被有意识收束。

在哪里听

http://www.ximalaya.com/album/33244571.xml复制

概要、章节、提及与推广标注由 AI 生成,可能有误;内容版权归创作者,声湃按创作者开放的 RSS 收录。了解收录与 RSS →

更多单集 全部 261 期 →