AI安全背后的哲学思想,有效利他主义如何影响硅谷?(上篇)

硅谷101 · 商业与创投

原创 硅谷101 2026-11-05 15:10 北京 从哲学思想到AI主导权之战 (点击收听本期音频👆) 采访|Yiwen、泓君 图文|Yiwen 在近期提交的招股书中,Anthropic透露了将近100页的风险因素。除了常见的金融和市场风险之外,还包括了关于前沿AI所带来的灾难性、甚至威胁人类生存的风险这样的表述。Anthropic说,他们自己也无法保证自己的安全措施一定有效。 招股书还披露,上市后七位联合创始人将通过特殊股份掌握一般表决事项50.1%的投票权;与此同时,还有一个叫做“长期利益信托”的机构,有权选举董事会的多数成员。这套安排的目标,是让公司在追求商业利益时也考虑人类的长远利益。但有媒体注意到了一个细节:创始人可以提前指定,在自己失去履职能力后由谁接替自己的投票权。这些人选需要经过内部批准,但名单是保密的。也就是说,公众目前并不知道,未来谁有可能参与Anthropic的决策。 这份招股书,将AI安全对于Anthropic这家公司的重要性,再一次展现在了公众面前。但与此同时,如果他们的警告成真,那作为公众,我们是否应该有权知道,谁能够代表人类来做决定呢? 要理解Anthropic对于安全的重视,以及围绕它的信任和权力争议,就要提到一个近期反复出现的概念,那就是 有效利他主义(Effective Altruism) ,简称EA。 就在这个月,《经济学人》把EA放上了封面,称它为“本世纪最重要的思想”。一些报道指出,围绕AI安全政策,EA的支持者与我们播客里提到过的科技右翼发生了冲突,甚至特朗普政府也加入了争论——美国国防部在社交媒体上直接喊出了一句口号:“美国主义,而非有效利他主义”。一个听起来还属于哲学讨论的概念,就这样成了美国政府公开划清界限的对象。 本期《硅谷101》,我们邀请到了一位与EA圈关系密切的人:以太坊创始人Vitalik Buterin,和他的朋友、科技记者Afra。以下是采访的第一部分,由Afra介绍有效利他主义的发展的四个阶段;它的精神领袖Will MacAskill其人其事;EA和理性主义、e/acc(有效加速主义)之间在社群气质与行动力上的差异; 以及 EA是如何主导AI安全叙事,把硅谷最聪明的人一步步网罗其中的。 欢迎关注《硅谷101视频号》或 音频栏 目 直 接收听本期播客 。 如 果 你喜欢我们的 节目,更推 荐大家使用 音频客户端来收听,《硅谷101 》已覆盖各大 主流音频 平台(渠道见文末),欢迎订阅! 以下是这次对话内容的精选: Yiwen : 你觉得总体来说,有哪些话题是EA会比较关注的? Afra: 其实需要把EA影响全球格局的这十几年时间,分成大概四个阶段,它每个阶段关注的重点都不太一样。 第一个阶段就是所谓的 “蚊帐时期” 。这个时期就是你用非常详实的、可量化的证据去改善做慈善的效率,去影响比方说全球的健康指数。这是一种可以测量的善,它是一个由证据来支持、由数据来支持的善。因为在EA刚刚成立的那段时间里,许多人想要行善,许多人想通过慈善去捐钱,但是慈善的效率非常低下,他们捐的钱捐不到位。 但是EA这群人,他们就想用一个可量化的、科学的方式,把这个钱捐到位,然后去最大化它的价值。所以这就是蚊帐时代的来源——这个蚊帐指的就是,蚊帐是一个“你捐多少钱,就能够挽救多少个生命”的最最有效的方式。 接下来,EA的下一个阶段就到了,叫做所谓的 “长远规划时期” 。这个长远规划时期大概是在2015年左右发生的,就是这群人开始不成比例地去研究存在风险和关于未来世代的问题,资金和机构也开始扩张。他其实不再关心一个蚊帐能救多少人,而是关心未来几千年、几万年,人类的世世代代的子女,这些人的生活质量和生活标准。 所以就有大量的资金——同时也是SBF以及很多其他富豪的资金——在这个阶段进入了社区。我觉得SBF可能是这个时代最极端的一个象征,因为他自己就是一个非常非常关注long-termism (长期主义) 问题的人。 我读过一篇关于Will MacAskill的《纽约客》人物特稿,读完之后我的一个判断是:SBF可能是整个EA转向long-termism的决定性因素之一。 接下来就是 整个社群声誉崩盘的时代 。出现了很大的信任危机,大家也开始去反思,EA的群体到底出了什么问题。同时ChatGPT也诞生了,也带来了一个AI的转折——之前EA还有理性主义群体讨论的这种AI风险、生存问题,突然变成了更多人关心的问题。 所以这个阶段,我觉得它是一个也有很多挫败、但是也有很多曝光的阶段。首先它曝光出了非常多的问题,比方说Will MacAskill本人识人的失败,他自己一直被社群批评,也是他现在仍然对SBF的反思不够,以及他当时一直在庇护SBF。 但是这个时期,也是一个真正让EA变成了就像是《经济学人》

查看原文