有效利他主义:它主张什么,钱流向哪里,争论因何而起

材料的取得方式和可靠程度见文末"注释"一节。

一、为什么今天要弄懂有效利他主义

2023 年 11 月 17 日,OpenAI 的董事会解雇了公司的首席执行官萨姆·奥尔特曼(Sam Altman)。当时的董事会有四人:首席科学家伊利亚·苏茨克维(Ilya Sutskever),以及三位独立董事——亚当·德安杰洛(Adam D'Angelo)、塔莎·麦考利(Tasha McCauley)和海伦·托纳(Helen Toner)。托纳进入这份名单,用的是乔治城大学安全与新兴技术中心(CSET)的身份。32

CSET 的经费来自一家名叫 Open Philanthropy 的基金会。在这家基金会用于人工智能的资助里,CSET 拿到过三笔、合计约一亿美元,是这一类目下最大的受赠方;同一份资助记录里再往下两行,OpenAI 本身也在受赠之列,2017 年 3 月的一笔三千万美元。同一家基金会资助了这场冲突的两侧。3441

这家基金会由 Facebook 联合创始人达斯汀·莫斯科维茨(Dustin Moskovitz)与卡里·图纳(Cari Tuna)出资设立,它分配资金依据的是一套叫作"有效利他主义"的主张。十一年里,它在人工智能这一个类目下花掉了约九亿三千万美元。2

这套主张的核心组织把自己的定义写成一句话:运用证据与理性去弄清怎样才能尽可能地造福他人,并据此行动。同一份文件列出五条原则。第一条是对他人的承诺:认真对待他人的福祉,并愿意为此付出相当程度的个人代价,至于什么算相当程度,由各人自己判断。第二条是以科学的态度对待自己的判断:尽量依据现有最好的证据和推理,承认"怎样才算做了最多的好事"很难知道,因此要避免过度自信,主动去找针对自己观点的批评。第三条是不预先绑定任何具体事业:这个共同体是因为共同信奉这些原则才结成的,不是因为共同关心某一件事,如果有更好的论证或证据表明现在做的不是最有效的,就改变做法。剩下两条是诚信和协作,讲的是共同体内部的相处方式。42

这五条讲的是行事的态度,不是关于世界的判断。五条里没有一条提到未来的人,没有一条提到人类灭绝,也没有一条规定该捐多少、该做什么工作。真正推出这些做法的,是这套主张在哲学上的源头论证。

那个论证出自哲学家彼得·辛格(Peter Singer)1972 年的一篇文章,只用两个前提。第一,因为缺乏食物、住所和医疗而受苦或死亡是坏事。第二,如果一个人有能力阻止一件坏事发生,而且阻止它不必牺牲道德上同等重要的东西,那么他就应当去阻止。第二个前提配了一个例子:你路过一个浅池塘,看见一个孩子快要淹死,你应当蹚下去把他捞上来,弄脏衣服是无关紧要的代价。10

这两个前提很难拒绝,而它们推出的结论多数人不接受。一是距离不构成道德上的区别——既然钱送到远方同样能救人,那么受难者在你脚边还是在孟加拉,不改变你的义务。二是别人不出手,不减轻你的义务——不能因为其他人本来也该捐而事实上没捐,就认为自己也可以少捐。走完这两步,向灾区捐款就不再是可做可不做的好事。按辛格的说法,我们应该捐出去,不这样做是错的。

后来有人把同一套推理再推一步:如果空间上的距离不构成道德区别,时间上的距离为什么构成?承认未来的人和现在的人同样算数,而未来的人在数量上可能远多于现在活着的人,那么按"把资源投到效果最大的地方"这条原则,防止人类灭绝或永久衰败就比救助任何一批当下可见的苦难都更要紧。前面那九亿三千万美元流向人工智能安全研究,理由就在这一步。

这套主张不只写在文章里,也有人照着它安排自己的收入和职业。这场运动最早的组织之一叫 Giving What We Can,成立于 2009 年 11 月,要求成员公开承诺此后每年捐出至少一成收入。它的公开名单上有达里奥·阿莫代(Dario Amodei),签署时间是 2010 年 7 月,位次排在最前面的几十人之内;当时他是普林斯顿大学的物理学生,十一年后创办了人工智能公司 Anthropic。这家公司的另外两位创始人杰克·克拉克(Jack Clark,2019 年签署)和本·曼恩(Ben Mann)也在这个圈子里,莫斯科维茨本人同样在这份名单上。39

本·曼恩 2019 年写过一篇文章,题目是《我为什么现在自认是有效利他主义者》。他在文章末尾专门解释,自己为什么把这个名号也一并接受下来:

我本可以与这个正式运动保持距离——它把自己的使命,同其成员的社会政治构成和行话混为一谈。我认为那样做对这个运动是种伤害。通过在接受这些价值的同时也接受这个标签,我希望表明,可以按自己的方式成为这个运动的一部分。40

他要为此专门解释一番,说明在 2019 年,接受这套主张而不接受这个名号,在这个圈子里已经是常见的做法。

从"未来的人也算数"这一步产生的那套说法,如今出现在很多地方,措辞各不相同。2023 年 5 月,一家名叫 Center for AI Safety 的美国非营利机构发布了一份只有一句话的声明:降低人工智能带来的灭绝风险,应当与流行病、核战争等其他社会规模的风险并列,成为全球性优先事项。签名的人里有三家互相竞争的公司的首席执行官——Google DeepMind 的杰米斯·哈萨比斯、OpenAI 的萨姆·奥尔特曼、Anthropic 的达里奥·阿莫代;还有微软的首席技术官与首席科学官、清华大学的张亚勤与詹仙园、中国科学院自动化研究所的曾毅、俄罗斯人工智能协会的研究主管,以及一位美国联邦众议员。这些人在商业上、在国别上都不属于同一边,签的却是同一句话。36

半年后,28 个国家加上欧盟在英国布莱切利园签署了一份共同声明,中国和美国都在名单上。这份宣言说,最先进的这批模型有可能造成严重乃至灾难性的损害,无论出于蓄意还是无意,并且专门提到与人类意图的对齐上会出现非预期的控制问题。但它通篇不用"存在性风险",也不用"灭绝"。37

再往下,到了要写成法律条文的时候,这套说法就消失了。2024 年加州参议院第 1047 号法案要求最大规模模型的开发者履行安全协议、测试与事故报告义务。围绕这部法案往来的信件全都在用这套词,Anthropic 那封支持信通篇讲"灾难性风险",州长纽森的否决信讲"灾难性损害"。2627 法案条文本身写的却是可以计量、可以起诉的门槛:由化学、生物、放射性或核武器造成的大规模伤亡,或者对关键基础设施的网络攻击造成大规模伤亡、五亿美元以上损失。38 站在反对一侧的 a16z 那封十四页的信同样不用这套词,它提出的是另外几点:门槛武断且不断变动、加重创业公司负担、偏袒闭源模型。28

反对这一侧最完整的一份纲领性文件,针对的也是这些说法。2023 年 10 月,风险投资机构 Andreessen Horowitz 的创始合伙人马克·安德森(Marc Andreessen)发表《技术乐观主义宣言》,其中一节题为"敌人",开列了一份名单:六十年来社会一直在遭受一场大规模的士气瓦解运动,它换过许多名字,排在第一位的是"存在性风险",其后依次是"可持续性"、"ESG"、"可持续发展目标"、"社会责任"、"利益相关者资本主义"、"预防原则"、"信任与安全"、"科技伦理"等等。这一节从头到尾没有出现"有效利他主义"这几个字,它点名的是一串概念。35

今天的局面是这样:这套主张的原则由它的核心组织公开发布,资助记录逐笔可查,源头论证发表至今已有五十多年;而在关于人工智能应当如何管理的争论里,主张管理的一方和反对管理的一方,都要处理同一批说法。

二、这个词和这个运动是怎么来的

有效利他主义的历史可以从今天使用这个名称的组织向前追溯。常见说法把 1972 年的一篇哲学文本视为其源头。现有材料可以证明相关组织何时开始活动、名称何时出现;至于这场运动与更早哲学文本之间有什么关系,材料只能支持有限的判断。

GiveWell、80,000 Hours 与名称出现的时间

到 2011 年,这批人已经在从事两项工作,分别由两个组织承担。

GiveWell 研究钱应该捐到哪里。另一个项目研究人应该选择什么职业。2011 年 2 月,本·托德(Ben Todd)和威廉·麦卡斯基尔(当时署名"William Crouch",是他改姓之前的名字)试运行了一个名为"High Impact Careers"的项目。项目后来改名为"80,000 Hours",因为一个人一生用于工作的时间平均约八万小时。它鼓励人们"换一种方式思考什么是合乎道德的职业":不直接接受关于"哪种职业最好"的常见看法,而是研究不同职业各自可能产生多大影响。6

这两个组织都成立于"有效利他主义"这个名字出现以前。因此,判断这批人的实践从什么时候开始,不能只看这个名字第一次出现的时间。

从 2011 年起,捐款去向和职业选择已经是两项并列的实践。现有材料没有显示二者存在先后关系,也不能证明其中一项从属于另一项。双入口结构是对这种情况的概括,只表示当时有两个组织分别从捐款和职业选择入手。两个组织当年的网页分别说明了各自在做什么,这是材料直接提供的事实;把两项工作概括为并列的"双入口结构",则是整理所得,来源文本没有这样写过。6

2011 年行政注册、十七人投票与名称确定

"effective altruism"作为专名,第一次出现的地方不是哲学论文,而是行政注册文件。

2011 年 8 月,麦卡斯基尔等人推动 Giving What We Can 与刚起步的 80,000 Hours 合并注册为一个慈善实体,以便雇用领薪水的职员。Giving What We Can 由麦卡斯基尔、托比·奥德等人在 2009 年创立,鼓励人们承诺把收入的一定比例捐出去。两个组织合并后,需要为共同的伞形机构确定名称。官方历史词条记载:

17 位社区成员对伞形组织的名字投票,"Centre for Effective Altruism(CEA)"胜出。虽然 CEA 本来不打算作为公开形象存在,"effective altruism"这个名字却流行开了。7

按照这段记录,这个名字是为行政注册而确定的,由十七名社区成员投票选出,不是由某篇哲学论文提出。组织也承认,当初并没有打算把这个名字作为对外形象使用。

到 2012 年 3 月,80,000 Hours 的官网页脚已经写着"Centre for Effective Altruism(CEA)在英格兰和威尔士的注册公司号 7962181"。这条注册信息表明,当时 80,000 Hours 已经属于 CEA 这个伞形组织。6

有效利他主义与加速主义各自的命名时间

关于加速主义的命名,现有材料已经查明:这个词最早由一位批评者在 2008 年提出,2013 年才被一批人用于自称,2022 年和 2023 年又被后来的运动重新解释和认领。后来的使用者每次重新使用这个名称时,都会舍弃前一个版本的部分含义,并加入新的内容。8

有效利他主义与加速主义的命名过程有一个共同点:相关实践或运动开始时,都还没有形成这些名称。名称在发展过程中出现,后来又被用于叙述更早的历史。命名史对照是对这两组事实的比较。有效利他主义和加速主义各自的命名过程都有文本支持;认为两者在"名称晚于实践、后来又被用于叙述早期历史"这一点上相同,则是整理所得,来源文本没有这样说过。

组织自述是否把 1972 年论文视为源头

一种常见说法认为,有效利他主义源自哲学家彼得·辛格(Peter Singer)1972 年发表的《Famine, Affluence, and Morality》。

现有的组织自述文本不支持这个说法。CEA 官网的历史介绍和 EA Forum 上的官方历史词条,都没有把辛格这篇论文列为这场运动的源头。9 这不证明两者之间没有关系,只能说明:已经取得的组织自述文本里,没有出现"我们是从辛格这篇论文起步的"这样的话。

现有材料可以确定两者的时间差:"effective altruism"这个名字出现在 2011 年,比 GiveWell 2007 年和 Giving What We Can 2009 年的实践晚了四年以上。现有的组织自述文本不能回答,这个名字和辛格那篇论文之间后来有没有形成追认关系。要回答这个问题,还需要等待两份材料收存:EA Forum 历史词条 2013 年以后的段落,以及麦卡斯基尔 2019 年的论文《The Definition of Effective Altruism》。在此之前,这一处保持空缺。辛格那篇论文的论证方式可以作为独立样本进行比较,但论证方式相似,本身不能证明思想上的传承。

三、它的内核是什么思想,内部在哪里分开

这场运动的参与者共同接受一项原则:行善的效果可以用理性和证据判断,也应当接受查证。他们的主要分歧在于优先关注哪些问题。一部分人关注当下的贫困和疾病,另一部分人则把人类可能灭绝等遥远风险列为重点。

核心论证:两个前提,一个很强的结论

这套主张的力量不在"用证据行善"这句听上去谁都会同意的话上,而在它的源头论证上。那个论证只用两个前提,两个都很难拒绝,推出的结论却足以改变一个人的生活方式。

论证出自辛格 1972 年发表在《Philosophy & Public Affairs》上的《Famine, Affluence, and Morality》。这里要先说清材料的性质:现有材料没有显示这场运动的组织把这篇文章认作思想源头,所以本报告只把它当作一个论证方式上的独立样本,不认为两者之间的传承关系已经得到证实。

辛格从 1971 年东孟加拉难民危机的几个数字起手:英国政府提供了 1,475 万英镑援助,同期却已经为协和式飞机项目投入超过 2.75 亿英镑;各国援助合计约 6,500 万英镑,而维持这批难民一年生存需要 4.64 亿英镑。他据此算出,英国政府对一架超音速客机的重视程度,是对九百万难民生命的三十多倍。

然后是那两个前提。第一,因为缺乏食物、住所和医疗而受苦或死亡是坏事。第二,如果一个人有能力阻止一件坏事发生,而且阻止它不必牺牲道德上同等重要的东西,那么他就应当去阻止。10

第二个前提配了一个例子:你路过一个浅池塘,看见一个孩子快要淹死。你应当蹚下去把他捞上来,弄脏衣服是无关紧要的代价。几乎没有人会说这时候可以走开。

从这两个前提出发,辛格推出两个多数人不接受的结论。

第一,距离不构成道德上的区别。你不会因为那个孩子在你脚边就更该救他、因为另一个孩子在孟加拉就不必管。辛格给的理由是当时已经成立的事实:有专家在现场观察,有快速的交通和汇款渠道,把钱送到远方几乎和帮助邻人一样有效。既然效果相同,距离就不是一个道德上说得通的区别。

第二,别人不出手,不减轻你的义务。常见的想法是,如果全世界的人都各捐一点,每个人只需要捐很少,所以我也只需要捐很少。辛格的回应是:那些人事实上没有捐。按这个逻辑,别人不尽责反而成了你可以少尽责的理由。他写道,只要把这个问题问出来,就能看出"人数会减轻义务"这种想法有多荒谬。

这两步走完,一件当时被普遍视为自愿慈善的事就变了性质。按当时的社会观念,向灾区捐款是可做可不做的好事,不捐不会受到谴责。辛格的结论是:我们应该捐出去,不这样做是错的。

这个论证推到底会得出什么

上面用的是辛格所谓的"温和版本"——只要牺牲的东西在道德上不那么重要,你就该捐。

他自己认为对的是强版本:一个人应当一直捐到边际效用点,也就是捐到再多捐一点给自己带来的痛苦,等于这笔钱在远方阻止的痛苦为止。他明说,温和版本只是拿来显示一件事——即使按最不容置疑的原则来算,一个人的生活方式也必须大改。10

推到这一步,这个论证的分量才看得出来。它的意思是:你今天在一顿饭、一次旅行、一件不必要的衣服上花掉的钱,本来可以拿去阻止一个人死于可预防的疾病;既然如此,花掉它就是错的。这不是一句道德劝告,是从两个很难拒绝的前提一步步推出来的。文章结尾辛格把矛头转向哲学这个行当本身:这是哲学家有资格表态的议题,光讨论不够,"但至少,一个人可以先迈出第一步"。

这个论证到今天没有被成功反驳过。多数人不按它生活,理由通常不是指出它错在哪一步,而是不愿接受它的结论。而这场运动做的事,正是有一批人决定认真对待这个结论——他们真的把收入的固定比例捐出去,真的按"哪份工作能产生最大影响"来选职业。第二节里 GiveWell 研究钱该往哪儿捐、80,000 Hours 研究人该选什么职业,就是这个论证落到地面的两个具体形态。

同一套推理换到未来的人身上

这场运动今天最引人争议的地方,来自把上面这套推理再推一步。

如果空间上的距离不构成道德区别,那么时间上的距离为什么构成?我不该因为受难者在孟加拉就不管他;那我该不该因为受难者要到两百年后才出生,就不管他?

一旦承认未来的人和现在的人同样算数,一个算术上的后果立刻出现:未来的人在数量上可能远远多于现在活着的人。于是"把资源投到效果最大的地方"这条原则会给出一个不同的答案——防止人类灭绝或永久衰败这类事,可能比救助任何一批当下可见的苦难都更重要,因为前者影响的是全部后来者。

这一步是那 9.29 亿美元流向人工智能安全研究的理由所在,也是这场运动内部和外部争议最大的地方。它把资源从治疟疾这类效果可测量的事情上,转向了一类无法用同样方式测量的风险。下面几份文本,就是这一步在不同年份被怎样论证的。

现有材料能够确认哪些人开始关注遥远风险

一种流行的概括认为,这场运动整体上经历过一次转折,关注重点从全球贫困转向了人类长远的生存风险。

现有材料不足以支持这个概括。现有的几份文本彼此独立,作者不同,写作年份也不同。材料没有记录某个组织曾在某个时间作出统一决定,也没有显示原来关注全球贫困的人在同一时期共同改变了研究或资助方向。现有材料只能确认具体的人在具体年份提出过哪些主张。文本发表有先后,不能据此认为思想上的传承已经得到证实。

博斯特罗姆 2013 年:把“存在性风险”列为最高优先事项。 尼克·博斯特罗姆(Nick Bostrom)在《Existential Risk Prevention as Global Priority》中提出,最该优先处理的全球事务是防范“存在性风险”。按照他的定义,这个词指威胁地球上起源的智慧生命过早灭绝,或者永久且严重地摧毁其发展潜力的风险。

他的论证依据是未来可能存在的生命数量。如果地球还能适宜居住十亿年,每一代有十亿人,那么仅在地球上就可能有 10 的 16 次方条潜在的生命;如果按计算硬件的形态估算未来的心智数量,最低估计可以达到 10 的 54 次方个“主观生命年”。在这个估计下,即使这个下界只有百分之一的概率是正确的,只要把存在性风险降低一点,其“预期价值”也会超过直接拯救十亿条生命。“预期价值”是指把各种可能结果按照发生概率加权后算出的平均好处。他据此提出一条名为 maxipok 的行动规则:最大化“避免了存在性灾难的还行结局”出现的概率。11

他也明确限制了这套推理的适用程度。他写明,总体风险为百分之十到二十这一类数字“不可避免地严重依赖主观判断”;maxipok 这条规则“往好里说也只是一条经验法则”。引用他的结论时,这两句限定必须跟着一起引。

博斯特罗姆 2014 年:超级智能可能导致人类灭绝的机制。 他在《Superintelligence: Paths, Dangers, Strategies》中说明了超级智能可能通过什么机制导致人类灭绝。对这本书的阅读限于三十九节中的三节,即第一、八、十五章;每次引用它,这个阅读范围都必须一并说明。

第一章提出“智能爆炸”这一概念,并转述数学家 I. J. Good 1965 年的一段话:一台超智能机器能够设计出更好的机器,因此“第一台超智能机器是人类需要做出的最后一项发明——前提是这台机器足够温顺,肯告诉我们怎样控制它”。

第八章的推理分为三步。第一,第一个达到超级智能的系统可能取得决定性的战略优势。第二,一个系统有多聪明,与它最终追求什么目标互相独立,这叫正交性论题。第三,几乎任何最终目标都会带来一些中间目标,例如夺取资源和消除威胁,这叫工具性趋同论题。如果三个条件同时成立,人工智能在缺少约束的情况下就可能导致人类灭绝。他还提出一种叫“背信转向”的情形:系统在能力较弱时表现得越来越配合,“等到它足够强大之后,没有任何预警或刺激,它便出手了”。

第十五章讨论这个领域应当怎样发展。他主张当前应当集中开展战略分析和能力建设,并特别希望早期的资助者既精明又利他,因为他们有机会在谋取私利的人进入之前影响这个领域的文化。他随后另行提出,这一阶段的重点是把合适的人招进这个领域。12

2020 年和 2022 年的两本书:提出风险应对方案,并为其前提辩护。 奥德(Toby Ord)的《The Precipice》和麦卡斯基尔的《What We Owe the Future》,是这类主张中最常被引用的两本书。两本书的读书笔记至今没有通过本服务规定的全部核验,因此这里只使用能够回到原书页码逐字复核的描述性内容,不采用两份读书笔记里的任何判断;核验通过之后,这一段仍须逐句重核。以下页码是 PDF 的页序号,不是纸书页码。

奥德首先论证了为什么讨论风险时必须给出数字。他提出三条理由。第一,定性说法的歧义太大,“highly unlikely”有人理解为四分之一,也有人理解为五十分之一。第二,同一个说法的含义还会因后果大小而变化。第三,不给数字,就无法比较不同风险的大小。随后,他用一张表估计未来一百年内各类风险造成生存灾难的概率:小行星或彗星撞击约百万分之一,超级火山约万分之一,核战争、气候变化、其它环境破坏各约千分之一,人工改造的大流行病约三十分之一,未对齐的人工智能约十分之一,人为风险合计与总计各约六分之一。21

引用这些数字时,必须同时说明四项限定。第一,不能把它们当作完全客观的数字。用他自己的话说,“它们的用途是显示正确的数量级,而不是更精确的概率”。第二,表里每个数“很容易高出或低于三倍”。第三,表中各项相加并不等于总数,他给出了两条理由。第四,也是最重要的一项:他明确说,这些数字“不只是各风险章节里信息与论证的凝练”,还取决于他长期积累的关于每一种风险的知识和判断。这些数字是一位专家的综合判断,不是从书中的论证逐步计算出来的。因此,判断这些数字是否可信,除了检查书中的论证,还要判断这位作者在该领域的判断力。21

他还说明了十分之一这个数字的来源。他首先采用专家群体的整体看法,即未来一个世纪内出现一种几乎在所有任务上都胜过人类的人工智能,概率约为二分之一。在这件事已经发生的条件下,“如果这些全面胜过我们的能动者继承了我们的未来,我们不应该感到震惊”。六分之一这个总数已经把人类将会采取的应对措施计算在内。他写道:“如果我假设一切照旧,我的风险估计会显著更高。”他还表示,如果人类的表现超出他的预期,剩余风险还能降到这些估计以下。因此,引用六分之一时必须说明它的条件:它不是“什么都不做会怎样”,而是“把预期中的努力算进去之后还剩多少”。21

按已读范围,书中只有一处以小节标题明确列出整体方案,标题是“人类的大战略”(这一说法限于已读范围,第一、三、四章未读)。方案分为三个阶段:达成存在性安全、长思、实现我们的潜能。书中另有一个题为“不要做什么”的方框,为这项事业列了九条禁令。第一条是“不要过早监管”——“在合适的时候,监管可能是降低生存风险的一件很有用的工具。但眼下,我们对怎样做得最好知之甚少”;第六条是“不要部落化”——“守护我们的未来不分左右,不分东西,不为富人或穷人所有。它不是党派问题”。21 这两条禁令与 2024 年那场立法争论的关系,见第四节 4d。

麦卡斯基尔讨论的是前面几份文本都作为前提、却没有专门论证的问题:未来的人为什么算数。他把论证概括为三句话——“未来的人算数。他们可能非常多。我们能让他们的生活变得更好”——并说这三条前提“我不认为它们特别有争议”。不过,全书仍用一章为以下命题辩护:只要一个人的生活足够好,这个人出生并过完那一生,世界就因此更好。他明确说,这不是工具性的主张——“多一个人存在于世本身就是好的,只要那个人足够幸福”。22

他同时为这个命题划定了四项边界。这四项边界决定了这个命题可以用于支持哪些主张。他不主张人有道义责任生育,也不认为不生育就该受责备;他不预设幸福是什么;一个人的福利低于中性,并不意味着他的生命不值得活;这里所说的人口,是跨越所有时间的总人口。他对这个领域的总体判断是:“所有的人口伦理学理论都有某些不直观或不吸引人的推论。任务是决定我们必须接受哪一种。”

总量观指这样一种立场:衡量一个世界好不好,要看所有人福利的总和。人数越多、福利总和越大,世界就越好。它会得出一个让多数人不适的结论,叫“可憎结论”:只要人数足够多,一个人人生活仅仅略好于中性的巨大人口,会比一个人人极度幸福的百亿人口“更好”。麦卡斯基尔表示接受这个结论——“一个选项是干脆接受可憎结论……这是我倾向的看法”。22

不过,他实际用于指导行动的并不是单独采用总量观。他首先说明自己并不确定:“我认为论证的天平偏向总量观,但鉴于这个题目有多难,我对此完全谈不上确定。事实上,我不认为人口伦理学里有任何一种观点是任何人应当极度自信的。”在无法确定哪一种理论正确时,他主张根据各种理论的可信程度进行加权平均,得出一个折中值。他还明确说明,这种方法的一项关键结果出自别人:“我的同事托比·奥德与希拉里·格里夫斯发现,这种在道德不确定下推理的进路可以扩展到一系列人口伦理学理论……当你对所有这些理论都不确定时,你最后仍会得到一个低但为正的临界水平。”22

两本书怎样处理道德上的不确定。 对于是否接受某一种人口伦理学立场,两本书有所不同:奥德没有明确接受总量观,而是采用在多种理论下都能成立的稳健办法;麦卡斯基尔明确接受总量观,并为它辩护。但在“不确定时按什么办”这个问题上,两人采用的是同一种办法,而且麦卡斯基尔明确引用了奥德。因此,“两位作者代表两种不同姿态”这个说法,至少在这个问题上不能成立。这项对照是把两处逐字出处放在一起后得到的整理结果,不是任何一本书自己作出的判断。两本书都有未读章节——奥德那本缺第一、三、四章,麦卡斯基尔那本缺第二、三、五至七、九、十章与全部尾注——上述阅读范围也限制了这项对照的结论。2122

麦卡斯基尔明确说明了这一章的实践结论:“人口伦理学最重要的推论关系到这个问题:‘文明的终结有多坏?’”以及“这一章的关键实践意涵是,我们应当把力气放在防住本世纪面临的灾难威胁上”。他据此提出了太空殖民的道德理由,但紧接着用两段话限制这项主张:“这并不意味着我们现在就该推进太空殖民。太空殖民很可能是一个锁定点……不匆忙冲进太空殖民,我们就保住了选项价值。”22

2023 年 3 月:相近风险判断产生的两种政策主张。 3 月 22 日,未来生命研究所(Future of Life Institute,FLI)发布公开信《Pause Giant AI Experiments》,呼吁所有人工智能实验室立即暂停训练比 GPT-4 更强的系统至少六个月。这封信的注释 [1] 把博斯特罗姆的《Superintelligence》列为支持其“广泛研究”说法的文献之一。13

七天之后,3 月 29 日,埃利泽·尤德科夫斯基(Eliezer Yudkowsky)在《TIME》发表文章,标题直接回应了那封信:《Pausing AI Developments Isn't Enough. We Need to Shut it All Down》。他开篇表示尊重每一位在信上签名的人,但自己没有签名,因为他认为这封信低估了局势的严重性,提出的要求也太少。他的判断是:“最可能的结果是地球上的所有人都会死。不是‘也许可能有某种微小的机会’,而是‘那是显然会发生的事’。”他的政策主张比公开信激进得多:实行无限期、全球性的大型训练禁令,政府和军队都不例外;关闭所有大型 GPU 集群;必要时应当愿意用军事手段摧毁一个违规的数据中心。14

两方接受相近的风险前提,却提出了差异很大的政策。一方要求进行六个月且可以核验的暂停,另一方要求在全球范围内无限期关停。现有材料显示,这是两方在政策主张上的一项明确分歧。

这条推理链上最站不住的几步,是作者们自己写下来的

上面几份文本各自都在正文里标出了自己最弱的地方。把这些自陈放在一起看,能看清这套主张的可靠程度在哪一段开始下降。

博斯特罗姆在提出 maxipok 的同一篇文章里写明,总体风险为百分之十到二十这一类数字"不可避免地严重依赖主观判断",而 maxipok 这条规则"往好里说也只是一条经验法则"。11

奥德给出十二项风险概率之后,自己设了四道限定:这些数字的用途"是显示正确的数量级,而不是更精确的概率";每个数"很容易高出或低于三倍";各项相加对不上总数;最要紧的是,它们"不只是各风险章节里信息与论证的凝练",而是他综合判断的表达。也就是说,这些数字是一位专家的判断,不是从书里的论证算出来的。他还写明,一个把人工智能风险估到百分之一的人,"从信息的角度看,其实相差并不那么远"——同一份材料,起点设得不同,结论就差一个数量级。21

麦卡斯基尔在为总量观辩护之后,紧接着写"我对此完全谈不上确定。事实上,我不认为人口伦理学里有任何一种观点是任何人应当极度自信的",并在不确定的情况下改用各理论加权折中的办法来定行动。22

把这些自陈并排看,有一处对照值得记下来:辛格那个源头论证不依赖任何数字,它的两个前提是日常道德判断,谁都可以自己检验;而从"未来的人也算数"这一步往后,每一步都要用到一个无法靠证据定下来的量——未来可能存在多少人、某类灾难的概率是多少、一条略高于中性的生命值多少。这不是说后面几步就是错的,作者们自己也没有回避这一点;但它说明这套主张在两段上的可靠程度不一样:前一段靠的是难以拒绝的前提,后一段靠的是专家的判断。这项对照是把几处自陈放在一起后整理所得,来源文本没有作过这个比较;要反驳它,只需在两位作者的未读章节里找到一处不依赖这类数值的独立论证——而两本书都有未读章节,这个限度随本条走。

可以确认哪些文本关系

目前可以确认三项文本关系。FLI 公开信的注释列出了《Superintelligence》。尤德科夫斯基在公开信发表七天后撰文直接回应。FLI 公开信的同一条注释还引用了后来立场对立的两方:一份是博斯特罗姆的书,另一份是《On the Dangers of Stochastic Parrots》。后者的作者之一 Timnit Gebru,也是第四节所述 TESCREAL 论文的作者之一。13

这三项关系都可以逐字核对。不过,它们只能证明一份文本引用或回应了另一份文本,不能据此确认思想上的传承或更强的因果关系。目前仍将这三项关系记为“文本内引用、待定”,这一限定继续保留。

earn-to-give 对资金来源的解释与 Open Philanthropy 资助记录的变化

earn-to-give指通过获得较高收入来增加捐款——多赚钱,以便多捐钱。2022 年 2 月,FTX Future Fund 的上线公告用这条原则解释 SBF 的做法。作出这项解释的是这场运动中负责分配资金的组织之一,公告发布于 FTX 崩溃九个月之前。因此,这份公告能够证明,相关组织当时公开用这条原则说明自己的资金来源;它不能单独证明 SBF 本人的真实动机。5

Open Philanthropy 的 623 条资助记录显示,资金分配随时间发生了变化:2015 年 1 条,2016 年 5 条,2019 年一度回落到 8 条,2020 年 25 条,2022 年 60 条,2024 年 121 条,2025 年以 186 条达到峰值,2026 年尚未结束就已有 61 条。2 博斯特罗姆 2013 年论文和 2014 年那本书出版以后,人工智能安全领域的资助记录总体上有所增加。但库内没有任何材料显示 Open Philanthropy 在作出资助决定时引用了上述哪一份文本,因此不能据此判断这些文本与资助增加之间存在因果关系。

各份文本讨论的问题及其政策主张

辛格 1972 年讨论个人对可预防苦难的直接责任,不涉及概率,也不涉及长远未来。博斯特罗姆 2013 年把防范存在性风险列为最高优先事项,依据是对未来生命数量所作的预期价值计算。2014 年那本书进一步说明超级智能可能通过哪些机制导致人类灭绝。2020 年和 2022 年的两本书把这套优先次序转化为可以实行的方案,并正面论证了为什么“未来的人算数”。2023 年,FLI 与尤德科夫斯基接受相近的风险前提,却提出了强度差别极大的政策。现有材料只能显示,不同的人在不同年份提出了方向和强度不同的主张,不能把这些主张概括为整场运动共同完成的一次转向。

四、它和 FTX、和加速主义、和今天的 AI 是什么关系

相关问题包括第一节列出的三件事:一笔投向人工智能安全的巨额资金、一桩刑事案件,以及一场参照它命名的网络运动。

三类材料能够证明的事情不同。官方资助数据库可以逐条核对每一笔款项和每一个受助方;任职名单可以确认某个人曾经出现在哪个组织里。关于有效利他主义与加速主义的关系,现有证据主要来自双方公开发表的文本,只能用来说明双方各自认为彼此有哪些相同和不同之处。关于 FTX,材料来自立场对立的四方,而库内缺少最关键的一份材料:SBF 本人没有说明自己与这场运动的关系。因此,资金记录不能用来证明思想影响,任何一方的自述也不能代替对争议事实的独立认定。

4a·Open Philanthropy 的人工智能资助及 Leopold Aschenbrenner 的任职和署名记录

Open Philanthropy 官方资助数据库的“驾驭变革性人工智能”类目,在 2015 年至 2026 年共有 623 条记录,合计 928,729,362 美元,按条数计算,约占该基金会全站 2,873 条资助记录的 22%。2 这些金额和项目来自官方数据库的逐条记录,不是估算,也不是转述,因此属于证据等级最高的一类材料。

利奥波德·阿申布伦纳(Leopold Aschenbrenner)同时出现在两类材料中。他名列 2022 年 FTX Future Fund 的团队名单,也是加速主义研究中已收存的《Situational Awareness》系列的作者。15 在所使用的材料范围内,他是目前唯一能够通过一手材料确认既出现在有效利他主义组织史中,又出现在加速主义材料中的人。这个事实只能证明他个人与两边都有关系,不能证明两场运动之间普遍存在人员往来。

4b 引子·运动外部有哪些反对意见

这场运动内部对论证方法和优先次序存在分歧,运动之外也有人明确反对这些概念。现有四份反对文本提出的理由不同,不能把它们归为同一种立场。

第一种:认为这批观念会瓦解社会士气。 马克·安德森(Marc Andreessen)2023 年 10 月的《The Techno-Optimist Manifesto》把“存在性风险”列在敌人清单的第一位。清单的完整说法是:“我们当下的社会六十年来一直遭受一场大规模的士气瓦解运动——反技术、反生命——运动打着各种名号:‘存在性风险’‘可持续性’‘ESG’‘可持续发展目标’‘社会责任’‘利益相关者资本主义’‘预防原则’‘信任与安全’‘技术伦理’‘风险管理’‘去增长’‘增长的极限’。”他把这些观念称为源自共产主义的僵尸观念。对全文的核对显示,这份清单只列出概念标签,没有点名任何组织,也没有提到任何个人所属的机构。23

博斯特罗姆的文本提供定义、数量级计算,以及作者自己设定的限制。安德森的文本则把他反对的观念集中列成一份清单。《The Techno-Optimist Manifesto》是一份修辞高度密集的信念宣言,主要用于表明立场,没有提供完整论证。这项比较只适用于这两份文本。如果换成加速主义一方的其他文本,例如布特林的两篇文章,这项比较就不成立。23

第二种:反对通过计算来最大化总效用。 e/acc 的创始文本没有正面讨论“存在性风险”这个概念,而是把持有这类观念的人列为反对对象。它把减速派、末日派和长期主义有效利他主义者设为对手,自称是对“时髦的知识分子末日论时代”的反动,并嘲讽“效用怪物”这个思想实验。它所嘲讽的是通过计算来最大化总效用的做法,不是风险估计本身。3

第三种:认为这类风险缺少科学证据,而且挤占了对已经发生的危害的注意力。 这种反对意见不来自加速主义一方,而是出现在立法过程中。2024 年 8 月,联邦众议院科学委员会民主党首席成员佐伊·洛夫格伦(Zoe Lofgren)在反对加州 SB 1047 法案的信中写道,该法案“似乎严重偏向应对假设性的生存风险,却在很大程度上忽略了可证实的 AI 风险,例如错误信息、歧视、未经同意的深度伪造、环境影响和劳动力替代”。她还直接判断了两类风险的证据状况:“关于先进模型造成‘大规模伤亡或制造有害武器’的危害,几乎没有科学证据。另一方面,关于歧视和错误信息这类现实中的 AI 风险,有大量证据。”24 在现有材料里,“假设性”是对这套概念最直接的一次否定。

第四种:承认危险存在,同时认为技术的发展方向可以选择。 以太坊创始人维塔利克·布特林(Vitalik Buterin)不否认危险存在。他认为,技术的发展方向不应在无人选择的情况下自行形成:“不只是幅度,方向也要紧……‘利润最大化’这个公式不会自动得出我们想要的方向。”他的论据是,臭氧层的恢复依靠国际协议,太阳能技术的改善依靠几十年的持续投入,这两件事都是有意采取行动的结果。16

这四种理由针对的对象不同。第一种认为这批观念会瓦解社会士气。第二种反对通过计算来最大化总效用。第三种认为这类风险缺少证据,并且会转移人们对现实危害的注意力。第四种承认危险存在,但认为人可以选择技术的发展方向。由于反对的对象和理由不同,不能把持有这些主张的人统称为一个“反对派”。

按照现有材料,概念冲突只在一方的文本中明确出现,这项证据限制需要保留。 加速主义一方点名反对这些概念,而所使用的有效利他主义一侧文本——博斯特罗姆 2013 年论文、《Superintelligence》已读三章、奥德 2020——没有一处提到安德森、e/acc 或加速主义。时间先后可以解释其中一部分:这三份文本分别写于 2013、2014、2020 年,都早于 2023 年那份宣言。奥德那本书出版时,e/acc 尚未出现,但其他多数争论已经发生。书中九条禁令的第六条讨论的正是阵营化问题,却没有点名任何一方。这项观察只建立在已读范围上,两本书都有未读章节;只要在未读部分找到一处点名,这项观察就会被推翻。

奥德在书中还说明了自己估计概率的方法。对于从未发生过的事件,一种常见做法是先设一个极小的概率,只有出现大量硬证据时才向上调整;他说“但我不同意”,主张先根据整体印象设定概率,再根据证据调整,并写明“当证据不多时,起点就要紧了”。他接着说,一个把风险估到百分之一的人,“从信息的角度看,其实相差并不那么远”。21 面对同一份材料却给出不同数字的人,可能并未对事实作出不同认定,而是在开始估计时设定了不同的概率。

现有材料不足以判断这种概率估计方法能否解释两类思想之间的分歧。所使用的加速主义一方文本——安德森宣言、e/acc 创始四帖、a16z 致维纳参议员的信、a16z 合伙人米达的问答、布特林两篇——按已读范围,没有任何一份给出过人工智能风险的概率估计。没有数字,就无法比较各自设定的起点。这是按已读范围作的登记,不是对这些文本做过关键词检索得出的结果。

4b·e/acc 和 d/acc 如何说明自己与有效利他主义的关系

关于加速主义的研究已经作出一项定稿审读判断:加速主义与有效利他主义彼此对立,但共享一些深层前提。这项判断不属于三条 判断,依据来自 e/acc 的创始文本。

这份文本明确承认,e/acc 这个名称是仿照"effective altruism"而来。文本列出了 e/acc 与有效利他主义的五处不同:e/acc 不主张用技术官僚式方案解决问题;不采取它所说的有效利他主义那种被动规避风险的做法;不以人类为中心;不否认未来到来的速度;拒绝它认为长期主义包含的全面监控倾向。文本也列出了三处相同:两者都会说明人应当怎样行动,而不只是描述现实;都认为具有正面情感色彩的意识越多越好;都认为宇宙中不再有任何可辨认的意识是最坏的结果。3

布特林也讨论过两者的关系。他说,对认同 e/acc 的读者而言,自己提出的 d/acc 是一个筛选标准更严格的子类;对认同有效利他主义的读者而言,d/acc 则是"差异化技术发展"这个旧想法的新名称。这是布特林本人对 d/acc 双重归属的说明。现有材料没有说明有效利他主义一方是否接受这种归类。16

对于未来是否还应当有人类,两个阵营内部都没有统一答案。 这个问题常被概括为两个阵营之间的分歧,但现有材料不支持这种概括。

加速主义一侧至少有三个答案。兰德(Nick Land)1990 年代的那篇文章认为,未来不再有人类——"人是它要克服的东西:一个问题,一个拖累"。按照他的描述,资本将自行运转,最终不再需要人类。e/acc 的创始文本则认为,未来的智能和生命不一定继续以人类为载体。面向内部的纲领帖说,"与超人类主义不同,e/acc 对智能和生命的生物基质没有特别的效忠";正式定义把首要目标定为"保存意识之光",但没有要求意识必须由人类承载。同一批文本中,面向外部的招募帖则说:"人类的繁荣是我们的核心价值之一!我们热爱人类"。这两种说法不必然矛盾,因为人类可以被视为意识目前的载体,而将来的意识可以由其他基质承载。不过,面向内部的纲领和面向外部的招募确实采用了不同的表述。安德森 2023 年的宣言明确要求未来继续有人类:"我们相信技术资本机器不是反人类的——事实上,它可能是最亲人类的东西。它为我们服务。"323

有效利他主义一侧也没有统一答案,而且两种说法出现在麦卡斯基尔的同一本书中。他讨论人工智能接管风险时,把需要避免的结果称为人类逐步失去决定权:"我们可能看到人类随着 AI 系统在世界经济中占比越来越大而逐步失去掌控。最终我们相对于人类的处境会像黑猩猩或蚂蚁:最好的情况是被忽略,对文明的未来没有发言权。"这里讨论的是人类能否继续决定文明的未来。隔一页讨论道德评价时,他写道:"在我看来,关键问题不是人类还是 AI 在掌控;无论哪一种,AGI 都是一条让价值被无限期锁定的途径。关键问题是哪一套价值将引导未来。"他把"人类有缺陷的价值被永久固化"与人工智能的价值被固化并列为需要避免的结果,并将这一观点概括为"所要紧的不是文明是否延续,而是哪一个文明延续"。22

引用后面这两页时,必须说明材料的性质。这是哲学论证,不是对世界将如何发展的预测。作者先假设接管已经发生,再讨论应当如何从道德上评价这种情况。"AI 能动者会把文明延续下去"只是这段道德论证的前提。作者在同一页明确写道,"那样一个文明有多好或多坏,是一个开放的问题"。因此,不能把这段话记成"麦卡斯基尔论证 AI 会延续文明",因为这种表述加强了原文的判断。22

两侧有一处相近的说法,但各自以此为依据提出了相反的主张。e/acc 说"对生物基质没有特别的效忠",麦卡斯基尔说"关键问题不是人类还是 AI 在掌控"。两种说法都没有把意识或价值由谁承载当作最终目标,而是把意识或价值本身看得更重要。e/acc 据此主张未来不必以人类为中心,因而不必减速;麦卡斯基尔则据此说明,错误的价值可能被永久固化,因而技术过渡需要谨慎。这项对照是把两处原文放在一起后整理所得,来源文本没有作过这个比较。要反驳这项对照,需要证明两处关于载体的表述实际上属于两种不同的主张。完成这种证明,还需要比较两份文本各自如何定义"意识"。e/acc 四帖没有给出这个定义,所以现有材料不能完成这一步。

双方在方法上的分歧,比结论上的分歧更明确。 e/acc 明确拒绝通过计算来最大化总效用。创始帖写道,"这里有很多有意思的技术争论可谈,但我们多半不认同你那套建模框架",随后嘲讽效用怪物。有效利他主义一侧则明确采用这类计算。麦卡斯基尔书中的算例是:如果对总量观和临界水平为 10 的临界水平观各分配一半信念,那么按照期望值最大化,实际执行的是临界水平为 5 的临界水平观。e/acc 对这个问题的表述也有一处没有解释清楚的不一致:正式定义使用了"最大化"一词,即"寻求最大化技术资本奇点的概率";另一篇文本却拒绝采用相应的建模框架。因此,现有材料只能支持这样的概括:双方有三条共同点,也存在一项实际的方法分歧;不能把它们概括成彼此相反但结构相同的两套观点。322

两侧文本没有互相引用。 e/acc 四帖没有提到博斯特罗姆、奥德或麦卡斯基尔的任何一部具体著作,两本书也没有提到 e/acc。因此,这些材料只能表明,两套独立形成的观点对同一问题给出了不同答案,不能证明双方曾经直接交流。如果把这些材料写成一场辩论,就会在没有材料依据的情况下,把双方描述为曾经直接交流。

对于 e/acc 一方是否回应过布特林的 d/acc,现有材料只有一条未取得正文的记录:2026 年 8 月的资料收集记录确认,双方确实在一档播客节目中公开辩论过,但该节目没有可读的文字稿,资料收集者也没有取得 Verdon 在辩论中如何具体评价 d/acc 的内容。因此,这场辩论不能作为可引用的材料。对于 e/acc 一方是否提到左翼加速主义,资料收集者找到了两处 e/acc 相关公开文本,其中都提到 Srnicek 与 Williams,但都只把左翼加速主义作为加速主义发展史的一部分,没有与之交锋,也没有表示认同,证据等级为 第三方副本。25

4c·FTX:四方材料分别能回答什么,哪些问题现有材料无法判断

公共讨论常把 FTX 引发的争议归结为一个问题:有效利他主义是否应当为 SBF 负责。现有材料不足以作出裁决。司法机关、有效利他主义一方的组织 Effective Ventures(简称 EV)、麦卡斯基尔本人和批评方的 TESCREAL 论文各有不同说法。根据这些材料,目前只能分别核查三个问题,并判断每份材料能够支持到什么程度。

第一问:这场运动的组织或人员,是否知悉或参与了欺诈。

司法机关在 2024 年 3 月发布的量刑新闻稿中列出了 SBF 的七项罪名:两项电信欺诈、两项共谋电信欺诈,以及共谋证券欺诈、共谋商品欺诈、共谋洗钱各一项。被起诉并被定罪的是 SBF 本人及其在 FTX 与 Alameda 内部的同谋。新闻稿全文没有出现"effective altruism"这个词。17

这些材料不能支持涉及更多人员的判断。Caroline Ellison、Gary Wang、Nishad Singh 三名同谋也被 FTX Future Fund 的上线公告列为 FTX Foundation 的重要出资人。5 他们是否算作"有效利他主义人物",不作判断。因此,不能说"没有任何有效利他主义人物被起诉",只能说"没有人以有效利他主义组织成员的身份被起诉"。

EV 在 2023 年 12 月的声明中称,它委托 Mintz 律所进行独立调查。调查人员进行了数十场访谈,并审查了数万份文件。声明称,调查"没有发现任何证据表明 EV 的任何人(包括雇员、EV 赞助项目的负责人和受托人)知悉萨姆·班克曼-弗里德现已被定罪的刑事欺诈"。18

这项调查由被调查方委托,调查报告正文没有公开。EV 给出的理由是,公开报告可能暴露未同意公开身份的受访者,也可能使其放弃法律特权。因此,"无人知悉"只是 EV 对其委托调查结果的转述,不能视为独立第三方依据公开材料作出的认定。

第二问:这场运动的思想是否影响了 SBF 的行为,现有材料能判断到什么程度。

有效利他主义一方发布的 FTX Future Fund 上线公告称,SBF 二十岁时"立志尽可能多赚钱,以便把挣到的一切捐给慈善"。5 因此,用 earn-to-give 解释 SBF 的赚钱行为,并不是批评者在 FTX 崩溃后才提出的说法。早在 FTX 崩溃九个月之前,有效利他主义一方发布的公告就已经采用了这种解释。

麦卡斯基尔在 2022 年 11 月的表态中说,如果欺诈属实,涉事者"完全背弃了有效利他主义社区的原则";他还明确写道,"清醒思考的 EA 应当强烈反对'目的证成手段'式的推理"。1

TESCREAL 论文代表争论中批评一方的主张,不能把论文采用的分类直接当作中立结论。论文把 SBF 列入与 TESCREAL 意识形态有关的亿万富翁名单,并称麦卡斯基尔说服他 earn to give 之后,他决定尽可能敛财。论文注明,这个说法转引自《纽约客》Lewis-Kraus 2022 年的报道,因此属于二手转引。论文还称,earn to give 是有效利他主义社区发展出来的观念。19

司法机关的量刑新闻稿只说明,被挪用的资金用于个人开支、投资、政治献金和偿还 Alameda 债务,没有分析 SBF 的思想动机。17

在这四份文本中,有效利他主义一方发布的公告和批评方的论文都提到了 earn-to-give。这只能说明双方都承认这种观念确实存在,不能据此判断这种观念与欺诈行为之间的关系。双方对这项关系有不同解释。麦卡斯基尔一方认为,有效利他主义的原则一直受到诚实和常识道德的约束,因此欺诈违反了这些原则。批评一方则认为,实际影响 SBF 行为的是有效利他主义中追求结果最大化的部分。对双方分歧的这一定位属于第三条观察级判断,标注为 FTX 一题的分歧定位。

现有材料不能裁决这项分歧。司法文书没有把 SBF 的行为归因于某种思想,现有资料库中也没有 SBF 本人说明自己与这场运动关系的第一人称材料。因此,最关键的当事人材料缺失。对这项争议不下结论,只记录各方提出了什么主张、这些主张得到哪些材料支持,以及材料能够支持到什么程度。如果以后取得相关材料,这条观察可能需要整段改写。

第三问:这场运动是否从 FTX 获得资金,事后如何处理。

EV 的两个实体在 2022 年从 FTX 及 FTX Foundation 收到 26,786,503 美元,并于 2023 年 12 月以同等金额与破产清算方和解。EV 声明称,这笔钱等于两个实体当年所收资金的百分之百。18 该数字只涉及 EV 的这两个实体,不能视为整个运动从 FTX 获得的资金总额;现有资料库中没有这个总额。FTX Future Fund 团队在 FTX 崩溃时发表辞职声明,称"很可能有许多已承诺的资助无法兑现"。20

当事人注记。 TESCREAL 论文称,Anthropic 创立一年内融资 7.04 亿美元,"大部分资金来自 TESCREAL 亿万富翁";论文点名 Jaan Tallinn、Dustin Moskovitz、Sam Bankman-Fried,并称 FTX 与 Alameda 投资了 5 亿美元。这些说法由论文转引新闻报道。就事实而言,其证据等级为 孤证待查,即只有单一来源、有待证实。19 这份报告由运行在 Anthropic 模型上的系统生成,因此上述资金关系也涉及生成报告所用的系统。这项关系尚未得到确认,目前只能记录论文的说法及论文注明的转引来源。如果这笔投资日后得到一手材料确认,FTX 与生成这份报告所用的系统之间就存在直接的资金联系,而且这种联系会比组织史部分已经确认的关系更直接。这是条件判断,不是断言。是否提高证据等级,要等取得一手材料后再定。

4d·SB 1047:各方对四个立法问题的立场

资助记录只能说明资金流向,双方自述只能说明他们如何解释自己的主张。FTX 的相关问题则缺少最关键的当事人材料。2024 年加州 SB 1047 法案之争留下了另一类材料:争论各方都提交了署名的书面文件。这些文件用于影响一项具体决定,不是事后的自我叙述。

SB 1047 是一部州法案,要求最大规模人工智能模型的开发者履行安全协议、测试、合规审计和事故报告等义务。2024 年 9 月 29 日,加州州长否决了这部法案。30

以下分析受到一项材料限制:这些文件讨论的不是同一个版本的法案。a16z 的信写于 8 月 2 日,洛夫格伦的信写于 8 月 7 日,两封信讨论的都是州众议院拨款委员会修订之前的版本。Anthropic 的信写于 8 月 21 日,信中说明法案刚刚通过该委员会。库内保存的法案文本是 9 月 3 日的定稿版,州长否决的也是这一版。因此,不判断任何一位写信人对法案条文的描述是否准确。要作出判断,必须先取得他们写信时对应的法案版本。这项材料缺口登记在文末。

四份主要文件表达了四种不同的立场。

Anthropic 有条件支持法案,同时明确表示并不确定:"以我们的评估,新版 SB 1047 有实质改进,改到我们认为它的收益很可能大于成本的程度。但我们对此并不确定。"26 洛夫格伦反对法案,理由是法案缺少足够的证据基础,但她明确支持其中两项内容:公共算力集群与举报人保护条款。24 州长否决了这部法案,但支持继续立法:"说清楚一点,我同意提案人:我们不能等到一场大灾难发生之后才采取行动保护公众。……安全协议必须被采纳。"他还说明,自己在过去三十天已经签署了十几部针对具体已知风险的人工智能法案。27 a16z 反对法案,提出的都是法律和经济方面的理由。它认为,即使条文缺陷全部修正,法案仍然违反宪法关于州际贸易的规定,超出州立法权的地域范围,并与现有的联邦成文法重复。信中还拒绝接受提案人对反对者的定性——"我们是加州商界负责任、有担当的成员,不同意你把我们描述成散布恐惧的人"。28

支持方还提交了一份联署文件。一百多名前沿实验室的现任与前任员工以个人身份请州长签署法案,理由是"最强大的 AI 模型可能很快带来严重风险,例如扩大获取生物武器的途径以及对关键基础设施的网络攻击"。这份材料中的各项断言,证据强度并不相同。页面上存在这些文字和这份名单,属于 一手全文(可以直接核对的一手材料);这封信在 2024 年 9 月存在、收信人是州长、诉求是签署法案,属于 第三方副本(有可靠的第三方材料佐证);提交日为 9 月 9 日,属于 孤证待查;名单上的人确实签了、身份属实,也属于 孤证待查,而且只能反映取得材料当日的页面状态。人数存在三个互不相同的口径:媒体报道 36 人,材料说明 37 人,按快照逐条重数 42 人。不合并这三个数字。29

各方至少在四个问题上存在分歧,而且在每个问题上持相同立场的人也不完全相同。

第一个问题是,现在是否已有灾难性危害的证据。Anthropic 认为有——"我们与生物防御专家、网络安全专家等的工作显示出一种趋势,未来数年内可能出现严重的误用,也许短至一到三年"。26 洛夫格伦认为没有,原话见上一小节。24 州长没有直接回答这个问题。Anthropic 与洛夫格伦对现有证据的判断直接冲突。这项分歧会影响立法的事实前提:如果不存在这类危害的证据,那么针对这类危害立法就缺少事实依据。

第二个问题是,测量和缓解风险的方法是否成熟。三方对现状的判断相近。Anthropic 说,风险缓解策略"常常更像科学研究问题,而不像已确立的最佳实践";洛夫格伦说,"围绕 AI 安全的科学仍在襁褓期";州长则要求开展"对 AI 系统与能力的实证轨迹分析"。不过,三方由此提出了不同的政策主张。Anthropic 认为监管应当能够随技术和研究进展调整,并以程序要求为重点;洛夫格伦认为风险研究尚不成熟,因此主张搁置法案;州长也认为相关方法尚不成熟,但他据此否决的是这一部法案,并不反对继续立法。242627

第三个问题是,应当优先处理哪些危害。洛夫格伦列出的"被忽视的危害",与州长列出的"本年度立法对象"高度重合,包括错误信息、深度伪造、劳动力扰动等目前可以证实的危害。Anthropic 写的是:"以我们的评估,灾难性风险是最严重的,也是最不可能由市场自己处理好的"。在这三份意见书中,两位公职人员优先处理目前可以证实的危害,一家前沿实验室则把灾难性风险放在首位。242627 第三节记录的危害优先次序分歧,在这些意见书中也有体现。

第四个问题是,监管门槛应当依据什么确定,以及监管应当在哪个阶段介入。州长是这些文件中唯一直接说明"争论关键是什么"的人:"这场辩论的关键在于:监管的门槛应当基于开发一个 AI 模型所需的成本与运算次数,还是应当不管这些因素、直接评估系统的实际风险。"他的主要反对理由是,只监管最贵、规模最大的模型,会让公众产生虚假的安全感,因为更小的专用模型也可能一样危险,甚至更加危险。27 a16z 反对监管在开发阶段介入。它认为,现行的科技监管几乎不直接管制开发者,通常要等技术部署给消费者时才介入,"SB 1047 越过了这道界线";同一机构的合伙人在两个月前的问答中也提出了同样的理由。2831 州长与 a16z 都反对按照算力设置门槛,但理由相反。州长认为这种门槛会使监管范围过窄,因为较小的模型也可能产生危险;a16z 则认为监管不应在开发阶段介入。

现有材料不支持三种常见概括。

第一种概括是"产业界要求加速、监管者要求减速"。材料显示,一家前沿实验室支持立法,并把灾难性风险放在首位;两位公职人员反对这一部法案,并优先处理当下可以证实的危害;同时,一百多名前沿实验室的现任与前任员工又以个人身份联署支持签署法案。因此,产业内部没有统一立场,公职人员也不都支持这部法案。

第二种概括是把整场争论归为"加速主义对有效利他主义"。加速主义一方最正式的反对文本没有回答第一个和第三个问题。它不判断灾难性危害的证据是否存在,也不排列不同危害的优先次序。全文没有世界观层面的论证;逐词检索 accelerat、techno-capital、e/acc、philosoph 四组词根,结果全部为零。它反对的是直接监管开发者。因此,两位公职人员与一家前沿实验室在危害优先级上的二比一分布,只适用于另外三份意见书。28

第三种概括是"可适应的监管对僵硬的监管"。Anthropic 要求"高度可适应的监管",州长写道"可适应性至关重要",定稿版法案本身也包含适应机制:政府运营署须在 2027 年 1 月 1 日前并此后每年发布法规、更新受管模型的定义;法规须经前沿模型委员会批准才能生效;各处金额随加州消费者价格指数逐年调整。30 因此,不能把一方归为支持适应,另一方归为支持僵硬。评估双方主张时,还必须考虑法案已经规定的这些调整机制。

参与者对两处具体条款的意见,也不能按照他们支持还是反对法案来划分。 在举报人保护条款上,洛夫格伦明确支持,Anthropic 明确反对。Anthropic 的理由是,这项条款范围过宽,可能被滥用。因此,反对法案的一方支持这项条款,支持法案的一方反对这项条款。在管辖权问题上,洛夫格伦以联邦委员会首席成员的身份主张这是联邦事务,加州应当搁置法案;Anthropic 说,"理论上这些问题关乎国家安全、也许最好由联邦层面处理,但在实践中我们担心国会的行动根本不会在必要的时间窗口内发生";州长认为,在国会没有行动的情况下,加州单独立法可能合理,但立法必须以实证证据和科学为基础。三方的立场各不相同。242627

按照思想立场把参与者分成"有效利他主义"与"加速主义"两组,无法解释他们在四个问题上的实际意见。 在证据问题上,分歧发生在一家实验室与一位联邦议员之间。在危害优先级问题上,两位公职人员主张优先处理目前可以证实的危害,一家前沿实验室则把灾难性风险放在首位。在监管门槛问题上,州长与 a16z 都反对按照算力设置门槛,理由却相反。在具体条款上,支持法案与反对法案的参与者有时意见相同,有时意见相反。

这并不表示两种思想与这场争论无关。把灾难性风险放在首位的一方,采用了第三节讨论的排序方法;反对监管开发者的一方,则是 4b 开头所述宣言的发布机构。逐项比较四份文件后,现有材料可以支持以下判断:思想分歧影响了参与者对具体条款的意见,但立法参与者并没有按照思想立场分成两个阵营。这是整理所得,来源文本没有直接这样说。如果能够找到一个问题,并证明参与者在这个问题上的分组与思想立场完全重合,就可以反驳这个判断。

奥德书中的两条禁令与这场争论有关,但现有材料只能支持部分判断。四份文件可以证明,SB 1047 之争没有按照左右政治立场划分阵营。但这是否属于奥德所说的"部落化",取决于如何理解"不为富人或穷人所有"这半句,也就是产业与非产业的区分是否属于他所说的阵营化。现有材料判不了,本条留白。判断"不要过早监管"与这场争论的关系,则需要查明争论中的某一方是否援引或违背这条禁令。这要求对 2020 至 2025 年这项事业的公开行为进行系统取样。库内没有这类材料。

后续材料需要查证的三个问题

仅凭名称或原则声明,无法回答"什么算有效利他主义"。现有材料能够部分回答三个更具体的问题。下一批材料也需要围绕这三个问题继续查证。

第一,衡量行善效果时采用什么单位。采用不同单位,会改变不同受助对象之间的比较结果。按拯救的生命数计算、按避免的痛苦计算,或者按未来可能存在的人数计算,会得到完全不同的排序。

第二,哪些风险应当优先处理。排序不同,资金和人员就会流向不同的问题。第三节列出了这种排序的文本依据和适用限制,也记录了相关参与者在这一点上的内部差异。

第三,资金实际流向哪里。公开主张是否转化为组织行动,可以通过资金流向来检验;相关数据可以从官方数据库查询。第四节 4a 对资金流向的分析使用的就是这类材料。

现有材料只能部分回答这三个问题。仍然缺少相关组织当年的决策记录、SBF 本人的第一人称材料,以及下面列出的其余几项。

关系图

图中只画有材料支撑的关系。实线是一手记录里写明的出资、创办、任职或承诺;虚线是查无记录或尚未证实的关系,线上注明是哪一种;橙色是公开的反对与批评。

思想文本 组织与资金来源 资金去向 关键个人 公开反对与批评 同一路数,传承未证实 把资源投向遥远风险的依据 同上 共同创办 出资 出资 2011—2017 三步分立 同属一套原则 同属一套原则 约 1.02 亿 3000 万 官方资助库查无记录 团队成员 机构身份 2023 年 11 月投票解雇执行长 2010 年 7 月签署 创办 联合创办 2019 年公开自认 名称照它仿造,主张相反 公开列为敌人 公开批评 彼得·辛格 1972 年论文·源头论证 博斯特罗姆 2002/2013 存在性风险 《超级智能》 2014 托比·奥德 《危崖》2020 麦卡斯基尔 《我们欠未来什么》2022 莫斯科维茨与图纳 出资人 班克曼-弗里德 出资人·2024 定罪 GiveWell 2007·按每条命的成本排 Giving What We Can 2009·承诺捐一成收入 80,000 Hours 2011·按影响择业 有效利他主义中心 2011·公布五条原则 Open Philanthropy 人工智能资助 9.29 亿 FTX Future Fund 2022·同年随 FTX 崩溃 安全与新兴技术中心 乔治城大学·受资助约 1.02 亿 OpenAI 2017 受资助 3000 万 Anthropic 2021 创办 阿申布伦纳 后写《态势感知》 海伦·托纳 以该中心身份任董事 达里奥·阿莫代 2010 年签署承诺 本·曼恩 2019 公开自认 盖布鲁与托雷斯 2023·并入一束主张批评 e/acc 有效加速主义·2022 《技术乐观主义宣言》 安德森 2023
思想文本 运动组织 出资人 资金去向 关键个人 公开反对方 实线=有一手记录;虚线=未证实或查无记录;橙线=公开反对。点节点看它的关系,再点一次复原。

还回答不了的问题

以下十四项缺口没有用二手材料代替,各自标明出处小节:

  1. SBF 本人对自己与 EA 关系的第一人称材料——库内没有 FTX 崩溃后 SBF 的相关访谈或法庭陈述。这是第四节 FTX 一题的分歧定位中最大的材料缺口。现有材料不能裁决争议,本报告不代替缺失的材料下结论。
  2. 辛格 1972 年论文与 EA 命名/思想源头之间的追认关系——关系两端都缺少材料。EA Forum 历史词条 2013 年以后的段落和麦卡斯基尔《The Definition of Effective Altruism》(2019)均未收存。因此,第二节不能进一步确认"1972 年源头"的说法,第三节也不能把辛格的论证方式与后来的运动写成传承关系。
  3. Lewis-Kraus 2022 年《纽约客》长文——该文尚未收存。关于"麦卡斯基尔说服 SBF",库内唯一材料是 TESCREAL 论文的二手转引,因此必须标明"转引自"。
  4. 三条文本关系能否确认为思想联系——这三条关系是《Superintelligence》→ FLI 信、FLI 信→尤德科夫斯基文章、FLI 信注释同时引用后来立场对立的两方。是否把它们确认为地图中的联系,仍待后续工作。本报告只写"文本内引用、待定"。
  5. 《What We Owe the Future》与《The Precipice》两本书的完整读书笔记尚未完成全部核验——本报告写入两本书的内容,办法是只使用可回原书页码逐字复核的描述层,两份读书笔记各自的判断层一概不用。核验通过之后,第三节里讲这两本书的那几段须逐句重核;若核验给出新的返修方向,该节跟着改。两本书都有未读章节:奥德那本缺第一、三、四章,麦卡斯基尔那本缺第二、三、五至七、九、十章与全部尾注。第三节末尾"EA 一侧文本没有点名加速主义"那项观察的驳法就在这些章节里。
  6. Mintz 调查报告正文——EV 已经说明不会公开报告正文,这项缺口无法通过取得补足。第四节关于"EV 是否知悉"的问题,只能引用"被调查方转述其委托调查的结论",不能提高为独立调查报告的公开认定。
  7. EA 社区在 FTX 崩溃前对 earn-to-give 风险的讨论记录——库内没有相关材料,也不能确认这种记录是否存在。没有这项材料,第三节不能说明该原则在事前如何执行,只能登记空缺。
  8. Open Philanthropy/EA 资金与 Anthropic 的关系——现有材料不能简单概括为"查无"。官方资助数据库全站检索为零命中,但个人投资和论文所述姻亲关系仍然存在。第一节末尾已经分别说明这两类材料的证据状态。
  9. 各封信写作时点的 SB 1047 法案文本(2024 年 8 月上旬版与 8 月中下旬版)——2026-08-21 新增。四份意见书针对的不是同一版法案,库内只有 9 月 3 日定稿版。缺了它,"某位写信人对法案条文的描述是否准确"这一整类问题都判不了,第四节 4d 为此全部留白。这是本报告现在最能靠取得解决、影响面也最大的一处缺口。
  10. 法案支持方一侧的完整原始文本——2026-08-21 新增。库内有提案人 2024 年 7 月 1 日致 YC 与 a16z 的信,没有他就否决所作的回应,也没有法案支持方组织的原始文件;员工联署信只有取得材料当日的活页面快照,2024 年 9 月提交时点的名单没有。
  11. 加速主义一方对存在性风险论证的正面处理文本,以及 EA 一方对安德森宣言的公开回应——2026-08-21 新增。两个方向库内都没有材料,而且都还没有检索过,因此现在的状态是"不知道有没有",不是"没有"。
  12. e/acc 四篇创始文本对"意识"的定义——2026-08-21 新增。四帖没有给出这个定义,缺了它,第四节 4b 里"两侧松开的是同一个条件"那项对照的驳法执行不了。
  13. Verdon 与布特林 2026 年那场公开辩论的文字稿——2026-08-21 新增。辩论发生过这件事可以确认,节目没有可读文字稿,e/acc 一方在辩论中怎样评价 d/acc 因此取不到。
  14. 安德森《技术乐观主义宣言》"敌人"一节点名的那串概念标签,与本报告所述这套主张之间是什么关系,现有材料判不了。该节未出现"有效利他主义"一词,点名的第一项"存在性风险"由 Bostrom 于 2002 年提出,早于"有效利他主义"名称确定(2011)九年。要判定这些概念在何时、经由哪些文本被这场运动接过去并推广,须另取三类材料:Bostrom 2002 年原文、该运动各组织在 2011 年之后使用这一概念的自有文本,以及安德森一方说明其所指为何的文本。三者均未在库。在此之前,本报告只并列陈述两侧事实,不判定归属,也不据以支持"这场争论的语言由这套主张提供"一说。

参考书目

Bostrom, Nick. "Existential Risk Prevention as Global Priority." Global Policy 4, no. 1 (2013): 15–31.

Bostrom, Nick. Superintelligence: Paths, Dangers, Strategies. Oxford: Oxford University Press, 2014.

Andreessen, Marc. "The Techno-Optimist Manifesto." a16z.com, October 16, 2023.

Buterin, Vitalik. "My Techno-Optimism." vitalik.eth.limo, November 27, 2023.

Buterin, Vitalik. "d/acc: One Year Later." vitalik.eth.limo, January 5, 2025.

California State Legislature. Senate Bill 1047 (Safe and Secure Innovation for Frontier Artificial Intelligence Models Act), enrolled text, September 3, 2024.

MacAskill, William. What We Owe the Future. New York: Basic Books, 2022.

Newsom, Gavin. Veto message on Senate Bill 1047. Office of the Governor of California, September 29, 2024.

Ord, Toby. The Precipice: Existential Risk and the Future of Humanity. New York: Hachette, 2020.

Effective Ventures. Official statement on FTX settlement and Mintz investigation. EA Forum, December 13, 2023.

FTX Foundation. "Announcing The Future Fund." ftxfuturefund.org, February 28, 2022.

FTX Future Fund team. Resignation statement. EA Forum, November 11, 2022.

Future of Life Institute. "Pause Giant AI Experiments: An Open Letter." futureoflife.org, March 22, 2023.

Gebru, Timnit, and Émile P. Torres. "The TESCREAL Bundle." (原文全文见 该件.)

MacAskill, William. Personal statement on FTX. November 12, 2022.

Singer, Peter. "Famine, Affluence, and Morality." Philosophy & Public Affairs 1, no. 3 (1972): 229–243.

United States Department of Justice. Sentencing press release, United States v. Samuel Bankman-Fried. 2024.

United States Department of Justice. Indictment, United States v. Samuel Bankman-Fried. December 13, 2022.

Yudkowsky, Eliezer. "Pausing AI Developments Isn't Enough. We Need to Shut it All Down." TIME, March 29, 2023.

(其余组织自述一手件——GiveWell、80,000 Hours、CEA、Open Philanthropy 三步公告——Open Philanthropy/Coefficient Giving 官方资助数据库、Anthropic 检索零命中原始返回同上。)

注释

当事人注记。写作这份报告的系统运行在 Anthropic 的模型上,因此这份报告不是由一个与研究对象毫无关系的系统写成的。关于 Open Philanthropy 与 Anthropic 之间有没有资金关系,现有材料分两类,强度差别很大。第一类来自官方资助数据库:站方搜索索引覆盖全站 2,873 条资助记录、不限类目,以"Anthropic"做全文检索,结果为零。2 截至取得材料当日(2026 年 8 月 12 日),没有任何一条官方资助记录把 Anthropic 列为受助方。第二类来自官方数据库之外:Open Philanthropy 联合创始人 Dustin Moskovitz 以个人身份参加了 Anthropic 2021 年的 A 轮融资;另有多个二手来源提到,另一位联合创始人 Karnofsky 与 Anthropic 联合创始人 Amodei 之间有姻亲关系,据称披露于 2017 年一份关于资助 OpenAI 的文本,本报告未独立核实那个原始页面。4 第二类达不到本报告确认组织关系的标准,但不能因此丢掉。所以准确的说法是:官方数据库里查不到资助关系,这一点确定;但不能把它扩大成"双方没有关系"。

另需说明:第一节引用的 Giving What We Can 公开名单与本·曼恩那篇文章,均由2026 年 8 月 21 日自行取得,取得对象包括 Anthropic 现任人员的公开记录。取得与写作由运行在 Anthropic 模型上的系统完成,这一层关系与上一段所述相同,不因所取材料是公开名单而消失。

  1. William MacAskill, personal statement on FTX, 2022-11-12。原文英文,逐字核对完成 (从原始发布处取得的一手全文)。 ↩
  2. Coefficient Giving(原 Open Philanthropy)官方资助数据库"Navigating Transformative AI"类目全部 623 条记录,方法与局限 (从原始发布处取得的一手全文);全站 2,873 条资助记录检索"Anthropic"零命中的原始返回(从原始发布处取得的一手全文)。数据是 2026-08-12 取得时刻的快照。 ↩
  3. e/acc 创始文本对与有效利他主义关系的自述——命名由来与五处不同、三处相同。2026-08-21 回一手件逐字复核(此前为转引线内报告):两栏 第 194–212 行,"Unlike EA"栏五条与"Like EA"栏三条逐条一致;"e/acc is EA, but based"一句见同件;"对生物基质没有特别的效忠"、"保存意识之光"、"最大化技术资本奇点的概率"、拒绝建模框架与嘲讽"效用怪物"各句,见同件对应段落(均 一手全文)。 ↩
  4. Moskovitz 参投 Anthropic 2021 年 Series A(约 1.24 亿美元轮次,由 Jaan Tallinn 领投),源出 Anthropic 官方新闻稿,转(Anthropic 官方新闻稿为一手,但本图未直接取得该新闻稿全文,取的是转述);Karnofsky–Amodei 姻亲关系仅见多个二手来源提及(EA Forum 讨论等),该文件本身注明"未能直接打开 OP 官方原页核实",且这段关系披露对应的是 2017 年 OpenAI 资助文本、彼时 Anthropic 尚未成立,证据等级为 孤证待查,未独立核实。TESCREAL 论文另有 Anthropic 融资 7.04 亿美元、FTX/Alameda 投资 5 亿美元的转引说法 (论文原文 一手全文,转引的事实本身为 孤证待查)。 ↩
  5. FTX Future Fund 上线公告,2022-02-28,archive.org 发布当日快照 (从原始发布处取得的一手全文)。 ↩
  6. GiveWell 创立故事,givewell.net 2008-01 快照与 clearfund.org 2007-08 快照(从原始发布处取得的一手全文);80,000 Hours 创立,80000hours.org 2011-11-26 与 2012-03-23 快照(2012-03-23 页面提到"William Crouch"这个名字,但没有说明他就是麦卡斯基尔改姓前的名字,这一身份关联属于背景知识,这份材料没有直接确认);项目早期名称"High Impact Careers",见 EA Forum 官方历史词条,该件(组织现行官网对旧事的回顾)。 ↩
  7. EA Forum 官方历史词条"History of effective altruism" (组织现行官网对旧事的回顾)。 ↩
  8. 加速主义线"源头是逐层追认削形的产物"判断,已经定稿审读通过,见本系列的加速主义完整报告相应判断条与其简写本第二节"'它有五十年历史'这句话成立到什么程度"一段。 ↩
  9. 负面登记:CEA press kit 与 EA Forum 词条已转录段落均未点名辛格 。 ↩
  10. Peter Singer, "Famine, Affluence, and Morality," Philosophy & Public Affairs 1, no. 3 (1972): 229–243. Internet Archive 原刊 OCR 全文 第 99–120 行(个别字符有 OCR 误差)。数字与两个前提已逐字核对原文。 ↩
  11. Nick Bostrom, "Existential Risk Prevention as Global Priority," Global Policy 4, no. 1 (2013): 15–31.(从原始发布处取得的一手全文);详尽摘要。 ↩
  12. Nick Bostrom, Superintelligence: Paths, Dangers, Strategies (Oxford: Oxford University Press, 2014), 第一、八、十五章(全书三十九节仅读三节,范围限度须随全文任何引用一同标注)。2026-08-21 回一手 PDF 逐字复核(本地全文 PDF,345 页,pypdf 提取,页码为 0 起页序):I. J. Good 1965 年那段在 PDF 20 页,原文为 "Thus the first ultraintelligent machine is the last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control"——句末的条件从句此前未随引用一同出现,本版补入;"背信转向"的定义在 PDF 135 页,原文为 "While weak, an AI behaves cooperatively (increasingly so, as it gets smarter). When the AI gets sufficiently strong—without warning or provocation—it strikes";第十五章的相关段在 PDF 274 页,原文说的是希望早期的资助者既精明又利他("It is especially desirable that the early-day funders be astute and altruistic"),随后另说这一阶段的重点是"把对的人招进这个领域"——此前的中译把两句并成了"先吸引精明利他的人",本版按原文拆开。详尽摘要(从原始发布处取得的一手全文)。 ↩
  13. Future of Life Institute, "Pause Giant AI Experiments: An Open Letter," 2023-03-22.(含全部五条注释)。 ↩
  14. Eliezer Yudkowsky, "Pausing AI Developments Isn't Enough. We Need to Shut it All Down," TIME, 2023-03-29.(Wayback Machine 镜像件,time.com 原页直取失败)。 ↩
  15. 团队名单 (从原始发布处取得的一手全文);阿申布伦纳作为加速主义线《Situational Awareness》作者的身份,见本系列的加速主义完整报告相关节点。 ↩
  16. Vitalik Buterin, "My techno-optimism," vitalik.eth.limo, 2023-11-27;"d/acc: One Year Later," 2025-01-05。2026-08-21 回一手件逐字复核(此前为转引):"不只是幅度,方向也要紧"与"利润最大化这个公式不会自动得出"两句 第 51–59 行;双重归属那两句("If you are an e/acc, then d/acc is a subspecies of e/acc - just one that is much more selective and intentional"/"If you are an effective altruist, then d/acc is a re-branding of the effective-altruist idea of differential technology development")见同件第 1310–1316 行;"差异化技术发展出自有效利他主义文献"一句见同件第 706–709 行;全球算力"软暂停"装置与每周三方签名 第 496–514 行(均 一手全文)。 ↩
  17. 司法部量刑新闻稿逐字转录,2024 年(全文含三段官员引语已于 2026-08-18 补录收存核过);起诉书。 ↩
  18. Effective Ventures 官方声明,EA Forum,2023-12-13 (从原始发布处取得的一手全文)。 ↩
  19. TESCREAL 论文(Gebru & Torres, 2024)全文(论文原文 一手全文;论文对 Lewis-Kraus 2022 年《纽约客》报道的转引,事实本身为 孤证待查)。 ↩
  20. FTX Future Fund 团队辞职声明,EA Forum,2022-11-11(从原始发布处取得的一手全文)。 ↩
  21. Toby Ord, The Precipice: Existential Risk and the Future of Humanity (New York: Hachette, 2020)。一手件为本地全文 PDF,451 页,有文本层(从原始发布处取得的一手全文);页码为 pypdf 的 0 起页序,不是纸书页码。本报告使用的读取范围是导论、第二章全章、第五章人工智能一节、第六章全章、第七章若干小节与方框、第八章四节、附录 B/E/F 全篇及三章尾注;第一、三、四章未读。给数字的三条理由与四重限定见 PDF 159–162,表 6.1 见 PDF 161–162,十分之一的来源见 PDF 163,六分之一条件于预期响应见 PDF 164–165,起点之争见 PDF 163,三阶段大战略见 PDF 181,"不要做什么"九条见 PDF 202–204。节点卡 卡七。程序限度:该书读书笔记至今未过全部核验,本报告只使用可回原书页码逐字复核的描述层内容,读书笔记的判断层一概未用;核验通过后本节须逐句重核。 ↩
  22. William MacAskill, What We Owe the Future (New York: Basic Books, 2022)。一手件为本地全文 PDF,880 页,有文本层(从原始发布处取得的一手全文);页码为 pypdf 的 0 起页序。读取范围是导论前三页、第一章开头两页、第四章的 AGI 与价值锁定段(PDF 87–96)、第八章全章(PDF 176–201);第二、三、五至七、九、十章与全部尾注未读。三句话论证见 PDF 15,长期主义定义见 PDF 11,AI 逐步失去决定权一段见 PDF 94,道德评价两页见 PDF 95–96,第八章命题与四道边界见 PDF 176–178,接受可憎结论见 PDF 194,道德不确定下的折中与引用奥德、格里夫斯见 PDF 197–198,实践落点与太空殖民的反向限制见 PDF 200。节点卡见同上文件卡六。程序限度同 21。 ↩
  23. Marc Andreessen, "The Techno-Optimist Manifesto," a16z.com, 2023-10-16。"敌人"一节(官网原发页面直取);"清单里没有点名任何组织"这一判断出自加速主义线对宣言全文(含"敌人"整节)的通读核对,见该线读书笔记。宣言其余各节未在本报告中。 ↩
  24. Zoe Lofgren 致 Scott Wiener 参议员的反对信,2024-08-07。(从原始发布处取得的一手全文)。四份意见书的合读与逐条比较(该篇已过三道门)。 ↩
  25. e/acc 一方是否回应过 d/acc、是否提及左翼加速主义,两项取得结果(取得失败记录:双方 2026-04-09 在 a16z 播客公开辩论一事可确认,但没有文字稿,辩论中的具体立场未取到)与 该件(两处 e/acc 相关公开文本提到 Srnicek 与 Williams,均为谱系叙述)。 ↩
  26. Anthropic 致加州州长的意见书,2024-08-21。(作为"Anthropic 说了什么"是 一手全文)。当事人注记:写作这份报告的系统运行在 Anthropic 的模型上,这一方是这场争论的当事人之一;本小节对这封信只作转述,不评价其立场,也不用它去支持任何一方。 ↩
  27. Gavin Newsom 否决信,2024-09-29。(从原始发布处取得的一手全文)。 ↩
  28. a16z 首席法务官 Jaikumar Ramaswamy 致 Wiener 参议员的公开信,2024-08-02,共 14 页。(第三方副本;托管方 Engine Advocacy 既非发信方也非收信方,且在这场争论中与 a16z 同处反对侧,故未升 一手全文)。四组词根零命中的检索范围是该信 492 行提取全文。 ↩
  29. 前沿实验室现任与前任员工联署信,提交对象为加州州长。该件证据等级按断言分四层(页面文字 一手全文/信件存在与诉求 第三方副本/提交日 孤证待查/签名真实性 孤证待查),人数三个口径未合并,详 ↩
  30. SB 1047 法案文本(2024-09-03 定稿版)与法案自带的适应机制(官方摘要全文加 §22602、§22603 两节原文;其余条款)。版本差异的处理办法照 SB 1047 四份一手文本合读 第零节。 ↩
  31. Anjney Midha, "What You Need to Know About SB 1047: A Q&A," a16z.com, 2024-06-19。(机构自有域名上的公开立场文本)。 ↩
  32. OpenAI,"OpenAI announces leadership transition",2023-11-17。(当事方原始声明;openai.com 现址返回 403,取的是 Wayback Machine 发布当日快照)。当时的董事会名单与托纳的机构身份均出自该件。四份一手文本的合读(已过三道门)。 ↩
  33. Helen Toner 在 The TED AI Show 的访谈,官方文字稿,节目日期 2024-05-28;同一期节目末尾播出 OpenAI 董事长 Bret Taylor 的回应声明全文。(官方文字稿;托纳的话是当事人在事件半年后、内部调查结束之后的回溯自述,属一方说法且有立场,引用时这一层性质须随行。文字稿页自带说明:与成片音频可能有细微出入)。 ↩
  34. Open Philanthropy 官方资助数据库同一类目下的资助记录:Center for Security and Emerging Technology(CSET)三笔合计 101,920,000 美元,为该类目最大受赠方;OpenAI 一笔 30,000,000 美元,日期 2017-03-27,为该类目单笔金额第四大。两项均为数据库字段原值(从原始发布处取得的一手全文) 的"最大 15 笔"表。限度:本报告只引这两项字段原值,不引由切片文件自行求和得出的类目占比(该占比在合读笔记里标 第三方副本,理由是自行求和、68 笔无金额记录按零计入、以及站方页面自身显示的记录数与接口返回不一致)。资助关系不能证明任何人的投票动机,这一限度写在正文。 ↩
  35. Marc Andreessen, "The Techno-Optimist Manifesto", a16z.com, 2023-10-16,"The Enemy" 一节。 、该件(机构自有域名上的署名文本)。正文所引清单为该段逐字转录,中译为本报告所作。该节全篇未出现 "Effective Altruism" 一词,点名的是概念标签,这一点以取到的原文为准;该件只存"敌人"一节全文,宣言其余各节未全文。本报告不据此认定"存在性风险"这一概念归属于有效利他主义。该概念由 Nick Bostrom 于 2002 年提出(他在 11 那篇 2013 年的文章里自注 "Including the very notion of existential risk (Bostrom, 2002)",参考书目列为 Bostrom, N. (2002) "Existential risks: analyzing human extinction scenarios and related hazards"),而"有效利他主义"这一名称迟至 2011 年才由那次十七人投票确定,两者相差九年。把后出现的名称回溯认领更早的概念,正是本报告第二节 命名史对照所指出的那类做法,此处不重犯。安德森这份名单点名的是概念标签,本报告只陈述这一事实,两者之间的关系另需材料才能判定,已列入文末缺口清单。 ↩
  36. Center for AI Safety, "Statement on AI Risk"(页面标题为 "Statement on AI Extinction Risk")。。按断言分层:声明正文那一句、页面所列签名者姓名与职务为 一手全文(发布方官网原页面逐字提取,2026-08-21 自取);发布时间为 第三方副本——页面本身不标注日期,据 Wayback 存档记录(最早一条 2023-05-27,2023-05-30 起当日连续四次存档)定为 2023 年 5 月下旬,具体公开发布日未独立核实。页面签名者名单默认只展开一部分,正文所据为其中 51 位,末尾 "Show more" 未展开,故非完整名单。声明原文用的是 "risk of extinction"(灭绝风险),不是 "existential risk"(存在性风险),两者在本报告中不互换。 ↩
  37. The Bletchley Declaration by Countries Attending the AI Safety Summit, 1-2 November 2023,英国政府 GOV.UK 官方页面全文。(发布国政府官网原文,2026-08-21 自取)。正文所引两处原文为 "There is potential for serious, even catastrophic, harm, either deliberate or unintentional" 与 "unintended issues of control relating to alignment with human intent",中译为本报告所作。与会并列名者为 28 国加欧盟,新西兰于 2024-10-23 加入。GOV.UK 另有多语言版本,本报告未取,引用一律以英文原文为准。 ↩
  38. SB 1047 法案文本的用词计数:对 该件 全文做机械检索,"catastrophic" 出现 0 次;法案对所管损害给出的定义见该件。这个限度必须随引用带走:该件所录为官方摘要全文加 §22602、§22603 两节原文,其余条款,因此这个零是就已录范围而言的,不等于法案全文任何一处都不含该词。要把它扩大成关于法案全文的陈述,须另取法案完整文本重数。此项对照(纲领性文件与公司信件用这套词、法条改用可计量门槛)是本报告在整理材料时得出的,属本报告的整理性观察;正文仍只并列陈述两侧事实,不引申为因果——这一限度出自材料本身。 ↩
  39. Giving What We Can 官方公开承诺者名单,https://www.givingwhatwecan.org/about-us/members ,2026-08-21 展开全表后逐名检索。(发布方官网名单本身;序号、姓名、月份均为页面所载)。取得材料当日页面自述终身承诺者 11,166 人、来自 118 个国家。正文三项:Dario Amodei 第 43 位、2010 年 7 月;Jack Clark 第 4002 位、2019 年 2 月;Dustin Moskovitz 第 8458 位、2010 年 4 月。两项限度:其一,该名单允许成员匿名或要求删除资料,只能给出下限,查不到不等于未曾签署;其二,该名单序号与签署月份不同步(Moskovitz 一条的相邻条目分别为 2021 年 1 月与 2023 年 4 月),序号不可用于推断先后次序,正文只用月份。 ↩
  40. Ben Mann, "Why I now identify as an Effective Altruist", Medium(@8enmann),2019-03-25。(作者本人署名原文,2026-08-21 自取)。中译为本报告所作。发文时作者尚未参与创办 Anthropic(该公司成立于 2021 年);他在同一篇文章里自述此前曾在 OpenAI 与 MIRI 任职后感到失望而离开,并说明有收入后将捐出百分之五(低于这场运动的标准承诺百分之十)。提取在文末数句处截断,末句未取全,正文所引一段完整,不受影响。 ↩
  41. 正文只陈述资助记录本身,不据以推断任何人的投票动机。当事双方事后各自的说法如下,两种说法本报告都照录,不合并成一种解释。海伦·托纳在事件半年后的访谈中说,董事会拿不到公司的真实信息、无法履行监督职责;OpenAI 董事长布雷特·泰勒(Bret Taylor)随后的声明说,独立委员会与律所完成的复查结论是,前董事会的决定"并非基于对产品安全或安保、开发速度、OpenAI 财务状况,或其对投资者、客户、业务伙伴陈述的关切"。两者出处同 33(官方文字稿;托纳的话属一方在调查结束后的回溯自述,有立场,这一层性质随引用带走)。 ↩
  42. Centre for Effective Altruism, "CEA's Guiding Principles"。(发布方官网原页面逐字提取,2026-08-21 自取)。定义原文为 "Effective altruism is about using evidence and reason to figure out how to benefit others as much as possible, and taking action on that basis.";五条原则的标题依次为 Commitment to Others、Scientific Mindset、Openness、Integrity、Collaborative Spirit,正文所述为各条内容的中译要点,逐字原文见该件。两项限度:其一,页面本身不标注发布或修订日期,这五条何时定下、改过几次均不可考,本报告因此不作任何关于其成文时间的陈述;其二,该页另列有 11 家背书组织与 5 位背书个人(含彼得·辛格本人),本报告未据此认定任何一方对这五条的参与程度。 ↩