1945年，就在美国于新墨西哥州 沙漠进行第一次核弹试验之前，参与 制造核弹的物理学家之一恩里科 • 费 米（Enrico Fermi）和他的科学家同事们打了个赌：爆炸的热量是否会在大气中引发核大火？若果真如此，这场大 火会只摧毁新墨西哥州吗？还是说整个世界都会被它吞噬？（这次核试验并不像费米恶作剧式的赌注所暗示的 那么轻率：另一位物理学家汉斯 • 贝 特计算过，几乎绝不可能产生这样的火海炼狱。）

如今，对“存在性风险”的担忧并不仅仅存在于军事科学家内部——存在性风险指那些对整个人类物种而非人类个体构成威胁的风险。核战争、 核冬天、瘟疫（无论是新冠病毒这样的自然瘟疫还是人为因素导致的瘟疫）、小行星撞击等都有可能消灭大部分乃至全体人类。最新的末日威胁则是人工智能。2023年5月，该领域的一群杰出人士签署了一封只有一句话的公开信，信中写道：“减轻人工智能带来的人类灭绝风险，应该与大流行病和核战争等其他影响社会的大规模风险一同成为全球性的优先事项。”

但什么程度的担忧才算得上理性呢？7月10日，包括芝加哥联邦储备银行的经济学家埃兹拉 • 卡格尔（Ezra Karger）和宾夕法尼亚大 学的政治学家菲利普 • 泰特洛克 （Philip Tetlock）在内的一个研究团队发表了一篇研究手稿，试图通过系统地调查两类不同的专家来阐明这个问题。调查的第一类是主题专家，或者说“领域专家”，也就是核战争、生物武器、人工智能和人类灭绝本方面的专家。另一组接受调查的则是“超级预测者”，这是一群在各种话题上（ 从选举结果到战争爆发）都有准确预测记录的通用预测家。

研究人员招募了89名超级预测 者、65名领域专家和15名更广泛地研 究“灭绝风险”的专家。被召集的“先 知”们要考虑两种不同类型的灾难， 其中对“灾难”的定义是仅杀死世界上10%的人口，也即大约8亿人的事 件。（作为对比，第二次世界大战估计导致了当时全球20亿人口中约3%的人丧生。）对“灭绝”的定义则是消灭了所有人、最多只留下5000个幸运（可能也是一种不幸）的生还者的事件。

研究人员要求这两组人员估计各种事件发生的可能性，从人工智能导致灭绝或核战争这样的末日事件，到诸如人工智能的能力是否会产生令人担忧的进步这样较小的问题——这类进步也许会成为通往未来灾难道路上的路标。

这项研究得出的最引人注目的结论是，对于未来，那些在有关存在性风险的公共对话中倾向于起主导作用的领域专家似乎比超级预测者更为悲观。专家们估计，到2100年，发生灾难的可能性约为20%，灭绝的可能性约为6%，而超级预测者给出的概率分别是9%和1%。

这个巨大的分歧掩盖了一些有趣的细节。在考虑人工智能带来的风险 时，两组之间的差异是最大的。超级预测者估计，到21世纪末，人工智能导致灾难的可能性中位数为2.1%， 人工智能导致灭绝的可能性中位数为 0.38%。相比之下，人工智能专家认为这两种事件发生的概率分别为12%和 3%。在谈到大流行病时，对于自然发生的疾病带来的风险，超级预测者比领域专家更为悲观。

其中最有趣的结果或许在于，尽管两组人在风险的确切大小上存在分歧，但无论是在考虑灾难或灭绝时，他们都认为人工智能是最大的担忧。 参与这项研究的超级预测者丹 • 梅兰 德（Dan Mayland）说，人工智能的风险被如此强调的原因之一在于，它在核武器等其他风险上起到了“力量倍 增器”的作用。就像核战争或小行星撞击一样，人工智能（比如说，以武装机器人的形式出现）可以直接杀死人 类。但它也可以用来磨利另一位刽子手的斧头。例如，如果人们使用人工智能来辅助设计更强大的生物武器，那对随后发生的任何灾难而言，它就是间接但根本的原因。

然而，尽管超级预测者对人工智能持悲观态度，但他们的态度相对而言也不是那么确定。世界已经与核武器共存了近80年。核战争尚未发生， 这为预测它未来是否可能发生提供了宝贵的数据。至少从“人工智能”这个 词当前的意义来说，它比核武器新得 多。现代、强大的机器学习模型的出现可以追溯到21世纪10年代初期，而且该领域仍在快速发展。这样一来，作为预测基础的历史数据就要少得多了。

泰特洛克博士在预测未来的问题上做了大量工作。正是他首先发现并命名了“超级预测者”，这是一群似乎在各个领域都非常擅长预测未来发展 的人。这些人有一些共同的特点，比如谨慎、数字化的思维，以及对可能使他们误入歧途的认知偏差的意识。尽管超级预测者缺乏特定的专业知识， 但有扎实可靠的记录表明，他们在从金融到地缘政治的技术领域都有过优于专家的出色表现。

两组人员之间的差异，在一定程度上反映出了他们心中世界运作模式的不同。灾难性风险不仅取决于一项 技术的复杂或强大程度，还取决于人类对它的反应。例如，在冷战初期的恐慌过后，美国和苏联这两个世界上最大的核大国开始了合作。像“莫斯科华盛顿热线”、彼此检查武器的协议以及旨在限制核武库规模的条约等举措都有助于降低核战争的风险。

但是对于社会将如何应对人工智能造成的小规模损害，超级预测者和人工智能专家的观点非常不同。超级预测者倾向于认为，这种损害将促使更严格的审查和监管出台，以避免过后出现更大的问题。相较之下，领域专家则倾向于认为，哪怕已经了造成真正的危害，商业和地缘政治动机仍可能会压倒对安全问题的担忧。

超级预测者和专家们对于智能本身的极限也持有不同看法。参与这项研究的另一位超级预测者克里斯 特 • 莫雷尔（Kjirste Morrell）简单地说：“要杀光所有人可不是件容易的 事。”她指出，这样做可能需要一定程度的与物理世界互动的能力……要想达到这一点，多半需要在机器人技术方面取得很大的进步。