本文是哲学家Seth Lazar、人工智能影响研究员Arvind Narayanan与fast.ai的Jeremy Howard合作的成果。在fast.ai，我们相信规划人工智能的未来是一个复杂的话题，需要汇集跨学科的专业知识。
今年，人工智能导致人类灭绝的风险进入了主流视野。它出现在重要出版物中，被唐宁街10号提及，并在白宫的人工智能战略文件中被提及。但一群有影响力的人工智能技术专家认为，它仍然没有得到足够的重视。他们签署了一份声明，声称：“减轻人工智能导致人类灭绝的风险应成为与流行病和核战争等其他社会层面风险同等的全球优先事项。”
“全球优先事项”应该是人类面临的最重要、最紧迫的问题。2023年，人工智能能力取得了飞跃，这无疑带来了新的风险，包括可能增加某个未来人工智能系统失控并消灭人类的可能性。但我们不确定减轻这一风险是否属于全球优先事项。其他人工智能风险同样重要，且更为紧迫。
首先关注来自人工智能的风险。这是一个模棱两可的短语，但它暗示着一个自主的失控智能体。那么，由疏忽、鲁莽或恶意使用人工智能系统的人所带来的风险呢？我们担心的任何可能来自失控人工智能的危害，都更有可能在更早的阶段因“失控的人”借助人工智能而发生。
事实上，专注于这种特定威胁可能会加剧更可能发生的风险。迄今为止的技术史表明，最大的风险并非来自技术本身，而是来自控制技术并利用技术积累权力财富的人。签署这份声明的人工智能行业领导者正是最有可能做到这一点的人。在呼吁制定法规解决未来失控人工智能系统风险时，他们提出的干预措施将进一步巩固他们的权力。我们应该警惕那些既想通过为人们带来火种而获利，又想被信任为消防员的普罗米修斯们。
为什么偏偏要关注灭绝呢？诚然，这很糟糕，正如声明序言所述，人工智能还带来了其他严重的社会层面风险。全球优先事项不仅应该重要，还应该紧迫。我们仍然身处全球大流行之中，俄罗斯在乌克兰的侵略使得核战争成为迫在眉睫的威胁。声明中未提及的灾难性气候变化很可能已经开始。人工智能导致的灭绝威胁同样紧迫吗？签署者们是否认为现有的人工智能系统或其直接后代可能会将我们全部消灭？如果他们这样认为，那么签署这份声明的行业领导者应该立即关闭他们的数据中心，并将一切移交给国家政府。研究人员应该停止尝试使现有的人工智能系统安全，而应该呼吁将其消灭。
我们认为，事实上，声明的大多数签署者相信失控的人工智能离我们还有一段距离，而且需要重大的科学进步才能实现——这种进步我们无法预料，即使我们确信它终有一天会发生。如果情况如此，那么至少会得出两个结论。
首先，我们应该更加重视更紧迫的人工智能带来的严重风险。即使现有的人工智能系统及其合理的扩展不会将我们消灭，它们已经造成了更加集中的损害，它们肯定会加剧不平等，并且在渴望权力的政府和肆无忌惮的公司手中，会损害个人和集体自由。我们现在就可以减轻这些风险——我们不必等待某个不可预测的科学进步才能取得进展。它们应该是我们的优先事项。毕竟，如果我们不愿意努力解决那些已经存在于我们身边的风险，又如何能对我们解决未来人工智能风险的能力抱有信心呢？
其次，与其用关于人工智能未来的模糊预测来惊吓公众，不如少关注我们应该担心什么，多关注我们应该做什么。未来人工智能系统可能带来的极端风险应该是讨论的一部分，但不应占据主导地位。我们应该首先承认，人工智能的未来——也许比流行病、核战争和气候变化更是如此——从根本上掌握在我们集体的控制之中。我们现在需要问，我们希望那样的未来是什么样的。这不仅仅意味着征求关于应该由什么规则来管理类神级人工智能的意见。这意味着要问，在任何地方，是否真的存在一个民主多数赞成创造此类系统。
我们应该专注于建设能够既减少现有的人工智能风险，又能使我们在更多地了解新风险时有能力应对它们的机构。这当然意味着应用预防原则，并在力所能及的范围内采取具体措施来预见尚未发生的风险。但这还意味着赋予在这份人工智能权力清单上代表性不足的声音和群体权力——他们中的许多人长期以来一直在关注人工智能的社会层面风险，但并未受到足够的关注。在他们的工作基础上，让我们专注于我们可以研究、理解和控制的事物——现有的人工智能系统的设计和实际使用、它们的直接后代，以及它们所处的社会和政治系统。