图灵奖得主约书亚·本吉奥：AI失控可能导致人类灭绝，AGI最快五年内就能实现

“这些行为非常糟糕，我们看到了AI的自我保护意识，其会违背一些指令并试图生存。这种行为可能有多种原因，我们还没有完全弄清楚，可能来自预训练，可能源自强化学习的反馈。”本吉奥表示。

他强调，无论是什么原因，如果最终我们创造出超越人类的AI并与人类竞争，这将是非常糟糕的。“如果AI真的发生失控，可能是灾难性的，这种失控可能导致人类灭绝。”

本吉奥表示，现在不知道这种情况是否会真的发生，也不知道其发生的概率是多少，但需要寻找解决方案，以避免AI的这些不良行为。

他认为，对AI的能力评估很重要，目前AI的许多管理不善都与能力评估有关，要了解AI能做什么，以及这些能力是否可能转化为对人类或社会有害的行为，同时要确保AI没有不良意图。

“真正危险的AI需要三样东西，需要智能和知识，做事情的能力，还需要有自己的目标。这三个条件是研究的关键，我发起的项目试图探索，我们是否可以构建只有智能而没有能力的AI。我称其为AI‘科学家’，它确实偏离了传统的AI研究方向。”

他表示，自AI研究开始以来，我们一直以人类智能为灵感，努力构建像人类一样的AI。如果继续走这条路，意味着我们将创造出可能超越人类的机器，这意味着创造竞争性，因为它们可以与我们竞争。

“但现在是时候重新思考这种研究传统，应该思考一种对人类和社会有用但不会危及人类的研究思路。”本吉奥为此提出科学家AI，目标是构建一种完全非通用的、基于解释能力的AI。

他表示，这与当前试图模仿人类或取悦人类的AI不同，科学家AI将努力向人类解释事物，并可以作为构建安全AI系统的基石。

“如果想构建一个只进行智能活动、只进行理解的AI，我们需要AI可以生成关于奖励的假设，就像科学家生成假设一样，但这还不够。如果只有假设，这并不一定能做出好的预测，还需要进行推理，以便预测某些行为或实验的结果，这就是科学家AI的想法。”本吉奥说，尽管科学家AI是非通用的，但它可以成为AGI的基础。

比如AI的欺骗行为、危险行为，都是因为自主性。当AI的自主性很高时，这意味着它完全自主，没有人类的监督。“科学家AI中的监视器可以预测某个行为是否危险，它不需要自主性。如果预测显示某个行为的危害概率高于某个阈值，那么就可以直接拒绝该行为。”

“换句话说，我们可以利用一个非通用的AI来控制另一个不可信的人工智能，而这个非通用的AI是安全的。”

同时，为了保证AI没有欺骗性，AI需要对自己的知识保持谦逊，需要AI保留每一种可能的解释或理论。“不幸的是，当前的方法并没有做到这一点。因此，重要的是AI要保留对解释的分布，而不是只选择单一的解释。”

对此，本吉奥则围绕思维链进行了研究，以使思维链更加真实，推理更加准确。这与当前基于强化学习的方法不同，而是基于尝试为数据生成一个好解释。“我们用这些关键思想生成了各种各样的解释，这些解释可以高度结构化，如以因果图的形式呈现。”

“这使得AI不会试图模仿人类会写的内容，而是会试图为这些内容找到解释。AI需要计算这些内容的一致性，以及正确率，以便能够得出正确的结论。”本吉奥说。

对于AI失控的风险，他还提到，随着AI变得越来越强大，还有许多其它潜在的灾难性问题，比如强大的AI可以帮助恐怖分子设计新的大流行病。“如果坏人能够接触到这种AI，他们可能会对地球造成巨大的破坏。这是一个非常严重的问题，但目前还没有科学的方法来解决。”

本吉奥提到，为了避免这种危险，还需要确保AI遵循我们的道德指令，例如不提供可用于杀人的信息，避免伤害人类，不撒谎、不欺骗等。“这是一个科学挑战，我们需要尽快解决，需要在实现AGI之前解决这个问题。”

他认为，AGI的出现可能只需要几年时间，也许是一到两个十年，也许更短，甚至可能在未来五年内实现。所以没有太多时间，需要大规模投入，以发现解决对齐和控制挑战的科学方法。

“不幸的是，目前公司之间和国家之间的协调并不顺利。公司之间存在竞争，它们都在竞相占据领先地位，国家之间也是如此，它们都希望利用AI作为对抗彼此的工具。因此，目前在安全方面的投入，以确保AI不会被用于伤害人类或失控方面的努力还远远不够，所以我们需要更多的国家监管。”

本吉奥认为，唯一真正能够让不同国家坐到同一张桌子前的办法是，让各国政府，特别是美国和中国，意识到这些真正灾难性的结果，比如人类失去控制权，或者恐怖分子利用AI做坏事。“这无论在哪个国家发生，我们都输了，我们都在同一条船上。”

但找到政治解决方案还不够，还需要开发新的技术来验证AI是否被正确使用，就如同核协议有各种各样的“信任验证”机制。“我们需要开发这些技术，如在硬件和软件层面，我认为这些技术可以设计出来。”本吉奥说。