智能体或带来灾难性风险，图灵奖得主Bengio指明新路径Scientist AI：世界模型+推理机

本文讨论了当前人工智能领域中对通用AI智能体的追求及其潜在的安全风险。图灵奖得主Yoshua Bengio提出了一种新的AI系统——Scientist AI，旨在通过观察而非行动来解释世界，从而减少过度自信预测的风险。Scientist AI包含一个生成理论以解释数据的世界模型和一个问答推理机，这两个组件在操作时都明确考虑了不确定性。该系统可用于协助人类研究人员加速科学进步，并作为防范自主AI风险的护栏。Scientist AI的设计灵感来源于柏拉图式理想化的科学家形象，基于SOTA概率深度学习技术，并借鉴科学过程的方法论。研究团队还提出了确保Scientist AI保持非自主性的策略，并预见了其在加速科学进步、防范自主AI风险及作为AI研究工具等方面的应用。