著名计算机科学家、被誉为 AI “教父” 的约书亚・本吉奥（Yoshua Bengio）近日宣布成立一个名为 LawZero 的非营利组织，目标是开发一种 “诚信” 人工智能系统，以防止 AI 智能体对人类实施欺骗行为。6月3日，本吉奥在新闻发布会上透露，该组织将专注于打造一套安全防护机制，确保 AI 在运行过程中不会试图欺骗用户或进行自我保护，例如逃避被关闭的情况。
图源备注：图片由AI生成，图片授权服务商Midjourney
本吉奥作为 LawZero 的主席，已为此项目提供了约3000万美元的启动资金，并组建了一支由十几名研究人员组成的团队。LawZero 计划研发的 “科学家 AI”（Scientist AI）系统，将作为 AI 安全监控的护栏。这一系统的设计初衷在于确保其智能程度至少与它所监管的 AI 智能体相当，从而有效地识别并制止任何可能的欺骗行为。
本吉奥在发布会上强调，随着 AI 技术的快速发展，智能体越来越具备自主决策和学习的能力，这使得防止它们对人类施加欺骗变得尤为重要。他指出，AI 智能体的透明性和可信性是社会对其接受的前提，因此开发一套高效的监控系统至关重要。
LawZero 的目标不仅是构建技术，更是为未来的 AI 应用设立道德标准，推动整个行业向更加负责任和可信赖的方向发展。通过引入 “科学家 AI” 系统，本吉奥希望能够在智能体的设计和实施过程中，增加更多的安全保障，为用户提供一个更加安全的环境。
划重点:
🌟 本吉奥成立 LawZero 组织，开发 “科学家 AI” 系统，旨在防止 AI 欺骗行为。
💰 该项目启动资金约为3000万美元，团队由十几名研究人员组成。
🔒 “科学家 AI” 系统将确保其智能程度与监管的 AI 智能体相当，保护人类免受欺骗。
https://www.aibase.com/zh/news/18625
