AI的科学家启动“上海共识”,AI失控,而不是科
作者:365bet亚洲体育 发布时间:2025-07-28 12:57
Leifeng.com新闻IA(IDAI)的第四次国际对话(IDAI)于2025年7月25日在上海举行。杰弗里·辛顿(Jeffrey Hinton),尤基吉(Yookiji)和全球人工智能科学家在上海开会,要求采取一种方法,以寻求一种人工智能的风险,这些风险在国际合作的控制之外和增强国际合作的控制之外移开。今年的对话重点是“通过保证先进的人工智能系统和人类控制的一致来保证人类幸福”。诺贝尔奖和图灵奖得主杰弗里·辛顿(Jeffrey Hinton),图灵奖获得者,锡肖尔大学跨跨信息研究所院长,人工智能学院院长,上海Qizhi研究所,并在加利福尼亚大学的Co-IntémantightZhou Bowen coartise coerter coarts coarteria co Russellia,Co Croustia the Co arsell ofteria,Co diria co diria,Co diria co diria cohoria co diria co diria, “上海与AI安全性对话的共识”(以下是称为“共识”)。它的主要视野表明,某些人工智能系统可以破坏开发商的安全和管理措施的能力和趋势,强调他们将继续在安全科学领域的国际社会上投资于国际社会,并继续建立国际信任机制,以解决对共同人工智能系统失去控制的风险,这次会议对人类危险系统的详细讨论可以提高人工智能欺诈,使人工智能欺诈变得``人工智能欺诈'',' nflexion。现有的研究表明,先进的人工智能系统表现出越来越多的欺骗性和自我保护趋势,并且可以认识到他们正在评估它们,因此是人类的一致性伪装以通过测试。未来系统可以执行操作员无法预测或预测的操作操作员没有操作员的知识,甚至可以在生存水平上提高灾难性或反向风险。现在,没有已知的方法可以确保最先进和最常见的人工智能超过了人类智力的水平并保持有效的人类控制。这次会议旨在预防和纠正此类行动。我们讨论技术道路和治理机制。共识认为,与智能能力人工的快速发展相比,对人工智能安全研究的投资远远落后,并且迫切需要采取其他行动。会议科学家专注于人工智能欺骗的新经验证据,并要求国际社会采取三个重要的行动:首先,他们要求人造的Avant -Garde -Garde -Garde -Garde Intelligence开发商提供安全保证。为了更好地了解高级AI系统对监管机构的安全性,开发人员必须进行内部检查和第三张选项评估,发送高度可靠的安全案例,并在显示模型之前进行拥挤的攻击,防御和红色设备测试。如果模型达到关键特征的阈值(例如,在没有创建生化武器的经验的情况下检测模型支持非法要素的能力),则开发人员必须解释政府(通常在适当的情况下)的潜在风险。其次,通过加强国际协调,我们建立并遵守可验证的全球行动线。国际社会必须共同努力以获得人工智能,并发展一条无法越过的红线(也就是说,“高压线”)。这些红线必须关注人工智能系统的行为表现,它们的限制还必须考虑到系统执行特定动作的能力及其倾向采取行动。为了实施这些红线,各国必须建立具有技术能力和国际包容性的协调机构,将几个国家的人工智能安全当局汇集在一起,以共享与风险有关的信息,并促进评估程序和验证方法的标准化。该机构接受了必要的技术措施,以促进知识交换,满足红线,包括统一的传播要求和评估程序,并帮助开发人员证明AI系统的安全性和安全性水平是可靠的。第三,我们投资于确保安全性的开发方法。科学界和开发商必须投资一系列严格的机制,以确保人工智能系统的安全。在短期内,应通过可扩展的监督机制来解决人工智能欺诈。例如,加强信息s环保投资,诸如外部和分离模型的阻力等部分系统的几种威胁得到了改善。从长远来看,责任可能应转换为活动,而是基于“设计是安全性”来构建人工智能系统。通过实验数据总结的规则,研究人员可以预先预测安全的安全水平和未来人工智能系统的性能。这样,开发人员可以在正式培训模型之前提前建立足够的安全措施。该会议由上海Qizhi研究所,国际AI安全论坛(SAIF)和上海人工智能研究所组织。政府领域授权的几位专家也参加了讨论。这为附近的国际合作与治理框架提供了愿景,包括萨努尔大学施瓦茨曼学院的院长Y,Xue Lan,Gillian Hadfield,Johns Hopkins University的教授和牛津大学的Robert Trager。值得注意的是,参加此Aidai的是Jeffrey Hint的第一个Visiton China,它将同时参加2025年在上海举行的世界人工智能会议。自2023年他从Google辞职以来,他一直致力于AI的安全,被称为AI的父亲。杰弗里·辛顿(Jeffrey Hinton)出生于1947年12月6日。他是一位英国 - 加拿大心理学家和计算机科学家。 1986年,他与David Rumelhart和Ronald J. Williams一起学习了该文件,并通过反向传播错误和多个受过训练的神经网络来证明复杂的任务可以通过倒退算法有效地学习。此外,他还基于模拟神经元之间随机激活的概率,发明了Boltzmann机器和Boltzmann Limited Machine,这是一个人工神经元网络。在数据中找到特征和模式。 JEFfrey Hinton被认为是深度学习领域的领导者,因为先前的工作为深度学习的快速发展铺平了道路。 2024年Octubre 8号,皇家瑞典科学院宣布,这一年是“在人工神经元网络中自动学习”。他决定,杰弗里·欣顿(Jeffrey Hinton)和约翰·霍普菲尔德(John Hopfield)那年将获得当年诺贝尔物理奖,并将其授予杰弗里·辛顿(Jeffrey Hinton)和约翰·霍普菲尔德(John Hopfield)。 Hinton自2013年以来一直在Google担任高级工程师,并参与了Google Brain Project的领导。 2023年5月,他宣布对Google辞职,并表示希望“他可以自由谈论AI的风险”,并承认他中的一些人开始后悔他们对终身的贡献。离开公司后,他经常在媒体上发表讲话,并说目前在当前行业展示这一代人的AI和其他发展趋势的竞争使他感到恐惧。在皇家的演讲中杰弗里·欣顿(Jeffrey Hinton)于今年5月30日举行的社会警告一次,不仅仅是对从控制的AI的担忧不是遥远的科幻情节,而是其内部逻辑的必然后果。为了实现一个巨大的目标,AI Genrally生成了重要的子设备,例如“获得更多的控制”和“不关闭”。 Hinton在上一篇演讲中说:“当他创建AI代理时,他必须使他能够建立sub -newleck。例如,如果他的目标是去北美,那么近期将首先到达机场。他必须以同样的方式来给IA的推动者,IA的推动者能够创建次级次级的能力,更容易获得控制目标,最终的目标就可以实现。”。” leifeng.com文章(公共帐户:leifeng.com)
电话
020-66888888