图说:上海人工智能实验室主任、首席科学家周伯文 新民晚报记者 陈梦泽 摄

在2024世界人工智能大会全体会议上,上海人工智能实验室主任、首席科学家,清华大学惠妍讲席教授周伯文发表主旨演讲,带来了“探索人工智能45°平衡律”的观点。

周伯文说,当前,以大模型为代表的生成式人工智能快速发展,但随着能力的不断提升,模型自身及其应用也带来了一系列潜在风险的顾虑。

从公众对AI风险的关注程度来看,首先是数据泄露、滥用、隐私及版权相关的内容风险;其次是恶意使用带来伪造、虚假信息等相关的使用风险;当然也诱发了偏见歧视等伦理相关问题;此外还有人担心:人工智能是否会对就业结构等社会系统性问题带来挑战。在一系列关于人工智能的科幻电影中,甚至出现了AI失控、人类丧失自主权等设定。

这些由AI带来的风险已初露端倪,但更多的是潜在风险,防范这些风险需要各界共同努力,需要科学社区做出更多贡献。

去年5月,国际上数百名AI科学家和公众人物共同签署了一份公开信,表达了对AI风险的担忧,并呼吁应该像对待流行病和核战争等其他大规模的风险一样,把防范人工智能带来的风险作为全球优先事项。

周伯文认为,有这些担忧的根本原因是目前的AI发展是失衡的。他向大家展示了一张坐标图——横轴是AI技术能力的提升,呈现指数级增长;纵轴是AI的安全维度,典型的技术如红队测试、安全标识、安全护栏与评估测量等,呈现零散化、碎片化,且后置性的特性。

“总体上,我们在AI模型安全能力方面的提升,还远远落后于性能的提升,这种失衡导致AI的发展是跛脚的,不均衡的背后是二者投入上的巨大差异。”周伯文指出,“对比一下,从研究是否体系化,以及人才密集度、商业驱动力、算力的投入度等方面来看,安全方面的投入是远远落后于AI能力的。”

周伯文说,可信AGI需要能够兼顾安全与性能,人们需要找到AI安全优先,但又能保证AI性能长期发展的技术体系,“我们把这样一种技术思想体系叫作‘AI-45°平衡律’。”

AI-45°平衡律是指从长期的角度来看,要大体上沿着45度安全与性能平衡发展,平衡是指短期可以有波动,但不能长期低于45°,也不能长期高于45度——这将阻碍发展与产业应用。这个技术思想体系要求强技术驱动、全流程优化、多主体参与以及敏捷治理。

周伯文介绍,实现AI-45°平衡律也许有多种技术路径,上海人工智能实验室近期在探索一条以因果为核心的路径,并将其取名为:可信AGI的“因果之梯”,致敬因果推理领域的先驱——图灵奖得主朱迪亚·珀尔。

周伯文说,可信AGI的“因果之梯”将可信AGI的发展分为三个递进阶段:泛对齐、可干预、能反思——“泛对齐”主要包含当前最前沿的人类偏好对齐技术;“可干预”主要包含通过对AI系统进行干预,探究其因果机制的安全技术;“能反思”则要求AI系统不仅追求高效执行任务,还能审视自身行为的影响和潜在风险,从而在追求性能的同时,确保安全和道德边界不被突破。这个阶段的技术,包括基于价值的训练、因果可解释性、反事实推理等。

周伯文表示,目前,AI安全和性能技术发展主要停留第一阶段,部分在尝试第二阶段,但要真正实现AI的安全与性能平衡,我们必须完善第二阶段并勇于攀登第三阶段。沿着可信AGI的“因果之梯”拾级而上,“我们相信可以构建真正可信AGI,实现人工智能的安全与卓越性能的完美平衡。”

新民晚报记者 郜阳

友情提示

本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!

联系邮箱:1042463605@qq.com