张亚勤：智能体能力越大、风险也越高，要设置好红线

3月26日，中国工程院院士、清华大学智能产业研究院（AIR）院长张亚勤在博鳌亚洲论坛2025年年会上表示，AI已从预训练走向推理，从信息智能走向物理智能。 本文来自散户吧WWW.SANHUBA.COM

在人工智能的安全治理方面，他提醒也要充分认识人工智能发展可能带来的风险，“这里面有很多未知的因素。因为中间路径是不可控的，智能算法并不完全是黑盒子，但是很多东西我们并不清楚机理，所以带来很大风险。一种是可控风险，一种是被坏人所利用的风险。”张亚勤建议，在利用人工智能时需要提前设置好红线，比如智能体不能自我复制。“能力越大，它越来的风险越高，特别是AI从信息智能到物理智能到生物智能，风险会增加很多倍。” 本文来自散户吧WWW.SANHUBA.COM

以下为部分发言实录：

本文来自散户吧WWW.SANHUBA.COM

张亚勤：谢谢，很高兴回到博鳌论坛。我稍微总结一下这一年人工智能取得的进步和产生的进展。 本文来自散户吧WWW.SANHUBA.COM

今年前我们没有想到会发生这么大的变化，我刚刚从硅谷回来，两个星期前去拜访了OpenAI、英伟达、谷歌等主要的AI公司。第二点是AI的规模定位已经在放慢，（英语）走向（英语）之后的特别是在推理阶段，在（英语）阶段，这是第二个趋势。第三个趋势当然是DeepSeek带来的震撼，DeepSeek用更好的资源、更开源的模式，是两年来人工智能领域最大的、最规模性的创新，也是中国对全球的贡献。

另外一个趋势，AI从信息智能走向物理智能，特别是无人驾驶、机器人等，也走向生物智能，人脑接口、生物体大模型等等。我在旧金山试了无人车，你们去的话试一下，整个的体验相当好，比有人开还好。做得比较大的是萝卜快跑，是百度在武汉所做的。无人驾驶是具身智能最大的应用，也是我认为第一个能够落地的，人形机器人还需要更长的时间。所以总结一下，从监督这一块，从预训练走向推理，从信息智能走向物理智能和最终智能，中国扮演重要的角色。人工智能安全治理方面也有进展，也有一些挫折，下面再来讨论怎么均衡地发展，谢谢。

本文来自散户吧WWW.SANHUBA.COM

主持人：感谢张亚勤老师给我们做了前瞻综述，一个是推理进展非常大，中国也后来居上，刚才张亚勤老师讲到了脑机接口、生物智能也有一个新的进展，今天我们讲生成式人工智能，通过Agent的方式可能会非常快的推开，有些科学家认为通过Agent的方式，安全问题就会上一个非常大的台阶，因为它已经不可控了，您觉得如果给我们的安全风险在Attempting  AI之前打个分，在广泛运用Agent之后，您觉得风险上升多少？

本文来自散户吧WWW.SANHUBA.COM

张亚勤：至少上升一倍，智能体是很好的技术，它能够自我规划、学习、试点并达到自己的目的，它是非常好的工具，但是它本身带来很大的风险，这里面有很多未知的因素。因为中间路径是不可控的，智能算法并不完全是黑盒子，但是很多东西我们并不清楚机理，所以带来很大风险。一种是可控风险，一种是被坏人所利用的风险，所以整个安全系数降低了两倍，或者说风险增加了两倍。其实有些学者很反对用AI智能体，最近有学者写了AI科学家AI，他就不主张用智能体。另外我们讨论在我们用智能体的时候需要设置一些红线，比如智能体不能自我复制。确实能力越大，它越来的风险越高，特别是AI从信息智能到物理智能到生物智能，风险会增加很多倍。

主持人：因为不知道人工智能下一步是什么，张亚勤教授认为呢？

张亚勤：我认为可以，刚才讲了三个层次，信息安全是没有问题的，讲到可控性和可信度，我认为技术是可以解决的，到了风险的话，我们需要定义一些红线和边界，因为技术不断发展，有了边界之后我们是可以解决的，如果完全没有边界，只谈一些大的原则，谈一些具体方案是比较困难的。

本文来自散户吧WWW.SANHUBA.COM

张亚勤：我简短的评论一下，我们认为AI就是一个新的东西，一个新的工具，它要遵守现有的版权、专利、技术以及实践性的设计，这就是为什么我们让大家在系统中进行创新。接下来往下推理一下，因为我本身是一位教授，我在行业里从业多年，我可以用一种理论化的方式简化一些问题。我们讨论道德以及AI的价值，没有价值，对于AI道德来说是没有新的价值的，AI只是人的一个代理，AI的道德价值是人的道德价值，它只是一个代理，所以我们就谈到应用和治理之间的平衡。怎么样遵守相关的应用规则或者说法律要求，大家可以用这样的思维去考虑，有很多新的东西，但是有些东西已经有规则，我们可以从这个规则的角度去考虑。 本文来自散户吧WWW.SANHUBA.COM

本文来自散户吧WWW.SANHUBA.COM

(小编：财神)