张宏江对话 Sam Altman：AGI 或许10年后到来，但现在就要为迎接它做准备

　　在Sam Altman发布了主题演讲之后，智源人工智能研究院理事长、院士张宏江与其进行了20分钟的对话。张宏江代表观众、以及一线研究员、科学家问了很多不同角度的问题。 本文来自散户吧WWW.SANHUBA.COM

　　围绕AI对齐和安全这一复杂议题，Altman表示，需要考虑非技术因素，但关键是需要一个安全的技术方案作为解法；Altman也分享了迄今为止在世界环游中的收获，并强调对于AI安全而言，建立统一公平的框架和测试标准，让每个达到一定能力的 AI 模型都接受测试十分重要；回应人们对Open AI本身的好奇，Altman表示虽然他们在计划GPT-5，但是不知何时会到来。

本文来自散户吧WWW.SANHUBA.COM

　　至于驱动Open AI诞生和取得突破的因素，Altman将其归于「使命感」——这会促使人拥有源源不断的精力，想各种办法应对挑战。这与上周在以色列一所大学的交流中，首席科学家Ilya所表达的「你对这个信仰越多，你就能取得越大的进展」不谋而合。 本文来自散户吧WWW.SANHUBA.COM

　　以下是经极客公园编辑的对谈实录： 本文来自散户吧WWW.SANHUBA.COM

　　精彩摘要： 本文来自散户吧WWW.SANHUBA.COM

　　在 10 年内，我们应该准备好迎接一个具有非常强大系统的世界。 本文来自散户吧WWW.SANHUBA.COM

　　很难预测技术可能会犯的错误，因此要从现实世界对技术的使用以及反馈中学习，更新和优化 本文来自散户吧WWW.SANHUBA.COM

　　在世界巡游中，推动一起制定关于安全开发 AI 的国际标准，具体涉及：模型部署前如何测试；建立反映全球价值观和偏好的数据库；如何分享 AI 安全研究。

本文来自散户吧WWW.SANHUBA.COM

　　Open AI 已经改变了非常多最初的 Transformers 的架构。如果有新的架构取得突破，不会令人意外。

本文来自散户吧WWW.SANHUBA.COM

本文来自散户吧WWW.SANHUBA.COM

　　对于安全问题，如果没有一个技术的解决方案，任何方面的事情都将非常困难。

本文来自散户吧WWW.SANHUBA.COM

　　一定程度上开源有益于安全，但 API 模式也有重要作用，它提供了额外的安全控制能力。 本文来自散户吧WWW.SANHUBA.COM

本文来自散户吧WWW.SANHUBA.COM

　　Open AI 相信，AGI 将是人类社会迄今所建造的最具变革性的东西。

　　01

　　AGI 或许 10 年后到来，

本文来自散户吧WWW.SANHUBA.COM

　　但现在就要为迎接它做准备

本文来自散户吧WWW.SANHUBA.COM

　　张宏江：嘿，Sam，很高兴再次见到你。虽然这次是在 Zoom 会议上。你上次来这里好像是六年前，在一个会议上（Sam：2018 年）。我们准备了大量的问题。但我们先从一个接近你演讲主题的问题开始：你在一开始就提到了 AGI 的承诺。我们离 AGI 还有多远？包括安全的 AGI 和潜在不安全的 AGI。 本文来自散户吧WWW.SANHUBA.COM

　　Sam ：很难预测准确的时间。但我认为很有可能在未来 10 年，我们会有非常强大的 AI 系统。在这样的世界里，解决好 AI 的安全问题是非常重要和紧迫的。这就是为什么我呼吁国际社会现在就要在这方面一起努力。 本文来自散户吧WWW.SANHUBA.COM

　　历史无疑为我们提供了许多新技术从根本上改变世界的例子，其速度比许多人想象的要快。而我们现在看到的加速，以及这些系统的影响，在某种意义上，是前所未有的。因此，为它很快发生做好准备，并在考虑到利害关系和规模的情况下，正确处理安全问题，似乎相当重要。

　　张宏江：所以你确实有一种紧迫感，你还提到了也许十年后，AGI 会有一个突破。

本文来自散户吧WWW.SANHUBA.COM

　　Sam：是的。我想强调的是，我们并不真正知道（AGI 什么时候来）。而且对 AGI 的定义也是不同的。我认为在10 年内，我们应该准备好迎接一个具有非常强大系统的世界。

　　张宏江：你在演讲中，也提到过几次全球合作。我们知道，在过去的六、七十年里，世界面临过许多次危机，很多人设法建立共识，建立全球合作。你现在也在全球旅行，你正在试图推动的全球合作具体什么样的？你对迄今为止得到的回应有何感想？ 本文来自散户吧WWW.SANHUBA.COM

　　Sam：我对目前为止的反应非常满意。我认为人们在非常认真地对待 AGI 的风险和机会。过去六个月里，相关讨论有了很大的进展。人们似乎真的致力于找出一个结构，使我们能够享受这些好处，同时在全球范围内共同努力，以减少风险。我认为我们在这方面处于非常有利的地位，全球合作总是困难的，但我认为 AGI 就是那种能够将世界聚集在一起的威胁和机遇，我们可以共同为这些系统提出一个框架和安全标准，这将是相当有帮助的。

　　张宏江：当我们处理这个潜在风险时，有哪些我们曾经成功处理过的大挑战，可以作为参考的例子吗？

本文来自散户吧WWW.SANHUBA.COM

　　Sam：我们已经在全球范围根除了一些非常严重的疾病。这需要大量的合作。我们已经处理了会导致问题的化学品，例如在臭氧层的问题上。有许多例子表明，我们（可以）一起处理一件事。

本文来自散户吧WWW.SANHUBA.COM

(小编：财神)