高通徐晧：5G与AI相结合，赋能打造更加智能和现代化的工业环境

　　7月4日，2024世界人工智能暨人工智能全球治理高级别正式开幕。高通公司中国区研发负责人徐晧“AI赋工业，数智启未来”人工智能赋能新型工业化主题论坛并发表主题演讲，探讨AI如何为工业生产注入智能化的基因，实现高质量发展，推动人工智能技术在工业领域应用。 本文来自散户吧WWW.SANHUBA.COM

　　徐晧表示，异构计算、量化压缩等技术手段能帮助云端大模型落地终端，从而赋能广泛的工业应用。5G与AI相结合，将助力打造更加智能的工业环境。以工业场景中的机器人用例为例，现在的机器人主要利用计算机视觉或者深度学完成理解和功能执行。随着生成式AI突破性的发展，未来机器人能够理解我们提出的要求，加上机器人学科实现的出色定位、导航和机械臂控制，可以打造非常智能的应用。结合5G与AI，机器人能够实现网络连接，赋能运维和质检等生产环节，打造更加智能和现代化的工业环境。 本文来自散户吧WWW.SANHUBA.COM

　　以下为演讲全文：

本文来自散户吧WWW.SANHUBA.COM

　　大家好。刚才的嘉宾分享了行业应用，我想分享一下更底层的算法设计，以及我们如何从终端侧把AI普及到人们的日常生活中。今天论坛的主题是人工智能赋能新型工业化，因此最后我会分享一些工业应用上的AI用例。

本文来自散户吧WWW.SANHUBA.COM

　　生成式AI的能力在不断增强，主要体现在以下方面： 本文来自散户吧WWW.SANHUBA.COM

　　● 语音UI，我们有更多更智能的语音支持，带来自然直观交互； 本文来自散户吧WWW.SANHUBA.COM

　　● 多模态大模型，除了早期与ChatGPT进行的文字对话，现在我们看到了更多的视频/图像处理，以及图像/文字的共同处理； 本文来自散户吧WWW.SANHUBA.COM

　　● 在视频和3D方面，我们有更多的沉浸式体验；

本文来自散户吧WWW.SANHUBA.COM

　　● 更长的上下文窗口，现在有越来越长的文章甚至于一整本书，都可以用AI处理一次性总结出来；

本文来自散户吧WWW.SANHUBA.COM

　　● 个性化，终端侧的AI应用可以带来更加个性化的内容处理；

本文来自散户吧WWW.SANHUBA.COM

　　● 智能体，人们可以根据自己的喜好来打造个人AI智能体；

　　● 最后，现在可以看到越来越多由AI增强的高清晰度图像和视频。

本文来自散户吧WWW.SANHUBA.COM

　　此前，我们带来了全球首个运行在Android手机上的Stable Diffusion终端侧演示，最近，我们还实现了全球首个在Android手机上运行的多模态大模型（LMM）演示。比如用户可以给冰箱里的食材拍一张照片，然后问大语言模型“你看到了什么？”，AI可以很快地识别所有物体。然后用户可以接着问“基于这些食材，请给我一个菜谱”，AI就可以把菜谱展示出来。这比最开始我们仅仅能问AI“今天天气怎么样”或者“给我讲一个笑话”要好很多。这个是我们在手机端或者用户端，看到大语言模型以及多模态模型能够支持的更多用例。 本文来自散户吧WWW.SANHUBA.COM

　　从技术上来说，哪些是我们把大语言模型应用落地到端侧必须实现的技术？首先，很多最基本的大语言模型都是10亿甚至30亿以上的参数规模，这种规模的模型想要在手机上应用其实具有一定挑战。所以，我们需要把云端的大模型算法，通过最简单、最有效且最节能地方式在手机和其他智能终端上。如果我们的手机能够做一些最基本的生成式AI运算支持，这要比把所有的照片和视频都传到云端运算再传回来更高效、更安全。 本文来自散户吧WWW.SANHUBA.COM

　　正如当年的云计算与在手机和电脑上计算类似，现在的大语言模型能够在云端运行，今后我们希望同样的模型能够在手机、个人电脑、机器人、汽车上运行。通过量化和压缩、推测性解码、知识提炼、高效的图像和视频架构以及异构计算这5个重要的技术手段，能够帮助把云端的大模型，包括Llama、ChatGPT以及国内一系列大模型落地到终端，赋能包括工业应用、手机/平板电脑应用等等。

　　举几个简单的例子。首先是量化，量化对于能耗、运算和存储都有很大影响，比如把32位浮点变成16位定点，看起来只是减少了两倍，但实际上，存储数据时占用的内存更少、传输数据量也更少、无论是加法还是乘法的运算量也更少，所以仅仅是从32位变成16位，就会带来4倍的能耗减少。从32位到8位，能带来16倍的能耗减少；从32位到4位，能带来64倍的能耗减少。这也是为什么所有的人工智能算法公司都在想把浮点变成定点，因为这会让运算的存储和数据的传输更简洁。 本文来自散户吧WWW.SANHUBA.COM

　　对于每一个类似的技术方向，我们都在积极努力尝试。比如，你可以先训练再量化；或者在训练的时候直接考虑量化的影响。 本文来自散户吧WWW.SANHUBA.COM

　　接下来是知识提炼。我们可以将其看成“教师”和“学生”的关系。比如可以将一个大模型想象成一个非常厉害的教授或者院士，但是往往在你的手机上，只需要一个小学生模型就能处理事情。比如我们只问它“冰箱里有多少菜”，小学生就能回答这个问题。如果大多数问题都在这个级别，你的手机只需一个“小学生模型”即可。知识提炼即可以通过对“教师模型”的学，将其改为一个“小学生模型”，这个模型在手机端很容易运行。 本文来自散户吧WWW.SANHUBA.COM

(小编：财神)