高通公司出席ChinaJoy AIGC大会，展望终端侧生成式

　　2024年7月26日，中国国际数字娱乐产业大会(CDEC)旗下ChinaJoy AIGC大会于ChinaJoy期间在上海举行。大会从技术、应用等全生态角度共同探讨了AIGC技术下的内容产业新业态和未来发展趋势，聚焦AIGC如何助力产业升级、如何提升AIGC场景应用、如何促进人机融合等。

　　高通技术公司副总裁兼产品、合作伙伴和技术市场全球负责人 Mike Roberts 在大会上发表了主题演讲。他指出，终端侧生成式AI已经到来，高通公司作为终端侧AI的领导者，在AI领域有着超过15年的投入，借助强大的硬件和软件支持组合、异构计算优势、以及全球范围内的领先边缘侧布局，高通的产品和技术已支持出货超过25亿台AI赋能终端，赋能广泛的行业领域和生成式AI体验，正在推动实现“让智能计算无处不在”。

　　以下为演讲全文：

　　大家好，很高兴第四次参加ChinaJoy。我很荣幸代表高通，与大家分享我们正在如何助力让智能计算无处不在。作为终端侧AI的领导者，高通在人工智能领域有着超过15年的投入，拥有行业领先硬件和软件解决方案覆盖广泛边缘终端，并且拥有跨NPU、CPU和GPU的卓越异构计算能力、领先的软件优化、以及能效。此外，我们还在全球范围内拥有无与伦比的边缘侧布局和高达数十亿的用户设备数量，覆盖智能手机、PC、汽车、XR、边缘网络设备等等。同时，我们也与微软、谷歌、百川、腾讯、字节跳动等众多生态合作伙伴共同推动AI技术的创新和应用。

　　生成式AI不仅是不可或缺的个人助手，也在众多领域展现出了巨大的商业价值。预计每年可带来2.6万亿到4.4万亿美元的经济效益，大约相当于2023年上海GDP的5倍。然而，推动生成式AI的规模化发展面临诸多挑战。以成本为例，基于生成式AI的搜索单次推理成本是传统网络搜索的约10倍。目前，我们还处于生成式AI应用的早期阶段，新的应用不断涌现，包括图像和视频创作、文本摘要、对话聊天机器人等。再考虑到未来需要使用AI推理的数十亿用户数，这个总体需求量就会非常惊人。预计2024年至2028年，生成式AI相关的token生成量将增长150 倍，云端的推理需求将超过训练需求。如果还保持当前的AI处理方式，到2030年AI可能会消耗全球3.5%的电力，这足以为上海这样的大城市供电约35年。

　　那么我们应如何应对这一挑战?为了实现规模化扩展，AI处理的重心正在向边缘侧转移，最终目标是实现混合AI，让云端和边缘侧终端能够协同处理工作负载，并使用高性能连接来实现更加强大、高效、优化的AI。如果将 20% 的生成式 AI 工作负载转移到终端侧，预计到 2028 年将节省 160 亿美元的计算资源成本。

　　让我们分别看看终端侧和云端的AI处理。终端侧主要支持100亿参数级别的大模型。终端侧AI处理具备众多优势，不仅能够提高性能和效率，还能确保隐私和安全性，同时提供即时性、低时延、高可靠性和个性化的用户体验。另一方面，中心云能够支持运行参数超过千亿级别的超大模型。在中心云上，用户可以轻松地对模型进行开发、部署和训练，实现资源聚合和极致性能。