随着Chat GPT近半年的关注度爆发,大家对于AI的应用有更多的想法和期待。而除了目前讨论广泛的服务器或者企业端应用外,未来如何将AI更深度结合到手机、汽车、个人电脑和物联网终端上,也成为行业和用户新的焦点。

6月16日,高通技术公司正式发布了白皮书《混合AI是AI的未来》,深入阐述混合AI架构的领先优势,终端侧AI将如何赋能生成式AI实现规模化扩展,以及高通如何凭借终端侧AI领导力、全球化规模和生态系统赋能,让混合AI成为现实。本文将先为大家带来高通关于混合AI的技术和想法

混合AI的优势

目前的AI运算主要分为终端侧和云端两种,前者对终端的AI性能要求高,后者对网络的要求高,且成本也较高,目前主要用于企业或者专业领域。混合AI指终端和云端协同工作,在适当的场景和时间下分配AI计算的工作负载,以提供更好的体验,并高效利用资源。在一些场景下,计算将主要以终端为中心,在必要时向云端分流任务。而在以云为中心的场景下,终端将根据自身能力,在可能的情况下从云端分担一些AI工作负载。

而高通的混合AI将支持生成式AI应用开发者和提供商利用边缘侧终端的计算能力降低成本。混合AI架构或仅在终端侧运行AI,能够在全球范围带来高性能、个性化、隐私和安全等优势。混合AI架构可以根据模型和查询需求的复杂度等因素,选择不同方式在云端和终端侧之间分配处理负载。

在以终端为中心的混合AI架构中,云端仅用于处理终端侧无法充分运行的AI任务

随着强大的生成式AI模型不断缩小,以及终端侧处理能力的持续提升,混合AI的潜力将会进一步增长。参数超过10亿的AI模型已经能够在手机上运行,且性能和精度达到与云端相似的水平。不久的将来,拥有100亿或更高参数的模型将能够在终端上运行。混合AI策略适用于几乎所有生成式AI应用和终端领域,对推动生成式AI规模化扩展,满足全球企业与消费者需求至关重要。

混合 AI 方式适用于几乎所有生成式 AI 应用和终端领域,包括手机、笔记本电脑、XR 头显、汽车 和物联网。这一方式对推动生成式 AI 规模化扩展,满足全球企业与消费者需求至关重要。

高通为何发力混合AI

基于基础模型的生成式AI迅速兴起,正在驱动新一轮内容生成、搜索和生产力相关用例的发展, 覆盖包括智能手机、笔记本电脑和 PC、汽车、XR 以及物联网等终端品类。混合AI架构将赋能 生成式AI在上述这些终端领域提供全新的增强用户体验。

众所周知,高通是目前手机、汽车、XR头显与眼镜、PC和物联网的参与者与领导者之一,并且其终端侧AI技术之前已经应用在多个不同领域,再加上高通在无线连接技术上的领先,与众多行业的参与者、用户有着紧密的联系,因此,高通对推动混合AI规模化扩展独具优势。

搭载骁龙平台的终端能够推动混合AI扩展至跨不同细分领域和层级的数十亿产品

高通的AI引擎和软件栈为加速终端侧AI推理提供了解决方案,并具备行业领先的性能和能效优势。凭借一系列基础研究,以及跨AI应用、模型、硬件与软件的全栈终端侧AI优化,我们的持续创新让公司始终处于终端侧AI解决方案的最前沿。

高通的全栈AI

编辑点评:AI发展的最终目标必然是为更多用户提供不同的服务,因此无论是技术开发、使用难度还是成本方面的门槛都要进一步下降。我们目前还无法评估高通混合AI在实际应用中能带来多大影响,但所有新技术的普及都要依赖于不同参与者的努力,未来才可能成为我们生活中的触手可及的体验。

举报/反馈

太平洋科技

155万获赞 58.7万粉丝
深度剖析未来趋势,实用解答科技疑惑,趣味呈现科技魅力!
广东太平洋互联网信息服务有限公司官方账号,优质数码领域创作者
关注
0
0
收藏
分享