球盟会(中国)体育平台-ios/安卓/手机版app下载

您好,欢迎进入球盟会环保精工设备有限公司官网!

全国咨询热线

020-88888888

球盟会官方网站端侧AI行业动态点评:产业链推进端侧AI应用 终端落地逐步启动

发布时间:2023-11-13 11:30浏览次数:

  球盟会首页球盟会首页近期,高通、联发科等芯片厂商发布支持端侧AI 大模型运行的芯片新品,高通推出骁龙8 Gen3 和PC 芯片骁龙X Elite;联发科推出天玑9300,支持130 亿参数模型端侧运行。

  软件厂商中,中科创达凭借其在终端、边缘计算领域的多年技术沉淀以及在大模型领域的创新探索,利用模型压缩、分布式以及张量并行技术,成功在搭载了高通8 系列芯片平台的边缘设备上实现了LLaMA-2 130亿参数模型的稳定运行。

  终端方面,第九届联想创新科技大会期间,联想集团董事长兼CEO 杨元庆在现场展示了联想首款AI PC、大模型压缩技术、人工智能双胞胎(AI Twin)等一系列人工智能创新科技成果;AI 手机侧,小米将AI 大模型植入系统,其小爱输入助手支持AI 创作文本,并支持AI 扩图、AI 妙画、AI 搜图等功能;vivo 发布了自研AI 大模型「蓝心BlueLM」,其中10 亿和70 亿参数模型支持终端侧部署。可穿戴AI 终端产品AI Pin发布,本款产品为独立设备和软件平台,内置Open AI 直接在设备和云中运行。

  国信通信观点:1)端侧AI 在减轻云端网络负担、高可靠性和低时延场景以及隐私和安全方面具有应用必要性,有助于推动大模型的全面应用。端侧AI 应用需要全产业链推动,包括芯片算力增强、模型优化、软件厂商适配以及终端厂商的落地应用。2)近期,从端侧AI 芯片,到中游模组、软件厂商,再到下游终端,产业链各环节正积极推动AI 在端侧部署落地,AI PC 等相关产品在2024 年有望开始迎来规模应用,AI Pin 的发布也反映了AGI 用云到端应用的长期趋势,端侧AI 应用逐步加速。

  投资建议:端侧AI 应用有望加速,建议关注算力模组与算力芯片等产业链环节,推荐关注【移远通信】、【广和通】、【瑞芯微】等。

  边缘AI 具有应用必要性,主要用于端侧推理。边缘AI 由于端侧设备天然的算力局限性等因素,较难用于模型训练,主要用于端侧模型推理应用。具体来说,边缘AI 有望在以下三类场景应用:

  (1)边缘智能有助于减轻网络负担球盟会官方网站。完全依赖云端处理多模态模型数据,对网络通信能力要求大幅提高,网络负担显著加剧,影响应用体验。并且完全依靠云端部署和应用AI 成本相对高昂,将部分AI 处理从云端卸载至端侧计算,尤其是利用已经部署的手机、PC 等终端设备,成本上将大幅节约,也有助于降低云厂商的能源消耗。

  (2)高可靠性与低时延优势。云端连接在访问拥挤时将产生高延迟,甚至会被拒绝服务,通过将计算负载迁移到边侧进行,可靠性和低时延优势将显现,在部分高安全性场景具有刚需,例如自动驾驶。

  (3)隐私和安全。AI 监管中,数据安全是重中之重。不同于访问云端的数据交互,端侧计算的数据具有更强的私密性和安全保障。

  高通骁龙新品大幅加强AI 性能。高通近期在2023 骁龙峰会上推出骁龙8 Gen3 和PC 芯片骁龙X Elite。

  (1)骁龙8 Gen3:据高通介绍,骁龙8 Gen3 AI 性能提升了98%,通过高通AI 引擎实现终端设备100 亿参数的模型运行,并且针对70 亿参数LLM 每秒能够生成20 个token。

  (2)骁龙X Elite:高通推出公司面向PC 的处理器骁龙X Elite,其AI 算力可达75 TOPS,其中,NPU支持45 TOPS 算力,支持在终端侧运行超过130 亿参数的生成式AI 模型,针对70 亿参数LLM 每秒能够生成30 个token。

  联发科发布天玑9300,集成第七代AI 处理器,内置生成式AI 引擎。天玑9300 集成联发科技第七代AI处理器APU 790。APU 790 内置生成式AI 引擎,与Transformer 模型适配进行算子加速,处理速度是天玑9200 的8 倍,可以实现1 秒内生成图片。天玑9300 支持在终端运行10 亿、70 亿、130 亿参数的AI 大模型。据联发科技官方称,天玑9300 成功运行了330 亿参数的AI 大模型。APU 790 还支持生成式AI 模型端侧“技能扩充”技术NeuroPilot Fusion,可以基于基础大模型持续在端侧进行低秩自适应(LoRA,Low-RankAdaptation)融合,扩展基础大模型的能力。

  Intel 近期也宣布启动AI PC 加速计划。Intel 计划于12 月24 日发布酷睿Ultra 处理器,率先推动其AI PC加速计划,预计将在2025 年前为超过1 亿台PC 带来人工智能(AI)特性。从硬件角度,Intel 将构建CPU、图形处理单元(GPU)和神经网络处理单元(NPU)组成的AI 加速架构,凭借Intel 首款集成NPU,该款芯片将支持AI 本地加速和推理。

  模组厂商方面,算力模组迭代,已有端侧大模型运行案例。2023 年7 月,美格智能基于高通QCS8550 芯片的算力模组SNM970 实现Stable Diffusion 的实机运行;移远通信也推出基于高通QCS8550 芯片的新一代高算力智能模组SG885G-WF。

  大模型端侧部署,软件侧优化至关重要。通过模型压缩技术,例如量化、剪枝、知识蒸馏等将一个大模型转化为一个精简的小模型,以及其他软件端的优化算法,是大模型在端侧能够实现运行的必要基础。例如高通年初在MWC 巴塞罗那演示了Stabe Diffusion 在手机上实现AI 绘图,其实现形式上,主要通过高通AI 软件栈(Qualcomm AI Stack)执行全栈AI 优化,并使用高通AI 模型增效工具包(AIMET)对模型进行量化,得以在8 Gen 2 平台上实现大模型部署。

  软件厂商方面,中科创达优化端侧大模型运行能力。近日,中科创达凭借其在终端、边缘计算领域的多年技术沉淀以及在大模型领域的创新探索,利用模型压缩、分布式以及张量并行技术,成功在搭载了高通8系列芯片平台的边缘设备上实现了LLaMA-2 130 亿参数模型的稳定运行。

  终端侧:AI PC 与AI 手机开始落地,AI Pin 彰显终端应用潜力终端方面,AI PC 和AI 手机等终端产品近期开始落地:

  (1)AI PC 方面,联想在近期推出首款AI PC。第九届联想创新科技大会期间,联想集团董事长兼CEO 杨元庆在现场展示了联想首款AI PC、大模型压缩技术、人工智能双胞胎(AI Twin)等一系列人工智能创新科技成果。其中,AI PC 能够创建个性化的本地知识库,通过模型压缩技术运行个人大模型,实现AI 自然交互。除了AI PC,联想集团还同步展示了面向未来的人工智能设备产品组合,包括AI 智能手机、AI 工作站、个人及企业级大模型等。杨元庆预计AI PC 将于明年9 月以后正式上市。

  AI PC 趋势有望带动消费者PC 市场加速复苏。AI PC 趋势目前已经获得从芯片、代工及终端品牌厂商的一致认可。前文提到Intel 推出AI PC 加速计划、高通推出PC 芯片,而AMD 此前已经推出了Ryzen 7040 系列CPU,内置Ryzen AI 引擎;ODM 和品牌方面,戴尔、惠普、华硕等品牌和仁宝、广达等ODM 厂商都对AIPC 寄予厚望,认为它将成为2024 年及以后PC 产业发展最重要的驱动力。

  受益于此,AIPC 有望加速PC 市场复苏。据群智咨询预测,伴随AI CPU 和Windows 12 的发布,明年将成为AI PC 规模性出货元年,预计该年度全球AI PC 整机出货量达到约1300 万台,总体渗透率有望在2026年突破50%,成为主流机型。

  (2)除PC 外,手机厂商开始推出具备本地大模型处理能力的手机产品,例如小米14。在小米澎湃OS 暨Xiaomi 14 系列新品发布会上,小米MIUI 负责人金凡介绍了全新的小米澎湃OS。据称,小米将AI 大模型植入系统,其小爱输入助手支持AI 创作文本,并支持AI 扩图、AI 妙画、AI 搜图等功能,相关应用基于本地运行。同时,金山办公官微还宣布,在此次的新品研发中,小米与WPS 达成深度合作,小米14 系列手机用户可通过小米社区下载搭载WPS AI 功能的专属版WPS。

  除小米外,vivo 于近期发布国内第二款端侧大模型AI 操作系统,并实现端侧百亿参数模型运行。11 月1日,vivo 在2023 开发者大会上正式发布了自研AI 大模型「蓝心BlueLM」和全平台自研操作系统「蓝河BlueOS」。蓝心大模型BlueLM 覆盖了十亿、百亿、千亿三个参数量级,全面覆盖了目前应用的核心场景,其中,10 亿量级模型是主要面向端侧场景打造的专业文本大模型,在手机上进行推理的速度可达64 字/秒,具备本地化的文本总结、摘要等能力。70 亿模型是面向手机打造的端云两用模型,具有优秀的语言理解、文本创作能力。同时,上述两个量级的模型支持高通和联发科(MTK)最新旗舰平台(即骁龙8Gen3 和天玑9300)的端侧化部署。

  AI Pin 发布,彰显AI 走入终端应用前景。美东时间11 月9 日,苹果前设计和工程团队高管创立的Humane公司发布AI Pin 可穿戴便携硬件。本款产品为独立设备和软件平台,内置Open AI 直接在设备和云中运行。Ai Pin 没有真实显示屏,相反,它有一个绿色激光投影仪可以将信息(比如时间、键盘、转弯指示、路线、温度等)投影到手掌以及其他物体表面,比如手套、桌子、门、墙面等,其交互方式为通过语音、触摸或者手势等形式。

  AI Pin 是AGI 在现实世界应用的一种方式,作为一种类“个人助理”的终端设备,为用户提供更加个性化服务,比如导航、文稿撰写、整理电子邮件、翻译、识别食物、提供营养参考等,且其具有长期记忆能力,能在与用户聊天和旅程过程中不断学习。

  售价方面,「Ai Pin」售价为699 美元,另外,用户每月需要支付24 美元的订阅费用,包括通信服务、手机数据、照片和视频云存储,以及AI 模型服务等。

  硬件维度,AI Pin 端侧提供模型加速能力。公司产品由高通Snapdragon 处理器提供支持,配备了摄像头、3D 摄像头和深度传感器等部件,用于识别手势,记录和跟踪用户周围的现实世界,提供(比手机)更加个性化体验。其硬件侧支持AI 加速能力,以提供更好的端侧AI 应用体验。

  1)端侧AI 在减轻云端网络负担、高可靠性和低时延场景以及隐私和安全方面具有应用必要性,有助于推动大模型的全面应用。端侧AI 应用需要全产业链推动,包括芯片算力增强、模型优化、软件厂商适配以及终端厂商的落地应用。2)近期,从端侧AI 芯片,到中游模组、软件厂商,再到下游终端,产业链各环节正积极推动AI 在端侧部署落地,AI PC 等相关产品在2024 年有望开始迎来规模应用,推动端侧AI 应用加速。

  端侧AI 应用有望加速球盟会官方网站,建议关注算力模组与算力芯片等产业链环节,推荐关注【移远通信】、【广和通】、【瑞芯微】等。

  【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

  【免责声明】本文仅代表第三方观点,不代表和讯网立场。投资者据此操作,风险请自担。

  纯碱期货供应扰动致涨幅超预期,青海部分碱厂将进一步减产,南华期货称产业供应即将恢复正常

  国海证券:煤炭行业资产质量高呈现五高特征证券时报网讯,国海证券研报指出,中长期来看球盟会官方网站,煤炭行业产能(包括基础设施等)天花板依然清晰可见,需求刚性增长,未来若干年煤价依然乐观,行业高水平的盈利持续性强。煤炭行业资产质量高,账上现金流充沛,呈现“高盈利、高现金流、高壁垒、高分红、高安全边际”等五高特征,把握煤炭板块价值属性。动力煤建议重点关注

020-88888888
网站地图