首页>>科技 >>内容

高通和微软在Microsoft,Build开发者大会上携手推动终端侧AI规模化扩展

发布时间:2023-10-01 22:20:10编辑:温柔的背包来源:

高通和微软在Microsoft,Build开发者大会上携手推动终端侧AI规模化扩展

很多朋友对高通和微软在Microsoft,Build开发者大会上携手推动终端侧AI规模化扩展不是很了解,每日小编刚好整理了这方面的知识,今天就来带大家一探究竟。

要点终端侧生成式AI解决方案将查询和推理转移到PC和手机等边缘终端,使开发者和云服务提供商能够创建更经济可靠、隐私性更高的生成式AI。高通和微软已确认达成合作关系,将大规模扩展面向消费者和企业终端以及工业设备的AI能力,为用户带来业界领先的AI体验。

在微软Build 2023开发者大会期间,高通科技展示了其最新的终端侧人工智能创新,包括在骁龙计算平台上运行生成式人工智能,以及开发人员在带有骁龙平台的Windows 11 PC上创建应用的新路径。高通技术公司产品管理高级副总裁Ziad Asghar在一台装有骁龙计算平台的Windows笔记本电脑上运行稳定扩散,他说:

为了让生成式AI真正被更多人接受和使用,需要在边缘终端上处理大量的推理工作。我们拥有业界领先的AI硬件和软件,可以让开发者充分利用我们强大的AI能力,在配备骁龙平台的笔记本电脑、手机和其他终端上创造令人惊叹的新用户体验。

AI的未来,既需要终端AI,也需要云端AI。在终端侧运行AI应用程序可以提高成本效益,增强隐私性、个性化并减少延迟。相比只在CPU或GPU上处理AI工作负载,骁龙平台集成了专用的高通AI引擎,可以更高效地处理AI工作负载,让小而轻的设备也可以支持终端侧AI。

在微软Build期间,高通科技将带来技术演示和工具,可以支持在下一代Windows 11 PC上开发生成式人工智能。作为一个从文本生成图像的生成式AI模型,稳定扩散拥有超过10亿个参数,现在已经可以完全在终端侧运行。高通技术公司表示,未来几个月,包括大型语言模型(LLM)在内的参数高达100亿的模型将有望在终端侧运行。

为了增强高通AI软件栈,帮助开发者打造下一代终端侧AI体验,高通AI engine Direct SDK将在微软Build上首次向公众推出。在ONNX Runtime和高通AI软件栈的帮助下,用户现在可以在使用5G版Surface Pro 9和联想ThinkPad x13s时,在第三代骁龙8cx平台上使用AI引擎运行AI工作负载。

微软Windows芯片和系统集成公司副总裁Pavan Davuluri表示:为了在广泛的终端和应用中扩展AI,云和终端侧处理不可或缺。通过将微软在云人工智能方面的领先优势和Windows平台的能力与高通的终端侧人工智能专业知识相结合,我们将加速创造人工智能体验带来的发展机遇。

AI加速在终端侧的重要性——超分辨率和图像增强技术高通科技还将在大会期间展示骁龙平台热门应用原生编译带来的显著性能提升,并推出全新的开发者门户网站,以便集中获取骁龙发展所需的关键工具、资源和支持。回顾唐子红

以上知识分享希望能够帮助到大家!