● 高通和企鹅混元展开合作，基于骁龙8至尊版移动平台实现企鹅混元大模型7B和3B版本的终端侧部署，进一步扩展生成式AI技术在终端侧的应用和普及。

● 借助骁龙8至尊版的强大终端侧AI性能和高通AI软件栈，企鹅混元大模型能够实现出色的终端侧运行表现，为企鹅的广泛业务场景和应用提供底层端侧AI支持。

骁龙峰会期间，高通技术企业公布和企鹅混元合作，基于骁龙8至尊版移动平台，共同推动了企鹅混元大模型7B和3B版本的终端侧部署，展示了此合作实现出色的运行表现。这将有助于企鹅混元大模型为广泛的业务场景提供技术支持，通过利用终端侧AI加速产品创造，有效降低运营成本，并进一步扩展生成式AI在终端侧的应用和普及。

骁龙8至尊版移动平台搭载最新的第二代定制高通Oryon CPU和增强的高通Hexagon™NPU，充分利用高通AI引擎优势，能够带来更强大的终端侧生成式AI处理能力。骁龙8至尊版的强大AI算力，结合高通AI软件栈以及行业领先的工具套件，包括高通AI模型增效工具包(AIMET)等，为模型提供了全栈优化能力。通过运用基于硬件的INT4量化技术，可以大幅提高企鹅混元大模型在终端侧的运行效率，端侧推理实现首个token生成时延达到150ms，解码速率达到超过30 tokens/秒。

企鹅混元大模型已为企鹅内部超过700个业务场景和C端应用提供底层技术支持，包括微信输入法、企鹅手机管家、QQ、企鹅视频、QQ浏览器、企业微信、企鹅会议等，通过实现面给骁龙8至尊版的终端侧部署，能够利用终端侧生成式AI的丰盛优势，更好地满足广泛的终端侧业务需求。例如，企鹅手机管家短信智能识别功能率先利用企鹅混元的终端侧模型能力，通过海量数据结合深度神经网络和预训练，让模型具备极强的语义领会能力，通过结合上下文语境信息更准确地领会短信意图，使短信召回率大幅进步将近200%，识别准确率提高20%。由于部分短信涉及用户个人敏感信息，端侧AI还可以在保证出色性能表现的同时，有效保护用户的个人信息隐私安全。

高通技术企业顶级副总裁兼技术规划和边缘化解方法业务总经理马德嘉表示：高通和企鹅混元大模型团队长期携手推动前沿终端侧技术创造在移动应用中的部署和推广，为广大用户和消费者打造创造的应用尝试。高通企业致力于赋能广大ISV合作伙伴和开发者，利用高通强大的异构计算、行业领先的CPU、GPU、NPU和软件化解方法，在搭载骁龙平台的终端上推动生成式AI应用的普及，惠及全球更多用户。

企鹅机器进修平台部总经理，企鹅混元大模型负责人王迪表示：企鹅混元已经构建起了全链路的大模型矩阵和应用平台。同时，企鹅混元不断完善部署生态。在云服务场景，大家通过多种技术在提高效果的同时调用价格持续降低。在智能终端场景，企鹅和高通持续深入合作，赋能不同业务对端侧模型的部署需求，并在企鹅丰盛的生态中持续迭代能力，让更多的B端和C端用户获取实用大模型的非凡尝试。

（来源：高通中国）