高通和智谱基于骁龙8至尊版移动平台合作适配优化GLM 高通智能芯片
● 高通和智谱合作将GLM-4V端侧视觉大模型,面给骁龙8至尊版进行深度适配和推理优化,支持丰盛的多模态交互方法。
● 利用骁龙8至尊版的强大终端侧AI性能和高通AI软件栈为模型带来的性能优化,GLM-4V端侧视觉大模型能够以超过70 tokens/秒的速度在终端侧高速运行。
● GLM-4V-Mini、GLM-4V-Nano端侧视觉大模型和GLM-4-9B模型马上在高通AI Hub上线,搭载骁龙8至尊版的商用手机均可支持。
骁龙峰会首日,智谱和高通技术企业公布合作将GLM-4V端侧视觉大模型,面给骁龙8至尊版进行深度适配和推理优化,支持丰盛的多模态交互方法,进一步推动多模态生成式AI在终端侧的部署和推广,赋能更加情境化、特点化的终端侧智能尝试。
骁龙8至尊版移动平台搭载最新第二代高通Oryon CPU和高通Hexagon™ NPU,终端侧AI能力再次实现突破,能够赋能规模更大且更加复杂的多模态生成式AI用例在终端侧高效运行。充分利用骁龙8至尊版的强大终端侧AI性能和高通AI软件栈为模型带来的性能优化,GLM-4V端侧视觉大模型能够实现令人惊叹的处理能力,以超过70 tokens/秒的速度在终端侧高速运行。
改善情境化和定制化一直是用户尝试的长期需求。多模态生成式AI模型能够利用终端侧丰盛的传感器数据,例如文本、图像、音频、视频等,打造更加直观、无缝的智能交互尝试。通过和骁龙8至尊版进行深度适配和推理优化,终端侧多模态应用ChatGLM能够支持三种终端侧交互方法:运用相机进行实时语音对话、上传照片进行对话、上传视频进行对话。丰盛的多模态输入输出方法赋能智能助手ChatGLM实现了跨家庭、出行、职业和教学等多个场景的应用,例如通过手机摄像头获取穿搭提议,利用视觉信息实现智能导航,通过车内摄像头识别遗留物品,拍摄画作进行风格解析等。
高通技术企业顶级副总裁兼技术规划和边缘化解方法业务总经理马德嘉表示:高通和智谱共同致力于推动生成式AI在边缘终端上的应用和普及,并已经在手机、PC、汽车等领域展开了紧密合作。结合高通在终端侧AI领域的长期领导力,跨不同边缘终端的广泛市场布局,以及骁龙8至尊版的AI创造,大家在推动终端侧生成式AI进步方面独具优势。多模态是发挥终端生成式AI潜力的重要技术进步路线,大家期待携手智谱,寻觅多模态在终端侧AI应用上的更多也许。
智谱COO张帆表示:骁龙8至尊版移动平台提供了卓越的AI算力,结合高通AI软件栈推理框架的性能优化,使得智谱的终端侧大模型可以在设备端实现高速推理。大家相信,终端侧算力平台的性能跃迁结合大模型能力的提高,会将生成式AI带入新的时代。终端侧运行的生成式AI,在为用户提供变革性尝试的同时,能更好地保护用户隐私安全,真正让AI变革用户的日常生活。
GLM-4V-Mini、GLM-4V-Nano端侧视觉大模型和GLM-4-9B模型马上在高通AI Hub上线,搭载骁龙8至尊版的商用手机均可支持。
骁龙峰会将展示基于GLM-4V端侧视觉大模型的用例,敬请期待。
(来源:高通中国)