美格智能实现在高算力AI模组上运行大模型Stable Diffusion

近日，美格智能高算力AI模组产品团队，发挥软硬件一体协同开发能力，在基于高通骁龙800平台的自研算力模组上，成功运行文生图大模型Stable Diffusion。

Stable Diffusion是基于文本到图像的生成式AI大模型，能够基于任何文本输入，在数十秒内创作出逼真图像。其参数超过10亿，迄今为止主要限于在云端运行。

运行Stable Diffusion大模型的高算力模组，在硬件上选用了高通骁龙800系列的高算力SoC处理器，在软件上使用了高通AI模型增效工具包(AIMET)实现模型转换，在无需重新训练的情况下，克服了模型参数从FP32压缩到INT8所产生的精度损失，从而让大模型在算力模组上始终保持高效运行。

美格智能研发团队在硬件和软件层面的进一步优化，保证大模型运行精度的同时，有效降低了内存带宽消耗，充分发挥了高算力模组AI硬件的最大效能，最终顺利在算力模组端侧跑通了Stable Diffusion大模型。