Stable Diffusion手机版 原理分析

谷歌最新研究中，研究人员成功地在三星手机上运行了Stable Diffusion 1.4，并实现了令人惊叹的12秒生成图像的速度。这项研究通过对GPU进行分层优化，大幅减少了内存使用量。这一突破意味着将来一部手机就能够装下一个生成式AI模型。

过去，将大型扩散模型合并到移动设备上一直是一个挑战，由于计算和内存资源的限制，导致输出内容的延迟增加。之前也有研究成功将Stable Diffusion部署到设备上，但仅限于特定的设备或芯片组。而这项谷歌的研究提供了一系列的优化方案，使得大型扩散模型能够在配备GPU的移动设备上实现迄今为止最快的推理延迟。

具体来说，研究人员对Stable Diffusion的各个组件进行了优化，包括文本嵌入器、噪声生成器、去噪神经网络和图像解码器。他们还使用了GPU感知优化和群组归一化等技术来提高模型的性能。此外，研究人员还提出了一种优化方案，通过在一个GPU命令中执行所有操作，无需中间流程，进一步提高了模型的效率。

为了评估改进后的模型，研究人员在三星S23 Ultra和iPhone 14 Pro Max上进行了基准测试。结果显示，在启用了所有优化的情况下，模型的推理延迟分别降低了52.2%和32.9%。此外，研究人员还评估了在三星S23 Ultra上进行文本到图像输出的端到端延迟，结果显示不到12秒就能生成一张512×512的图像，创下了业界领先的记录。

这项研究的突破意味着在没有数据连接或云服务器的情况下，用户可以在手机上本地运行生成式人工智能模型，为移动设备上的AI应用开辟了更多的可能性。谷歌的最新研究为将大型扩散模型部署到移动设备上提供了全新的解决方案。