在AIGC(人工智能绘画生成)的浪潮中,每个人都有机会成为一位艺术家。然而,长期以来,AI一直与显卡,特别是Nvidia支持的CUDA显卡紧密相连。在Mac平台上运行AI应用通常需要一些额外的努力。但随着苹果软硬件的不断升级,现在在Mac/iPad/iPhone上使用Stable Diffusion变得越来越容易。在本文中,我们将介绍两种主要的方法来在苹果设备上使用Stable Diffusion。
Core ML Stable Diffusion:苹果的宠儿
苹果为Stable Diffusion推出了两种主要方法,它们都可以在CPU、GPU和NE等多种运行环境下运行:
Swift Core ML Diffusers
这是一个来自Huggingface的开源Demo,它使用苹果的工具将Stable Diffusion模型转化为CoreML格式,然后将其保存在Huggingface上。用户可以根据需要下载相应版本的CoreML模型来生成图像。
优势:开源,支持多种不同的运行条件,包括GPU、NE、GPU+NE等,同时也支持iOS版(需要自行编译),CoreML速度快。
缺陷:不支持直接导入本地模型,示例中模型数量相对较少,需要用户自行添加。
兼容性和功能:
- macOS Ventura 13.1
- iOS/iPadOS 16.2
- Xcode 14.2(需要自行构建)
在MacBook Pro M1 Max(64 GB内存)上,使用CPU + GPU运行,Stable Diffusion v2-base模型在macOS上仅需约8秒。在iPhone 13 Pro上,使用CPU + Neural Engine,Stable Diffusion v2-base模型需要23到30秒。
Mochi Diffusion
这是一个由网友制作的开源Demo,它使用苹果的Swift调用CoreML,允许用户自行下载CoreML格式的模型并将其放入指定文件夹以运行,也可以下载Stable Diffusion并使用苹果的工具将其转换后再导入。
优势:开源,支持多种不同的运行条件,包括GPU、NE、GPU+NE等,同时支持直接导入本地模型,CoreML速度快。
缺陷:不支持iOS版。
兼容性:
- 搭载Apple芯片的Mac
- macOS Ventura 13.1
- Xcode 14.2(需要自行构建)
MPSGraph派:基于Maple Diffusion的选择
Waifu Art AI
这个应用搭载了Aniplus V1模型,这是一个基于Stable Diffusion 1.5 + Waifu Diffusion 1.3 + TrinArt Characters v1的二次元绘画风格模型。作者还添加了画风选择和中文输入翻译系统。
优势:支持Mac/iPad/iPhone,界面提供中文界面。
缺陷:不开源,模型选择有限,参数相对较少。
兼容性:
- macOS 12.3
- iOS/iPadOS 16.0,需要6 GB内存以上的设备,如iPad M1/M2、iPhone 13 Pro、iPhone 14或iPhone 14 Pro。
Draw Things
这款应用几乎是最强大的Stable Diffusion使用工具之一,备受推崇。作者形容制作过程为”Stretch iPhone to its Limit”,其2GiB模型可以绘制几乎任何东西。
优势:支持Mac/iPad/iPhone,提供多种参数和模型选择,iPhone上只需2GB内存。
缺陷:不开源,导出的模型与其他工具不兼容,速度稍慢于苹果的CoreML。
兼容性:
- macOS 12.4
- iOS/iPadOS 15.4,需要A12芯片和2GB以上内存的设备。
总结
有了以上四个选择,每个人都可以在自己的Mac/iPad/iPhone上愉快地使用Stable Diffusion。然而,需要注意的是,这些工具有不同的兼容性要求:
- 对于iPhone和iPad,通常需要A12芯片或更高,以及4GB甚至6GB以上的内存,并且对iOS/iPadOS版本也有特定要求。
- 对于Mac,主要取决于硬件和系统版本,M1/M2系列芯片效果最佳,但有些模型对Intel芯片有潜在的约束。
此外,这些工具通常在首次运行时加载较慢,因为首次出图速度特别慢,但随后会加快。现在,您可以随心所欲地在苹果设备上尽情享受Stable Diffusion的乐趣了。
声明:本文来自Stable Diffusion教程攻略投稿,不代表微浪网立场,版权归原作者所有,欢迎分享本文,转载请保留出处!