火热的 Stable Diffusion

AIGC 的浪潮席卷全球，人人都是艺术家的年代来临了。但是，一直以来，AI 都和显卡，尤其是 Nvidia 支撑 CUDA 的显卡密不行分，想在 Mac 平台上练习与运用 AI，都要费一番功夫。

不过，跟着苹果软件硬件的更新，Mac/iPad/iPhone 上玩 Stable Diffusion 也逐渐成为可能。首要有两种方法：

  • Core ML Stable Diffusion：苹果专门为 Stable Diffusion 推出的东西，作用有两个：一是将模型转化为 CoreML 格式，二是以 Swift 代码调用 CoreML 模型实现图画生成。能够支撑 CPU、GPU 和 NE 等多种运转方法。
  • Maple Diffusion：网友制造转化东西，将 .ckpt （PyTorch model checkpoint）文件转化为 MPSGraph，能够经过苹果 MPS（Metal Performance Shaders）在 GPU 上运转核算和推理。

Mac/iPad/iPhone 也想在本地玩 Stable Diffusion ？我一口气给你推荐 4 款免费软件
下面我们来仔细说说，这两个派别的代表性 App。

CoreML 派：依据苹果 Core ML Stable Diffusion

一、Swift Core ML Diffusers

开源代码地址
Mac App Store 直接下载

这是来自 Huggingface 的开源 Demo，它使用苹果的转化东西，将 Stable Diffusion 转化为 CoreML 格式，保存在 Huggingface 上，运用时下载对应版别的 CoreML 模型来生成图画。

优势：开源，支撑 GPU、NE、GPU+NE 等不同运转条件，支撑 iOS 版（需自行编译），CoreML 速度快
缺陷：不支撑本地模型直接导入，示例中模型较少需自己添加

兼容性和功能

macOS Ventura 13.1
iOS/iPadOS 16.2
Xcode 14.2（自行构建）

~8s in macOS on MacBook Pro M1 Max (64 GB). Model: Stable Diffusion v2-base, ORIGINAL attention implementation, running on CPU + GPU. 23 ~ 30s on iPhone 13 Pro. Model: Stable Diffusion v2-base, SPLIT_EINSUM attention, CPU + Neural Engine, memory reduction enabled.

Mac/iPad/iPhone 也想在本地玩 Stable Diffusion ？我一口气给你推荐 4 款免费软件

二、Mochi Diffusion：

开源代码地址
Github 直接下载 Mac 版

这是网友使用苹果 Swift 调用 CoreML 制造的开源 Demo，运用时需要自行下载 CoreML 格式模型，放入指定文件夹下来运转，也能够自行下载 Stable Diffusion 使用苹果转化东西转化后再导入。这里 有很多转化好的 CoreML 模型。

优势：开源，支撑 GPU、NE、GPU+NE 等不同运转条件，支撑本地模型直接导入，CoreML 速度快
缺陷：无 iOS 版

兼容性

Apple 芯片的 Mac
macOS Ventura 13.1
Xcode 14.2 (自行构建)

Mac/iPad/iPhone 也想在本地玩 Stable Diffusion ？我一口气给你推荐 4 款免费软件

MPSGraph 派：依据Maple Diffusion

三、Waifu Art AI

Mac App Store 直接下载

搭载了Aniplus V1模型（这是一个以Stable Diffusion 1.5 + Waifu Diffusion 1.3 + TrinArt Characters v1为基础特化练习的二次元绘画风格模型，并非 NovelAI 的改版），作者在其中加入了画风选择和根本的中文输入翻译体系。详情见这里

优势：支撑 Mac/iPad/iPhone，界面有中文
缺陷：不开源，模型不行选择，参数少

兼容性

macOS 12.3
iOS/iPadOS 16.0 ，6 GB 内存以上设备，例如 iPad M1/M2，iPhone 13 Pro，iPhone 14 或者 iPhone 14 Pro。

Mac/iPad/iPhone 也想在本地玩 Stable Diffusion ？我一口气给你推荐 4 款免费软件

四、Draw Things

Mac App Store 直接下载

几乎是最强壮的一个 Stable Diffusion 使用了，五星推荐。作者讲述制造进程：Stretch iPhone to its Limit, a 2GiB Model that can Draw Everything in Your Pocket

优势：支撑 Mac/iPad/iPhone，可选参数多，可选模型多，在 iPhone 上只需 2GB 内存
缺陷：不开源，导出模型与其他不通用，速度稍慢于苹果 CoreML

兼容性

macOS 12.4
iOS/iPadOS 15.4 ，A12 芯片，2GB 以上内存

Mac/iPad/iPhone 也想在本地玩 Stable Diffusion ？我一口气给你推荐 4 款免费软件

总结

有了以上 4 个使用，相信大家都能够在自己的 mac/iPad/iPhone 上愉快的玩耍了。不过还需要注意的是以上软件有着不同的兼容性要求：

  • 对 iPhone 和 iPad，首要约束一般为 A12 以上芯片，4GB 甚至 6GB 内存，一起对 iOS/iPadOS 版别也有要求
  • 对 Mac，首要约束为体系版别，M1/M2 系列芯片为最佳。别的有些模型对 Intel 芯片有隐形约束，有时出图混乱，请依据自己的硬件和软件自行测试

别的，这些软件都会面对初度运用时加载慢的问题，下载好模型第一次出图特别慢，后续会变快。