Mochi Diffusion是一款適用於Mac的原生應用程式,內置了Apple的Core ML Stable Diffusion框架。該應用程式充分利用了搭載Apple晶片的Mac上的性能優勢,以極低的記憶體佔用實現最佳效果。使用Mochi Diffusion,你可以輕鬆生成各種圖像,不論是基於語義描述還是關鍵詞堆疊,Mochi Diffusion都可以為你提供精確的圖像生成。
Mochi Diffusion 是一款專為Mac打造的AI繪圖工具,透過內建的 Apple Core ML Stable Diffusion 框架,讓搭載 Apple 晶片的Mac達到極致性能,同時保持低記憶體佔用。
Mochi Diffusion的特點包括:
出色的性能和低內存佔用
在所有搭載Apple晶片的Mac上充分發揮神經網絡引擎的優勢
無需聯網即可生成圖像
圖像轉換功能(Image2Image)
支持使用RealESRGAN放大生成的圖像
自動儲存和恢復圖像功能
使用macOS原生框架SwiftUI開發
要使用Mochi Diffusion,只需下載、安裝並運作應用程式。在左側欄輸入你的文字描述,可使用語義描述或關鍵詞堆疊,並設置排除關鍵詞以更精確地生成所需圖像。你還可以選擇是否生成高清圖像,根據需求上載參考圖片,並自訂生成圖像的數量、迭代次數和關鍵詞權重。
選擇合適的模型非常重要,因為每個模型都有自己的專長領域和風格。Stable Diffusion提供了豐富的模型供你選擇。如果你不熟悉模型構建和轉換,可以直接在Hugging Face下載這些模型。這些模型會不斷更新和優化。
如何使用:
下載並安裝Mochi Diffusion(傳送門:Releases · godly-devotion/MochiDiffusion (github.com))
(以目前最新版本為 Mochi Diffusion 為例,點按相關 dmg 檔案,完成下載後開啟,把應用程應拖拉到 Dashboard 即可)
把適合的模型進行轉換;或下載模型,解壓縮並放置在Mochi Diffusion的Models目錄(已轉換模型傳送門:coreml (Core ML Models) (huggingface.co))
(完成下載模型後會獲得 zip 檔案,把它解壓縮然後放進Model資料夾後,就可以使用了)
使用Mochi Diffusion生成圖像
(在左邊的選擇清單,按次序分別是正向關鍵詞、反向關鍵詞、圖生圖、迭代次數,和模型選擇,每項參數都可以影響生圖的效果)
在使用過程中,可能需要嘗試不同的模型和關鍵詞以獲得理想效果。用戶可通過學習和嘗試,不斷提高生成圖像的寫實度和品質。
問答
問:Mochi Diffusion生成圖片的速度如何?
答:以 Macbook Pro 為例:
在Macbook pro 16 gb RAM,14 gpu 核心的 Mochi 上運作 coreML非常快速:模型載入後(生成 1 張圖片)--每張圖片 25 步,512x512
Mochi 生成8 張圖像的速度為:
2 分 10 秒
DiffusionBee(模型載入後)的速度約為 1s/it,所以約為 28 秒/圖,所以 8 幅圖需要大約:
3 分 40 秒
automatic1111(模型載入後)和完全清除記憶體,並以及這些選項 --opt-split-attention-v1 --medvram 和沒有其他進程,最佳結果大約 1.8 秒/it 或大約 45 秒/圖像,所以 8 張圖像需要
6 分鐘
問:Mochi Diffusion支持哪些Mac型號?
答:支持搭載Apple晶片(M1及更新)的Mac。
問:Mochi Diffusion需要什麼系統版本?
答:需要macOS Ventura 13.1及以上版本。
問:如何獲得適合的模型?
答:可在Hugging Face下載不斷更新的模型,並根據各模型的案例圖選擇適合的模型。
問:Mochi Diffusion支持哪些圖像格式?
答:支持常見的圖像格式,如JPEG、PNG、TIFF等。
問:使用Mochi Diffusion生成的圖像可以用於商業用途嗎?
答:在使用生成的圖像時,需遵循相關法律法規和版權要求。若模型有特定的許可限制,需遵守相應條款。
問:如何調整生成圖像的尺寸和生成數量?
答:在Mochi Diffusion中,可自定義圖像尺寸、生成數量、反覆運算步數和關鍵詞權重。
問:如何在生成圖像時排除特定元素?
答:在輸入文字描述或關鍵詞時,加入排除關鍵詞,以精確生成想要的圖像。
參考資料
godly-devotion. (無日期)。Mochi Diffusion。取自 https://github.com/godly-devotion/MochiDiffusion/releases
Reddit用戶. (無日期)。Mochi Diffusion: Generate images using Apple's Stable Diffusion. r/StableDiffusion。取自 https://www.reddit.com/r/StableDiffusion/comments/zo7uta/mochi_diffusion_generate_images_using_apples/
王子龙. (無日期)。macOS 使用 MochiDiffusion 快速体验 Stable Diffusion 指南。知乎專欄。取自 https://zhuanlan.zhihu.com/p/610580694
Comments