【電子報 007】FLUX.1 Tools 開源釋出，Redux 重設圖片功能亮眼，但模型體積龐大與商用限制，對 AI 繪圖玩家仍具挑戰性。

  • Ken
  • 2024年11月27日

AI . FREE Newsletter 007


本周的重點除了中華隊拿到世界棒球 12 強賽的總冠軍外， AI 繪圖新工具，FLUX.1 Tools 的開源推出，雖然在眾多 AI 繪圖應用場景中都有明顯的技術突破，但對外發布的模型仍不提供商用，除此之外，免費的 AI 繪圖工具， Krea.AI，也在日前開始支援 FLUX 模型。


FLUX.1 Tools 

Flux 的最新開源主要可分為以下幾個項目：

  1. (1) Inpaint - 局部重繪
  2. (2) Outpaint - 圖像擴展
  3. (3) ControlNet Depth/Canny - 基於影像深度/邊緣進行控制生成
  4. (4) Redux - 圖像重新設計


常接觸 AI 繪圖的讀者應該對於第一點到第三點並不陌生，第四點 Redux，則是這次 Flux Tools 最新推出的功能，在保留原圖主要特色的前提下，根據 prompt 進行重新設計，例如：真實照片轉換為 2D 畫風，或是將原始圖片進行角度的更換等。

雖然 Redux 的技術原理應該類似原本 SD 模型的 img2img，但在 FLUX 的大模型參數量加持下，生成的圖片不僅能更理解使用者的指令，更能存留原始圖檔的資訊。


FLUX 開源模型普及化的挑戰

雖然在上一個段落，不斷讚嘆 FLUX 開源出來的技術，但是仍有許多可詬病的面向，例如：在 SD 1.5 的開源模型中，進行 inpaint, outpaint, img2img 等任務時，都能直接採行同一個模型進行產圖，但是 FLUX Tools 模型動輒 23.8 GB，在不同任務的執行過程，需要切換模型，這對於執行 AI 繪圖的 workflow 來說相當不便。

雖然在 SD 1.5 的時代，確實在開源社群中，也有針對 inpaint, outpaint, img2img 等任務所特化的模型，但是其模型大小只要 2 GB，相比 FLUX 的 23.8 GB 足足差了近 12 倍，更別說運算時間上的差異，同樣規格的 GPU，運算時間可能相差 30 倍以上。

因此對於一般 AI 繪圖玩家而言，就算採購消費級別的頂規顯卡 RTX4090 ，在算圖上仍是相當吃重；而在商用場景中，開源模型的授權憑證又是不提供商用，因此可想而知 black forest labs 的商業策略， 鎖定在「商用」級別的玩家，若需要商用就需要到官網使用付費的 API。


本週的 AI . FREE Newsletter 簡單探討企業導入 AI 的準備，若你還想知道更多 AI 相關的趨勢或資訊，歡迎追蹤 AI . FREE Team 粉絲專頁，或是加入 AI . FREE Team - Community 自由團隊 學習社群，讓我們一起跟上AI時代的洪流。