【電子報 003】大模型與小模型的抉擇：AI 開源技術的最新發展與應用策略

  • Ken
  • 2024年11月22日

AI . FREE Newsletter 003


萬聖節快到了，今年的你有想要扮演什麼角色呢？又或者是你想用 AI 繪圖把自己 P 上去呢？

本週的電子報想跟大家分享幾個 AI 開源的技術，結合這幾年團隊觀察學界技術發展與產業落地應用間的差異，進一步討論個人或企業在生成式 AI 浪潮底下，研究方向應該如何做選擇。

時間回朔到 2022 年中，生成式 AI 的爆發，包含 ChatGPT 出現、開源 AI 繪圖工具的問世， Eric 老師便與我深入探究這兩項技術在商業場域的應用，但當時我們遇到了瓶頸是：我們的硬體不夠支援我們研究工作，因此當機立斷，我們立即採購了當時最好的個人消費型圖形運算處理器，也就是 RTX3090。

當時我們投入了研究開源的 LLM：ChatGLM 以及 AI 繪圖：Stable Diffusion WebUI，幾經嘗試後發現當時地端 LLM 仍有很多改進空間，而 AI 繪圖卻出現很多實際商用的契機，因此 2023 年初，我們便立刻投入繪圖課程的製作。

然而生成式 AI 時代邁向第三個年頭，我們發現：地端 LLM 不僅在技術上更為成熟，甚至在商業情境的應用上更有落地的可行性，因此跟大家初步透露：目前我們正如火如荼地準備 LLM 開發的課程，預計開課時間會在今年年底，若有興趣學習的夥伴，千萬別錯過！


  • 近期的開源 & 技術 Releases


近期開源出來的項目：

1. Stable Diffusion 3.5 (繪圖) 10/22

2. Whisper Large-v3-turbo (語音辨識) 10/02

3. Llama 3.2 (LLM, vLLM) 9/25

4. Flux.1 (繪圖) 8/1


以上簡單羅列出幾個開源出來的模型，可以發現平均不到一到兩個月，AI 在不同領域上的技術就會推陳出新，而且在這些研究中，基本上可以分為兩類：(1) 模型越來越大，能夠處理更複雜的任務 (2) 模型越來越小，但卻能夠更有效的處理問題。


(1) 模型越大 - 泛用型的研究

以自由團隊在學術和業界打滾的經驗中，我們認為：AI 模型的研究，初時會往大模型前進，因為大模型的參數量夠多，就好比腦容量夠大，能夠處理較廣泛、較全面的問題，相對的在訓練資料的準備上，就可以較全面地採用廣泛的資料集，也因此在科學研究中，常以大模型結和大數據，再搭配現行 SOTA 的演算法架構為主軸發展。


(2) 模型變小 - 專用型的應用

然而當大模型遇到商用落地情境時，就會面臨一個挑戰：投入的硬體資源成本，無法有效地回收，也因此研究會從大模型轉投入到更細節的處理，如：限縮資料集、演算法架構簡化、模型壓縮等，讓大模型輕量化，能夠在一般個人消費型電腦中運行，進一步降低使用門檻，而以 T-brain 近期推出的競賽：RAG 與 LLM 在金融問答的應用，就是一個趨勢轉往地端領域應用的範例。


  • 我該選擇投入大模型 or 小模型？

若是以自由團隊為例，因為商業模式的因素，我們常需要同時投入兩者的應用與研究，才能提供給我們客戶、學員：最完善的教育訓練、專案開發、技術諮詢的服務。

若你是大公司的 RD ，或是個人興趣研究、碩博生等，建議可以先投入大模型的應用，再不用購置硬體的情境下，你可以透過這些科技大廠提供的 API，進行大量的測試與實驗，進一步探索可能適用的範疇或研究的主題。

若你是小公司的工程師，或是有明確商用領域應用的需求者，則可以考慮投入小模型的開發，而在運算資源的選擇上，我們建議初時先選擇平價的雲端資源做研究，例如：Colab、Runpod 等類型的雲端工具，若在研究中，有確切的落地可行性出現，再進行評估對應硬體規格的採購。

總結本週的電子報，模型大小分別適用不同的應用場景，泛用或專業領域適用，而不同大小模型應用的研究，建議都先透過雲端資源起步，才能避免不必要硬體的投入。


本週的 AI . FREE Newsletter 簡單探討企業導入 AI 的準備，若你還想知道更多 AI 相關的趨勢或資訊，歡迎追蹤 AI . FREE Team 粉絲專頁，或是加入 AI . FREE Team - Community 自由團隊 學習社群，讓我們一起跟上AI時代的洪流。