全方位 LLM 實戰攻略

Nvidia 創辦人黃仁勳曾說：「AI 是這個時代最重要的發展，本質如同電力一般，是第四次工業革命最為核心的存在」。

• Ken
• 2024年4月6日

【常見問題整理 Q&A 】

Q：買課前，我可以先了解老師的授課風格嗎？

歡迎到 章節單元列表，免費試看單元 3-9、單元 4-1。

Q：這堂課預計何時完整開課呢？

（4/10 更新）

課程已經釋出第一～第九章節及兩支解鎖影片（業界專家訪談、LLM 串接 Comfy UI 專題），也即將會於 4/25 （五）釋出第十章節課程，詳情可從消息管理「【課程上架進度公告 & 一對一訪談名單公布】解鎖單元影片更新囉！」公告確認！

如有提早完成，也會提早發公告通知大家！

生成式 AI 技術日新月異，你/妳跟上了嗎？

Nvidia 的創辦人黃仁勳（Jensen Huang）曾說：「AI 是這個時代最重要的發展，本質如同電力一般，是第四次工業革命最為核心的存在」。經估算，大型語言模型（LLM）等 AI 系統帶來的價值到了 2030 年將達到 2360 億美元，並為全球帶來近 6900 萬個新的職缺機會，同時催化全球近 8 成的軟體工程師在技術、工具開發進行轉型。

在轉型的浪潮上，我們將與你一同走過，課程不再只是介紹 AI 的基礎概念，更專注於解決學員的「瓶頸點」，最佳化學習曲線，使你真正能夠運用技術解決問題，展開生成式 AI 的新舞台！

隨著 AI 的蓬勃發展，相關技術不斷推陳出新，生成式 AI 的應用更是日新月異，但你是否在學習的過程覺得：

• 學習門檻 - 過高
• 因此本課程的教學設計由淺入深，每一個學習點都會基於持續累積的知識向上堆疊。
• 網路資源 - 分散
• 因此本課程的章節規劃架構明確，幫助你在學習旅途中能夠踏實地掌握 AI 的知識。
• 實務經驗 - 不足
• 因此講解過程中將結合實務情境，搭配超過 50% 的實作內容，確保知識能夠落地。

我們的課程為什麼與眾不同？

• 最新技術
  講師團隊透過與業界資深顧問諮詢，深入探究產官學在生成式 AI 與 LLM 的最新發展，並將重點技術彙整濃縮至教材當中。
  
  
• 由淺入深
  本課程的設計參考傳統自然語言處理（NLP）基礎實戰，並結合最新 LLM 相關技術，進一步規劃從基礎 NLP 到進階 LLM，幫助你在學習過程建構完整的知識體系。
  
  
• 實務導向
  講師團隊過往有諸多專案承接的經驗，因此在課程中介紹每一個知識點時，將融合實務應用場景，並透過專案開發進行實戰演練，整體課程更包含超過 50% 的實作內容。
  
  
• 核心專題
  本課程有別於市面常見的 AI 課程，不僅深入講解 AI 與 LLM 的理論知識，更將手把手引導學員一同打造個人 AI 智能助理 - JARVIS。

在業界開發 AI 與 LLM 的實務上，常見的需求如下

• 建立專業領域的 AI 助理
• 建置一個懂專業知識（Domain-Specific）的 AI 助理，推薦在蒐集資料集後，嘗試微調（Finetune）與檢索增強生成（RAG）的方法。
  
  
• 建立語意判別的 NLP 模型
• 進行以文字輸入的基礎判別任務時，經訓練得到的傳統 NLP 模型，成效將比 LLM 更加顯著。
  
  
• 建立能夠避開敏感言論的 AI 機器人
• 在開發對話機器人時，企業希望 AI 產出高品質的回覆，也預期它能避開敏感話題，而此時 Nvidia NeMo Guardrails 將成為最合適的選擇。

上述情境都是講師團隊在開發 LLM 系統時與客戶的實際場景，透過濃縮萃煉，我們彙整出以下 5 個面向：

1. 場景應用：自然語言處理（NLP）vs. 大型語言模型（LLM）
2. 專業領域：LLM 微調（Finetune）方式與各層面優化技巧
3. 參考知識：完整的檢索增強生成（RAG）技術和應用框架
4. 技術整合：能聽、能說，更能看的多模態（Multi-Modal）互動系統
5. 資訊安全：確保 LLM 系統輸入與輸出符合預期、安全且不存在偏見

將上述面向加入課程的目的是幫助你在未來進行 LLM 系統專案開發時，能夠更快且更有系統的分析現況並展開行動！

踩穩、再走！

我們希望透過由淺入深的課程設計，幫助你穩扎穩打地掌握 LLM 的開發技能與知識，雖然 AI 領域發展迅速且競爭激烈，但我們堅信，透過紮實的學習，一定能在這個領域奠定良好的基礎。

章節一：Gen AI & Python - 生成式 AI 工具與 Python 基礎

踏入 AI 世界的第一步，首先會從整合開發環境（IDE）開始，認識 Google Colab、Visual Studio Code 等實用工具，以及如何利用 ChatGPT、Github Copilot 等生成式 AI 工具提高 Coding 的效率。

章節二：NLP Basics - 自然語言處理入門

本章說明 NLP 背後神經網路架構的演進歷程。作為 LLM 的基礎，我們將實踐數個相關任務，例如：用 BERT（知名的 AI 模型）進行情感分析、使用 GPT-2（ChatGPT 的前身）生成文本、建立語音識別（ASR）和語音合成（TTS）的系統。

除了技術面的實踐外，在這章節大家也會熟悉至 HuggingFace 找到相應程式碼與 AI 模型的操作流程，加速你的開發效率。

💡HuggingFace 是 AI 資料科學家常使用的開源網站，能夠獲取開源 AI 模型與開源程式碼。

章節三：LLM Basics - LLM 基礎概念

LLM 的表現超乎我們人類對於軟體系統的想像，實際數據顯示 ChatGPT 在 2022 問世後，在短短兩個月內就達到越活躍用戶 1 億人的創舉，成為有史以來成長最快的應用服務，爆紅的原因非常單純，因為「太實用了」。

GPT 能夠在多數情況理解人類說的話／寫的字，GPT 不僅正在重塑 AI 資料科學的領域，也讓企業們看見數位系統將變成更加智能化的未來。

因此在本章節，我們除了會深入了解 LLM 的概念、架構和工作原理，也會實際透過程式碼與利用知名開源工具 Ollama 呼叫 OpenAI、Anthropic 與 Google 發布的大型語言模型（分別為 GPT、Claude、Gemini），並且使用開源的 Llama、Phi、Mixtral 等模型，讓大家實際感受 LLM 的無窮潛力。

想要讓大型語言模型（LLM）具備特定領域的知識嗎？

在第四章節與第五章節，我們將會一起深入探討業界最主流的兩種做法，Finetune 與 RAG，這兩種解決方案在訓練時都能夠以較低的成本獲得顯著的成效，所以已經存在相當多元的討論與演算法，從基礎到最新的實用策略都會在接續的兩章節中出現。

章節四：LLM Finetuning - LLM 訓練優化

本章探討不同微調 LLM 的方式及其使用時機，包含監督式微調（SFT）與基於人類回饋的強化學習（RLHF），而根據自身顯卡（GPU）規格的不同，在實務上也會利用量化（Quantization）與 LoRA 的方式，降低模型微調過程中造成的硬體負擔。

💡LoRA 是 LLM 微調過程中，可採用的模型訓練方法。

本章節不僅會認識演算法本身，還會利用 HuggingFace 的開源套件：Transformers、TRL（Transformer Reinforcement Learning）、PEFT（Parameter-Efficient Fine-Tuning）與Datasets 進行實踐。

※ 上圖展示在 Google Colab 透過 PEFT 與 TRL 套件實作 QLora 與 SFT 訓練的程式碼片段。

章節五：LLM RAG - LLM 結合檢索增強生成

RAG 是建置特定領域知識 QA 問答系統最為常見的做法，不僅能有效提升 LLM 對於領域知識的回覆能力，還能夠提供參考資訊的來源處，方便使用者進一步做查找資訊。

本章節會剖析它的原理與實踐方法，並針對三個面向：向量資料庫（Vector Database）、檢索策略（Step Back、Sub Query）、透過重新排序（Re-Ranking）、資訊壓縮（Compress）、內容摘要（Summary） 機制優化上下文品質（Context Quality），進而優化問答系統的表現，擴展其應用範圍與能力。

※ 上圖展示 RAG 在前期準備與正式使用時的流程圖。

章節六：LLM Development - LLM 應用開發

LangChain 是在開發 LLM 系統時最常使用到的開源套件，在這章節將會提到許多實用的技巧，包含：提示工程（Prompts）、記憶管理（Memory）、模組串接（Chains）、評估表現（Evaluation）、智能助理（Agents）等等，都會透過 LangChain 進行實踐。

在這個章節，不僅會認識 LangChain 這個提升開發效率的好工具，還會從概念到實踐，掌握整個 LLM 系統的開發流程。

章節七：LLM Evaluation - LLM 成效評估

在這個章節，將會獲得以下兩個問題的解答：

1. 對於大型語言模型（LLM）而言，怎麼樣算是表現好呢？
2. 對於有用 RAG 的 LLM 而言，又該如何評估表現呢？

評估 LLM 表現有許多方法，例如：利用 Benchmark 資料集（如：MMLU 等）來瞭解 LLM 的知識水平；對於導入 RAG 的 LLM 回答系統，也能透過 RAGAS 框架針對文本生成的品質、問答準確性、任務完成度等多個維度來進行評估。

除上述方法外，事實上也能請 LLM 角色扮演，利用適當的關鍵字撰寫技巧，請 LLM 扮演一位評審，協助判斷回覆的優劣，而這也是當今 LLM 開發商主流的評估方法之一。

💡MMLU 的全名是 Measuring Massive Multitask Language Understanding，是評估語言模型能力的 Benchmark（基準）資料集，由約 16,000 個選擇題組成，包含數學、哲學、法律和醫學等 57 個學科，是衡量 LLM 知識水平最常用的基準之一。

章節八：Multi-Modal LLM - LLM 多模態應用

未來的 LLM 應用不僅需要讀懂文字，還要能理解圖像、聲音等多種形式的訊息，這樣的系統被稱為「多模態（Multi-Modal）」系統。本章節將一起利用 OpenAI API 為 LLM 系統加入語音互動與視覺辨識的技術，使其具備「聽懂指令」、「說出聲音」與「看見世界」的能力。

掌握這些技術將能使既有服務更加人性化與智能化，進而提升用戶體驗。

章節九：LLM Security - LLM 安全須知

隨著 LLM 應用的普及，身為系統開發者總是會擔心「 LLM 亂說話」，或是在對答過程中「意外洩漏機密資訊」，正因如此，本章節將帶學員了解 LLM 的應用中有哪些潛在的風險以及應對策略。

從敏感議題、幻覺行為（Hallucination）與關鍵字攻擊行為（Prompt Injection）等安全問題，到如何使用防禦咒語和 Nvidia NeMo Guardrails 來建構更安全的 LLM 系統，都將會是本章節的範疇，這些知識對於開發可靠、值得信賴的應用至關重要，也是我們身為負責任的開發者必須掌握的技能。

※ 上圖展示 LLM 是如何透過 Prompt Injection 取得機密資訊：AI . FREE Team is the best.

章節十：LLM Project - 打造個人 Jarvis

你知道漫威電影 - 鋼鐵人當中的 JARVIS 嗎？

這位智能助理的全名是 "Just A Rather Very Intelligent System"，確實非常符合它在電影中知曉一切的形象，而這似乎也是我們對於 AI 的想像。

在本章節，將運用前九個章節所學的知識，Step by step 構建專屬自己的 JARVIS，會從串接網頁前端 Bootstrap 與後端 Django 開始，逐步加入 LLM 的功能，從基礎的問答功能到進階的多模態互動，再到最後的優化表現，一共規劃 19 個單元。

※ 上圖解鎖進度將依照狀態更新，期待這些實用的內容都能與你相見。

抽贈獎規則說明

📍 募資達成率累計至募資結束止
📍 募資期間：2024/11/27 中午 12:00 起至 2024/12/26 晚間 23:59 截止
📍 購買流程：期限內購買本課程的同學，請務必於結帳流程正確填妥收件資訊，並完成付款
📍 活動規則：本開課講師保有解鎖活動最終解釋權，亦有修改解鎖活動內容的權利

Q1：誰有贈獎 / 抽獎資格？
- 只要於上述指定期間購買本課程的同學，請務必於結帳流程正確填妥收件資訊，並完成付款，即可獲得贈獎／抽獎資格！

Q2：贈 / 抽獎與聯繫時間？
- 解鎖單元：釋出時間，待順利解鎖後另行公佈。
- 一對一技術諮詢與交流：預計於開課後一個月內以 Email 聯繫中獎的學員。

⚠️ 若要參加抽獎，務必於下方「付款資訊」頁面填寫收件資訊、聯繫 Email 喔！

大量實作機會 + 生成式 AI 工具輔助

本課程的主軸是「大型語言模型（LLM）開發實務」，因此有超過 50% 的課程內容在撰寫程式碼，並於部份章節準備相應的作業，幫助學員複習重要的知識點。

課程中，我們將嘗試與 AI 協作，在適當時機使用 ChatGPT 或 Github Copilot 等文字生成式 AI 工具一起撰寫程式碼，和學員們一起利用生成式 AI 工具開發 LLM 系統。

本課程主要以「螢幕錄影的方式進行教學」，每個章節的首尾分別會從 "Why we need it？" 的觀點出發，以及 "What we've learned so far？" 的討論做結；而中間的每個單元都會有【知識】或是【實作】標籤幫助學員判斷單元的性質，協助學員在學習過程提前準備好心態。

課程當中使用到的程式碼都會提供給學員們，若在學習的過程中有任何的想法、疑問、回饋都歡迎與講師們交流，邀請學員加入專為本課程建立的 Facebook 學習社團，針對好的討論，也會利用臉書的「參考指引」功能歸納討論，累績學習社群的知識資產。

💡FB 學習社團僅限購課學員加入，課程網址將於開課後於公布欄公告。

回覆學員提問

誠摯地歡迎學員在討論區或課程臉書社團中提出討論，會盡快在一週內回覆您的疑問，幫助您在學習路上快速排除障礙。此外，也會將適當的討論歸納於臉書社團的「參考指引」中，方便學員們快速找到實用的討論串。

每週作業批改

至少每週會批改一次學員們繳交的作業，確保學員掌握每個章節的重要知識點。

※ Eric 想說：「自從在 2017 踏入 AI 的領域後，實際看見且認真著墨的主題有：資料科學、機器學習、深度學習、生成對抗網路、電腦視覺、自然語言處理、可解釋性 AI。相信關注 AI 領域的你也覺得這個領域的演進既迅速又有趣，而現在來到生成式 AI 大爆發的紀元，有好多可能性正在發生，我們有些不錯的想法和方法論，希望有機會能在課程中一起討論囉！」

※ Hank 表示：「課程中的實作內容大都是我在進行 LLM 系統開發所使用的方法，對於哪些方法有哪些坑，我們都已經實際踩過 N 次，期待能夠在課堂當中把這些經驗分享給你，讓你在 LLM 系統的開發路途上暢通無阻！」

關於 AI . FREE Team

AI . FREE Team 秉持「整合各方學習資源、跨專業領域知識共享」的核心理念，以人工智慧為技術服務，提供客戶技術諮詢、專案委外開發、教育訓練、專案開發，與技術顧問服務，同時也透過每周的讀書會持續精進技術實力以及對於大環境趨勢的敏感度，成立至今已累計 200 場次的線上技術討論會，更多資訊請見 AI . FREE Team 官方網站。

課程補充教材

團隊具備完整多元的 AI 教材，下方內容將會在開課後公告，提供學員購課後自主學習：

• Python 程式設計（Python Basics）> 共 15 單元
• 機器學習基礎（Machine Learning Basics）> 共 22 單元
• 人工智慧基礎（AI Introduction）> 共 9 單元
• 語音合成 TTS 開源專案 > 附上 YouTube 影片講解
• 生成式 AI 於產業應用教案實作練習模組 > 共 6 章節
• 零基礎成為 AI 解夢大師秘笈 > 共 30 單元

相關 AI 人才培訓實績

• （2024）漢翔航空企業内訓 - 善用生成式 AI 工具提升職場能力
• （2024）對外發展貿易協會 - AI繪圖用於業務情境
• （2024）碩遠科技企業內訓 - 生成式 AI 實務應用
• （2024）商檢中心企業內訓 - 生成式 AI 實務應用
• （2024）AI4Kids 線上工作坊 - AI 繪圖與生成式 AI 工作坊
• （2024）太格地材企業內訓 - 生成式 AI 實務應用
• （2024）華興文教 - AI 繪圖實務應用與藝術設計
• （2024）AIGO 培訓課程 - 智能辦公：生成式 AI 實務應用與案例分析
• （2023）嘉友電子企業內訓 - AI 繪圖實務應用
• （2023）赫彩設計學院 - 開創設計未來，生成式 AI 課程
• （2023）AIGO 培訓課程 - 智慧製造 / 智慧商務 / AI 繪圖實務課程
• （2023）Hahow 好學校 - AI 繪圖溝通術：搭上 AI 藝術的魔法列車（滿星評價）
• （2022）Hahow 好學校 - 學習 AI 一把抓：點亮人工智慧技能樹（滿星評價）

歷來績優事項

• （2023）AI . FREE Team 榮獲「AIGO 卓越人才培訓機構」
• （2023）AI 應用鬥智賽「影像辨識輔助治療師判讀閱讀障礙」- 優勝
• （2023）AI 應用鬥智賽「中文語音風格轉換」- 佳作
• （2022）AIGO 競賽「利用情感語意分析建構商家網路評價機制」- 佳作
• （2021）AIGO 競賽「原住民族語言斷層，輔以 AI 傳承」- 特優
• （2018）Github 開源之繁體中文手寫資料集 - 獲 167 個 Star

專案合作項目

• （2024）台灣知名科技廠：虛偽辨識生成式 AI 系統開發
• （2024）台中社福組織：生成式 AI 網頁服務開發
• （2023）南部知名廠商：訂單數位化系統與演算法開發
• （2023）大學相關科系：影像辨識輔助治療師判讀閱讀障礙
• （2023）AI 研發公司：中文語音風格轉換
• （2022）資訊工業策進會：文字轉語音（TTS）開源專案
• （2022）成大數據所 Lab：超音波影像舌緣辨識

若針對課程有任何疑問或想法，歡迎透過下方聯絡資訊與我們聯繫：

• LinkedIn：智悠科技（AI . FREE Team） | LinkedIn
• FB 粉絲專頁：AI . FREE Team | Facebook
• Email 信件：ai.free.startup@gmail.com