生成式AI:文字與圖像生成的原理與實務

Generative AI: Text and Image Synthesis Principles and Practice

學期

114-1

學分

3 學分

當期課號

578105

永久課號

AAAI30006

開課單位

AI聯盟學分學程(研究所)

授課教師

游家牧、蔡炎龍

類別

選修

上課時間表

節	週二
8 16:30–17:20	生成式AI:文字與圖像生成的原理與實務 3 節連堂
9 17:30–18:20
A 18:30–19:20

* 根據陽明交大上課時間表所列

概述

課程概述「生成式 AI:文字與圖像生成的原理與實務」是一門兼具理論深度與實作樂趣的課程,專為希望深入了解生成式 AI 的技術與應用的學生而設計。不論對 AI 的認識是基礎還是進階,我們都希望透過這門課程,帶領同學探索生成式 AI 的無限可能。學生將會學習神經網路、GAN、Transformer、大型語言模型、RAG、AI Agents、Diffusion Models 等技術,並運用工具如 OpenAI API、LangChain、HuggingFace 及 AISuite 等等,完成從文字生成到圖像生成的多樣應用。課程目標 1. 理解生成式 AI 的核心技術,包括神經網路、GAN、Transformer、大型語言模型、RAG、AI Agents、Diffusion Models 等。 2. 實際運用各種工具和框架,例如 OpenAI API、LangChain、AISuite、HuggingFace、Fooocus 等等,打造多樣的生成式 AI 應用。 3. 探討生成式 AI 的社會與倫理挑戰,從技術層面與實務層面提出創新解決方案。 4. 完成期末專題,整合所學內容,設計並展示一個實用的生成式 AI 系統。課程特色循序漸進的內容設計:從神經網路的基礎原理出發,逐步深入進階模型與應用。實作為主,理論為輔:課堂中將使用 Colab 進行程式實作,配合具挑戰性的課後作業,邊學邊做。探索最新技術:涵蓋最新的生成式 AI 模型與工具,掌握 AI 發展趨勢。多元化的應用場景:課程內容涉及文字生成、圖像生成、對話機器人、Agentic AI 等多個領域。倫理與應用並重:不只在技術方面,更引導反思生成式 AI 的社會影響與,強調「負責任地使用 AI」。

先修科目

無

教學方式

1. 會使用 Google Colab 雲端運算平台,請同學準備好自己的 Google 帳號。本課程的作業應該免費版就足夠,但可以考慮自己狀況是否升級。 2. 建議 (非要求) 於 https://platform.openai.com/ 儲值使用 OpenAI API 的 credit,應該 5 美金就完全足夠課程的需求。課程中我們還是會提供其他免費的方案,但使用OpenAI API 可能會比較方便 (特別對技術不是那麼熟悉的同學)。 3. 每一位同學都請申請 Groq https://console.groq.com/ 的 API,有完全免費使用的方案。 4. 非常強調不可以抄襲,包括抄襲網路上的作品,或者直接抄襲生成式 AI 產出者,皆是不可接受的。本課程是生成式 AI 課程,使用大型語言模型協作,不但是允許,甚至是鼓勵的。這裡的抄襲是直接下一個 prompt 就能產出的結果,直接當作業是不能接受的。

評分方式

* 各校評量方式以各校老師公告為主 ■ 作業及反思: 75% 每次作業繳交時間在兩週內,每次作業滿分為 10 分。歡迎同學運用大型語言模型協助,但只能寫出下一次 prompt 就生得出結果水準的作業,得分最高 3 分。 ■ 期末專案: 20% 每個人需完成一個生成式 AI 應用專案。期末分享採 Gather.town 線上研討會模式。主導課程會以學生投稿、擇優方式參與,獲選同學參加期末專案分享,並有額外加分。衛星課程協同老師可自訂參與規則 (如是否所有同學皆需分享)。屆時會請參與同學錄製簡單的簡報影片,最好是兩、三分鐘,不超過 5 分鐘。其他會眾到了簡報處即可看見同學的簡報,不需要自己重覆介紹。協同老師也可規定鼓勵同學們參與的方式,比如至少要看十個各校同學的簡報,選出自己覺得最好的三個,分享原因及心得。有參與的同學也可安排額外加分。 ■ 上課參與 5% 非常鼓勵同學在「直播」時間參與課程,另外上課互動、參與討論等等,皆會列入考量。 ■ 額外加分課程有「閃電秀」安排,同學們可自由報名,在每次上課第三節時,以 5 分鐘內的時間,分享自己對生成式 AI 相關的心得。每次上課最多可接受 5 位同學的分享。

週次計畫

週次	主題
第 1 週	課程介紹與生成式 AI 概述 --課程目標與內容簡介,為什麼要研究生成式 AI,介紹 Colab 平台的基礎操作。
第 2 週	神經網路的概念 --簡介神經網路的核心概念(感知器、多層感知器)、激發函數與反向傳播,實作一個簡單的 MNIST 手寫數字分類。
第 3 週	紅極一時的生成對抗網路 (GAN) --介紹曾經被當作生成式 AI 希望的生成對抗網路(GAN),包括 GAN 的生成原理、著名的應用範例,及為什麼暫時不再是主流的原因。
第 4 週	大型語言模型原來這麼簡單 --文字生成 AI 的基本概念,包括 RNN 及 transformers 有「記憶」的神經網路簡介,及 seq2seq 模型、詞嵌入等等原理。
第 5 週	Transformers 全攻略 --RNN 及 transformers 的數學基礎與架構,複習基本矩陣運算、瞭解注意力模式的原理。
第 6 週	大型語言模型(LLM)的應用及倫理議題的挑戰 --著名的大型語言模型 (LLM),常見應用,及倫理議題的討論。
第 7 週	打造自己的對話機器人 --使用 AISuite,用程式的方式打造自己的對話機器人。
第 8 週	專家講座 --學界或業界專家分享生成式 AI 相關實務主題。
第 9 週	檢索增強生成(RAG)的原理及實作 --RAG 的概念、資料檢索與生成的結合方法,實作基於 LangChain 的 RAG 系統。
第 10 週	Agentic AI 與 AI Agents --什麼是 AI Agents?學習不同的 AI Agent 設計模式,並且運用 AISuite 實作。
第 11 週	變分自編碼器(VAE)開始的冒險旅程 --解釋 VAE 的原理,及為什麼這相對簡單的模型,會成為圖像生成 AI 的重要想法,發展出目前重要圖像生成的 diffusion models。
第 12 週	文字生圖 AI 的原理及實作 --Diffusion Models 的進階主題,包括 CLIP、排程器、LoRA 等概念。並且用Hugging Face 的 diffusers 套件打造自己的圖像生成 AI Web APP。
第 13 週	用 Fooocus 實現 Diffusion Models的進階技術 --介紹「理解」使用者輸入文字的 CLIP 模型,著名的圖像生成 AI 模型及運用方式。
第 14 週	生成式 AI 流行工具及應用範例 --介紹主流生成式 AI 工具,及應用範例。
第 15 週	生成式 AI 應用與發展趨勢 --介紹生成式 AI 新近發展。例如我們介紹文字生成預測 token 的模型,還有圖像生成 diffusion models,有「互相攻佔」對方地盤的現象。探討其中的原理和可能走向這個方向的原因。
第 16 週	在 Gather.town 線上研討會型式的期末專題成果分享。

教科書

主要是上課講義,其餘參考資料於課程中介紹。