人工智慧運算架構

人工智慧 (AI) 的發展重點已從學術研究轉向實際應用。這波人工智慧發展浪潮始於 2012 年的AlexNet，該計畫展現了深度神經網路的潛力。繼2017年Transformer架構的發表以及 Scale Law (擴展定律) 的發現之後，模型參數數量和計算需求急劇增加，引發了全球 的 LLM 大語言模型（Large Language Model） 的開發競賽。到了2022年，ChatGPT的發布引起全球關注，並推動生成式人工智慧 (Generative AI) 的興起。近年來，人工智慧運算進一步擴展到 Agentic AI (人工智慧代理) 和 Physical AI (實體人工智慧) 領域，標誌著人工智慧正朝著更智慧、更自主的系統演進。 人工智慧的快速發展，有望顯著提升全球生產力。如果能夠成功廣泛應用，其經濟和社會影響可能超越工業革命。然而，人工智慧的發展也面臨著許多挑戰，包括如何擴展運算能力、提高能源效率、如何增強日益複雜的神經網路的訓練和推理能力、如何建立高效的人工智慧代理以及如何建立能夠持續創新的可行商業模式。 本課程對這些機會和挑戰進行結構化分析，闡述人工智慧運算如何演進，包含硬體、演算法和應用的進展。為了更有系統的描述整體架構，本課程將用層狀架構，提出七層人工智慧運算架構模型，其概念受到描述網路架構的OSI參考模型所啟發。此框架將有助於理解複雜且快速發展的人工智慧運算架構。模型由七層組成，自下而上依序為： 1. Physical Layer (實體層)－基礎運算單元，包括硬體組件、能源和區域聯結。 2. Link Layer(連結層)－連接各個運算單元的網路架構與結構。 3. Neural Network Layer(神經網路層)－深度神經網路模型的核心學習與推理機制。 4. Context Layer(情境層)－ 協助人工智慧運算中，情境資訊的表示與管理，以提高AI性能。 5. Agent Layer (代理層)－自主且任務導向的人工智慧代理的出現。 6. Orchestrator Layer(協調層)－多個人工智慧代理的協調與互動，並形成基於AI的生態系統 。 7. Application Layer(應用層)－將人工智慧能力整合到產品、AI服務和生態系統中。 透過這七層框架，我們可以人工智慧運算如何從初期的深度學習應用發展，到如今的多人工智慧代理和協調式人工智慧生態系統，並將進入實體人工智慧。這種結構化的視角也有助於更有系統地探討人工智慧運算架構的機會、限制和未來發展方向。 人工智慧的發展，將勾勒未來運算風貌。而IC半導體，也將持續成為驅動運算平台的重要核心技術。本課程也將介紹世界半導體產業的現況與展望。瞭解構成現今科技基礎的半導體IC運算科技，是如何演進，並形成全世界的生態體系，成為人類科技文明的重要基石。並探討運算科技與半導體產業如何互相影響而進展，以及對未來的演變的探討。 本課程的目標在於讓修課同學： -瞭解並研究人工智慧的發展 -瞭解並研究人工智慧運算架構的結構 -瞭解並研究 IC 半導體技術如何應用在人工智慧運算架構 -瞭解並研究 人工智慧運算架構如何影響資訊科技以及IC半導體產業進展 -讓修課同學發掘人工智慧運算架構整合應用的機會，激發學習興趣與研究方向

具Computer Architecture 與 半導體製程基礎背景知識者為佳。

書面作業 40% 期末專題報告 60%

• AI運算架構導論
• AI 神經網路演進
• AI運算硬體架構
• AI運算應用架構
• AI 運算議題
• 期末專題報告

以教師自編講義為主 Bor-Sung Liang (2025), “AI Compute Architecture and Evolution Trends”, arXiv :2508.21394, https://arxiv.org/abs/2508.21394

時間

另行約定

聯絡方式

bs.liang@mediatek.com