深度學習
Deep Learning
學期
113-2
學分
3
學分
當期課號
539100
永久課號
IIAI30004
開課單位
智能系統研究所
授課教師
廖元甫、陳志成
校區
光復
類別
選修
上課時間表
| 節 | 週三 |
|---|---|
2 09:00–09:50 | 深度學習 A305 3 節連堂 |
3 10:10–11:00 | |
4 11:10–12:00 |
* 根據陽明交大上課時間表所列
概述
深度學習為機器學習的進階課程,除將review機器學習的基礎演算法、理論及工具。並將進一步針對特定主題(例如語音信號處理,自然語言處理,影像訊號處理,音訊訊號處理等),深入探討先進的類神經網路模型(例如transformer,BERT等),與進階的訓練演算法(例如self-supervised learning),尤其是討論目前State-of-the-Art(SOTA)技術。最後課程並將針對定主題,以SOTA為目標,進行深度學習實戰競賽(例如Kaggle InClass Competition)。
先修科目
具備程式能力,尤其是python語言 熟習Linux作業系統與與shell script使用方式
教學方式
TensorFlow:https://www.tensorflow.org PyTorch:https://pytorch.org 課外自習參考資料:https://speech.ee.ntu.edu.tw/~hylee/ml
評分方式
線上InClass Kaggle競賽(https://www.kaggle.com/)至少三次(包含繳交Github程式,競賽報告與上台報告方法與心得)100%
週次計畫
| 週次 | 主題 |
|---|---|
| 第 1 週 | Course Overview * Introduction to Multi-Modal Foundation Models # DeepSeek 開源模型 席捲全球 |
| 第 2 週 | Introduction to Deep Learning (1/3) * DNN * CNN |
| 第 3 週 | Introduction to Deep Learning (2/3) * ResNet * AutoEncoder * RNN/LSTM * Kaggle競賽 #1 |
| 第 4 週 | Introduction to Deep Learning (3/3) * Sequence-to-Sequence Model * Attention |
| 第 5 週 | Large Language Model(1/3) * Transformer * GPT1, GPT2, GPT3 * Self-supervised learning |
| 第 6 週 | Large Language Model(2/3) * Pre-Training * Task Fine-Tuning * Kaggle競賽 2 |
| 第 7 週 | 校際活動週(放假) |
| 第 8 週 | 期中考週,暫停一次 |
| 第 9 週 | Large Language Model(3/3) * Reasoning Language Model |
| 第 10 週 | Large Multi-Modal Model (1/3) * Introduction to Large Multi-Model Model * Kaggle競賽 #3 |
| 第 11 週 | Large Multi-Modal Model (2/3) * Self-supervised Learning |
| 第 12 週 | Large Multi-Modal Model (3/3) * PreText Tasks * Multi-Modal Embedding Alignment |
| 第 13 週 | Embodied AI (1/3) * Introduce to Embodied AI * Kaggle競賽 #4 |
| 第 14 週 | Embodied AI (2/3) * Visual-Language-Action Model |
| 第 15 週 | Embodied AI (3/3) * Large Multi-Modal-Action Model |
| 第 16 週 | 期末考週,暫停一次 |
教科書
自編講義