深度學習
Deep Learning
學期
111-2
學分
3
學分
當期課號
539100
永久課號
IIAI30004
開課單位
智能系統研究所
授課教師
廖元甫
校區
光復
類別
選修
上課時間表
| 節 | 週二 |
|---|---|
2 09:00–09:50 | 深度學習 EDB06 3 節連堂 |
3 10:10–11:00 | |
4 11:10–12:00 |
* 根據陽明交大上課時間表所列
概述
深度學習為機器學習的進階課程,除將review機器學習的基礎演算法、理論及工具。並將進一步針對特定主題(例如語音信號處理,自然語言處理,影像訊號處理,音訊訊號處理等),深入探討先進的類神經網路模型(例如transformer,BERT等),與進階的訓練演算法(例如self-supervised learning),尤其是討論目前State-of-the-Art(SOTA)技術。最後課程並將針對定主題,以SOTA為目標,進行深度學習實戰競賽(例如Kaggle InClass Competition)。
先修科目
具備程式能力,尤其是python語言 熟習Linux作業系統與與shell script使用方式
教學方式
TensorFlow:https://www.tensorflow.org PyTorch:https://pytorch.org 課外自習參考資料:https://speech.ee.ntu.edu.tw/~hylee/ml
評分方式
線上InClass Kaggle競賽(https://www.kaggle.com/)至少三次(包含繳交Github程式,競賽報告與上台報告方法與心得)100%
週次計畫
| 週次 | 主題 |
|---|---|
| 第 1 週 | Course Overview |
| 第 2 週 | Introduction to Multi-Modal Foundation Models |
| 第 3 週 | 228 國定假日 |
| 第 4 週 | Introduction to Deep Learning (1/3) * DNN * CNN * Kaggle競賽 #1 |
| 第 5 週 | Introduction to Deep Learning (2/3) * RNN/LSTM * ResNet |
| 第 6 週 | Introduction to Deep Learning (3/3) * Sequence-to-Sequence Model * AutoEncoder * Transformer |
| 第 7 週 | 停課/411補課 |
| 第 8 週 | 404 國定假日 |
| 第 9 週 | Self-Supervised learning (1/4) * Speech - Wav2Vec * Kaggle競賽 #2 |
| 第 10 週 | Self-Supervised learning (2/4) * Speech - HuBERT |
| 第 11 週 | Self-Supervised learning (3/4) * Text - BERT |
| 第 12 週 | Self-Supervised learning (4/4) * Text - T5 |
| 第 13 週 | generative AI (1/3) |
| 第 14 週 | generative AI (2/3) |
| 第 15 週 | generative AI (3/3) |
| 第 16 週 | 期末考週,暫停一次 |
| 第 17 週 | |
| 第 18 週 |
教科書
自編講義