深度學習於醫學影像分析
Deep learning in medical image analysis
| 節 | 週五 |
|---|---|
5 13:20–14:10 | 深度學習於醫學影像分析 A406 3 節連堂 |
6 14:20–15:10 | |
7 15:30–16:20 |
* 根據陽明交大上課時間表所列
機器學習(machine learning)的最新進展,特別是在深度學習(deep learning),對於醫學影像的識別、分類和特徵選取產生了巨大的助益。這些先進的深度學習方法,也從而提高了醫學影像於各種臨床醫療上的應用。 本課程將以實際的醫學影像數據為核心,搭配Python軟體的使用,引導課程參與者接觸並學習:(1)醫學影像原理與處理儲存系統,(2)深度學習方法與原理,以及(3)深度學習方法於特定醫學影像分析上的應用。 課程共分四大主題,分別為: 主題1—單光子電腦斷層掃描(single photon emission computed tomography, SPECT)的多類別分類(multiclass classification); 主題2—核磁共振造影(magnetic resonance imaging, MRI)的3D影像分析; 主題3—超音波掃描(sonography)於頸動脈分割(segmentation)與血流速度評估; 主題4—X光影像(X-ray)中常見胸部疾病之物件偵測(object detection)。 原則上,每一主題將以三周的時間完成授課:第一周介紹相關的醫學影像原理與處理儲存系統,第二周說明應用的深度學習方法與原理,第三周則討論深度學習方法於該醫學影像分析主題上的應用。 上課內容,將廣泛包含所有相關知識,上課時側重講述這些知識的基本觀念與模型解釋。對於深入的理論與其餘詳細資訊,則僅作重點提示或提供參考文獻。課堂中將以實際的例子來補充上課內容,並討論相關方法的Python軟體的實作。 學期成績的評定,則依據繳交的5份作業。
1. 有寫電腦程式的經驗 像:C, C++, Java, Python, R,... 2. 最好修過基礎統計學 知道:隨機變數、信賴區間、假設檢定、... 3. 願意學習新的軟體、工具 常會非常花時間 要大量閱讀網路上的文件 閱讀許多英文文件
課程網頁 http://ghuang.stat.nycu.edu.tw/course/dlmia23/ 課堂講解 原則上,每星期五13:20-15:10 (前兩節課),由授課教師(或邀請講者)講授相關知識與方法,15:30-16:20 (第三節課),則由課程助教帶領同學進行相關方法的Python軟體實作。 上課內容,將廣泛包含所有相關知識,上課時側重講述這些知識的生成動機、基本觀念與模型解釋。對於深入的理論與其餘詳細資訊,則僅作重點提示或提供參考文獻。期盼日後當學生獨立進行醫學影像分析時,這些廣泛的知識,能增廣他們思考問題的角度,並成為眾多他們可選擇的解決方案。若要進行更深入的模型研究與理論推導時,則知道要從何下手與到何處去找尋相關的輔助資訊。 課前、課後的自行閱讀、自行學習 課堂講解會廣泛包含所有相關主題,側重觀念的講述。補充與衍生內容,則會提供相關來源與網路連結,要求學生於課前或課後自行閱讀。又由於醫學影像分析領域的蓬勃發展,相關開放課程、分析方法、分析工具、成果應用、開放資料、...等遍佈於網路,因此同學們則常需要(或可以)自行學習新的軟體、工具,並吸收新的知識、應用。注意,許多網路連結與文件是以英文撰寫,英文閱讀的能力將會非常重要。
作業 第一份作業將分析一筆「手寫郵遞區號數字」資料,讓同學以Python軟體來實作傳統的類神經網路(neural networks)模型,也藉此熟悉Python軟體的運作。接著每一主題課程完成後,將會提供該主題的醫學影像數據,讓學生練習影像的清理、存取;資料、結果的視覺化;如何運用正確、新穎的深度學習方法。 每份作業相關的Python程式範例,會在每週助教軟體實作課(第三節課)時講解。 由於大部份的作業問題,會須要以Python軟體來進行實作、分析,因此要求同學們的作業要以jupyter (https://jupyter.org/)的格式來撰寫。jupyter能將你的文字說明、數學式子、Python程式、Python執行結果、...等,結合成一個文件,如此將易於他人閱讀與重製(reproduce)你的分析。 作業的目的在學習實作深度學習方法,並且測試你對課堂內容的理解程度。把寫作業視為一個學習的機會,而不是為了要賺取分數。你可與其他同學討論作業,以幫助理解所問的問題、釐清課程概念。但是你必須獨立完成所繳交的作業,作業中要求寫的電腦程式、跑的資料分析、解釋的分析結果,都不可與他人共同合作。 學期成績的計算方式 學期成績的計算,將依據繳交的5份作業: 1. 第一份作業(類神經網路模型實作):10% 2. 第二份作業(單光子電腦斷層掃描的多類別分類):20% 3. 第三份作業(核磁共振造影的3D影像分析):20% 4. 第四份作業(超音波掃描於頸動脈分割與血流速度評估):20% 5. 第五份作業(X光影像中常見胸部疾病之物件偵測):30% — 這份作業將以「計劃書面報告」的形式繳交,內容詳述分析的:問題(目的為何?想預測或估計什麼?重要性?)、資料來源(公用資料庫下載、實驗室資料或自行搜集?)與背景、分析流程(分析方法、模型、視覺化手法、...)、結果(新發現、與觀眾溝通、視覺化)。
| 週次 | 主題 |
|---|---|
| 第 1 週 | 教師授課內容: 醫學影像深度學習導論 助教Python軟體實作: Introduction to Python: how to install Python, where to run the programs (e.g., Google colab) |
| 第 2 週 | 教師授課內容: Introduction to neural networks 助教Python軟體實作: Python for neural network modeling |
| 第 3 週 | 中秋節 no class |
| 第 4 週 | 教師授課內容: 醫學影像原理與處理儲存系統-單光子電腦斷層掃描(single photon emission computed tomography, SPECT) 助教Python軟體實作: SPECT image preprocessing Homework 1 due |
| 第 5 週 | 教師授課內容: Convolutional neural network (CNN) |
| 第 6 週 | 教師授課內容: Image classification, CNN architectures, and transfer learning 助教Python軟體實作: Image classification, transfer learning, and CNN architectures: VGG16, ResNet50 etc. |
| 第 7 週 | 教師授課內容: 醫學影像原理與處理儲存系統-核磁共振造影(magnetic resonance imaging, MRI) 助教Python軟體實作: MRI image normalization and interpolation |
| 第 8 週 | 教師授課內容: Training neural networks Homework 2 due |
| 第 9 週 | 教師授課內容: 1. Classification on imbalanced data and image augmentation 2. Three dimensional CNN 助教Python軟體實作: Classification on imbalanced data, image augmentation, and analysis of 3D images: single slice, late fusion, early fusion, and 3D CNN approaches |
| 第 10 週 | 教師授課內容: 醫學影像原理與處理儲存系統-超音波掃描(sonography) 助教Python軟體實作: Reading onography images and their carotid artery labels |
| 第 11 週 | 教師授課內容: Regularization and optimization for deep learning Homework 3 due |
| 第 12 週 | 教師授課內容: 1. Evaluation metrics 2. Image segmentation 助教Python軟體實作: Image segmentation: FCN and U-Net |
| 第 13 週 | 教師授課內容: 醫學影像原理與處理儲存系統-X光影像(X-ray) 助教Python軟體實作: X-ray image normalization |
| 第 14 週 | 教師授課內容: Visualizing and understanding CNNs Homework 4 due |
| 第 15 週 | 教師授課內容: Object detection 助教Python軟體實作: Object detection: faster_R-CNN, mask_R-CNN, and RetinaNet |
| 第 16 週 | 學校期末考周 no class |
| 第 17 週 | no class Homework 5 due |
課程實作軟體 本門課將會以Python軟體(https://www.python.org/),來當作分析實作的工具。因此不論演習課助教講解與作業問題,皆會以Python軟體的操作與撰寫為基礎。同學們的作業要以jupyter (https://jupyter.org/)的格式來撰寫,以利於將你的文字說明、數學式子、Python程式、Python執行結果、...等,結合成一個文件,方便他人閱讀與重製你的分析。 教科書 本門課雖無指定、必須購買的教科書,然相關的自行閱讀、補充教材內容,將出自以下幾本參考書籍: 1. Goodfellow I, Bengio Y, Courville A (2016): Deep learning. The MIT Press. 這本書的相關訊息,可從以下連結獲得:https://www.deeplearningbook.org/ 2. Zhou SK, Greenspan H, Shen D (editors) (2017): Deep Learning for Medical Image Analysis. Academic Press. 3. Hastie T, Tibshirani R, Friedman J (2009): The Elements of Statistical Learning (2nd edition). Springer. 這本書是「機器學習方法」的主要參考書目。 本課程所有上課投影片與相關補充資料,還有用以執行實際分析例子的Python程式,都將會公佈於課程網頁。
- 地點
- 光復校區 綜合一館 A423
- 時間
- 請以email約定時間
- 聯絡方式
- Email: ghuang@nycu.edu.tw