深度學習系統與實現

隨著AI 技術的突飛猛進,各式各類深度學習技術(CNN, RNN etc) 大幅精進,AI創新應用已不再是遙不可及且高門檻的技術。但深度學習的應用仍都必須面對模型訓練、佈署推論到場域的系統實現問題。我們的目標在於以密集深度學習系統實作為核心,教授學生完整人工智慧系統的使用與設計流程。 我們並不會深入各式深度學習技術理論探討,而是重視深度學習系統所面臨的挑戰與困難,如何善用工具克服挑戰問題。 本課程首先對Nvidia GPU處理器架構做基本介紹?並教授CUDA軟體觀念及如何整合Nvidia runtime(CuDNN, CuBLAS等)之NVdocker image,然後學生將學習如何使用基於GPU加速雲端工作站平台所建構目前最常見的AI framework軟體框架 (Tensorflow, PyTorch etc),藉以訓練Convolutional networks, RNNs, 等AI 神經網路模型。另外,加強hyperparameter調整以求最佳執行速度,掌握從基礎Nvidia GPU系統架構到雲端智慧模型訓練之系統關鍵流程。 另外,在進階階段,我們以實際系統加速問題為學習核心,學生須報告論文與github code分析,互相分享實作經驗,例如parallel and distributed training, network pruning, sparsity optimization, fast data I/O等training 加速,另外我們也會探討終端實現(edge realization)策略,例如TensorRT工具等。我們會邀請國家高速網路與計算中心 (www.nchc.org.tw),負責大型AI雲端系統團隊分享AI雲系統服務,也將邀請工研院資通所有關AI計算加速研究團隊到校演講。 在期末project,我們不將採open-ended 期末專題,而是學生分組完成『定題專題比賽』,兩人一組,將特定AI應用在系統架構下完成展示。全班i-vote評比,系統構想策略、執行方法與系統成果深度。 計算資源: 開發個人應用,學生須自行準備機器建構個人Linux及docker平台,大量計算需求仍須自備GPU卡,不足者請借用校內交大計中部分雲端資源。

Operating Systems, Computer Organization, Linux system (我們鼓勵大學部學生有心從基礎培養系統能力,或未來有志從伺服器系統實作與研究之同學修習此課,深耕自己系統核心功夫)

每周一 於E,F在教室一次授課, 同時助教G節講解實驗作業要求 (限修40人數限制)

程式作業(50%) - 分成5次 Lab work, 每次一小主題,每兩人一組 論文報告(10%) -分享實作經驗 期末專題比賽(40%) - 定題DL應用程式加速大競技,兩人一組,全班i-vote評比,專題構想、執行方法與系統成果深度,全班評比前三名另有獎品。

• GPU Server Architecture
• Nvidia Software Stack
• AI Framework and training system
• Advanced training
• Inference system and services
• Edge realization

地點

Room 424

時間

TBD

聯絡方式

email: tfchen@cs.nctu.edu.tw