智慧感知與機器學習
Intelligent Sensing and Machine Learning
| 節 | 週一 |
|---|---|
3 10:10–11:00 | 智慧感知與機器學習 ED102 2 節連堂 |
4 11:10–12:00 |
* 根據陽明交大上課時間表所列
概述: 由於機器學習以及深度學習的相關技術不斷進步,許多影像處理方面的新技術不斷的被開發出來。除了影像及視覺之外,在應用面還有許多相關的感測器,也都能夠不斷地收集資料,形成所謂的巨量資料。這些感測器的資料,可以透過機器學習或是深度學習的技術加以分析,得到更豐富的高階資訊,同時感測器資料也可以和電腦視覺互相結合,進行感測資料融合。本課程將介紹相關智慧感知的深度學習技術: (i) 進行相關前沿論文(SOTA)的探討, (ii) 探索相關主題之論文,學習論文撰寫. 目標: 人工智慧的發展已經從深度學習(Deep Learning)進展到大模型(Large Models,也稱為基礎模型,Foundation Models),並在近期迅速邁向多模態模型(Multi-Modality Models)。多模態深度學習是人工智慧的一個高階課程,專注於建立能夠處理和整合來自多種模態(例如文本、圖像、音訊、視訊和感測數據)資料的模型,並執行廣泛的任務。與僅處理單一類型資料的單模態模型不同,多模態模型可以有效整合來自不同數據來源的互補資訊,使其能夠做出更準確的預測並生成更豐富的輸出。本課程將探討大模型的開發設計、各種應用、擴展技巧、微調方法、多模態深度學習的原理、跨模態模型對齊技術,以及特定領域的應用實踐。
曾經修過以下課程之一較佳: 影像處理、電腦視覺、機器學習、資料庫、深度學習等相關課程
The course mainly contains a sequence of oral presentations of recent papers.
written reports: 50% oral presentation: 20% final report: 30%
| 週次 | 主題 |
|---|---|
| 第 1 週 | 基礎知識介紹:機器學習介紹、生成式模型及演算法、感測器相關基礎知識 |
| 第 2 週 | 物體辨認以及人員辨識:切割模型、人類活動辨識分析模型(範例如 InfoGCN) |
| 第 3 週 | 辨識以及追蹤模型:車流交通辨識、 深度學習追蹤器設計原理 |
| 第 4 週 | 影像生成相關模型: 影像插補技術、醫學影像插補技術 |
| 第 5 週 | 資料及收集法論:收集方法論、台灣手語資料集收集範例介紹 |
| 第 6 週 | 持續動作辨識:空間以及時間切割方法(範例如 ASFormer) |
| 第 7 週 | 大語言模型:prompting 技術, RAG 應用原理以及範例、影像結合 RAG之技巧、機器人對話案例介紹、Qurey2doc 及 llama 介紹 |
| 第 8 週 | 多模態模型:SAM、CLIP、llava、BLIP、BLIP2 相關模型之介紹 |
| 第 9 週 | 視覺語言模型原理 I:VLM、個人化模型 MyVLM、視覺至文字轉譯(ViTA) |
| 第 10 週 | 視覺語言模型原理 II:Yolo-World、auto-prompt、 應用於 motionretargeting 之範例 |
| 第 11 週 | 視覺與感測器融合技術: Person-in-WiFi 模型以及相關資料收集技巧 |
| 第 12 週 | 模型安全以及 Deepfake 介紹: stable diffusion, adversarial ttack, 3D attacks |
| 第 13 週 | 聯邦學習、邊緣計算 AI |
| 第 14 週 | CLIP 相關應用: 醫學影像器官切割模型、motionCLIP 技術介紹、視覺以及文字模態對齊(alignment)技術、各類對齊技術 |
| 第 15 週 | technical writing and final reports |
| 第 16 週 | technical writing and final reports |
- recent papers in federated learning - recent papers in precision sports and posture research - recent papers in generated images/videos - recent papers in medical imaging - recent works in dataset curation - recent progresses in video technology - recent papers in AI security - recent papers in multimodal models - recent papers in LLM and it extensions
- 地點
- EC room 533
- 時間
- Monday 12:00-13:00
- 聯絡方式
- Please check personal webpage (search "yctseng", and follow department webpage).