智慧感知與機器學習
Intelligent Sensing and Machine Learning
| 節 | 週一 |
|---|---|
3 10:10–11:00 | 智慧感知與機器學習 ED302 2 節連堂 |
4 11:10–12:00 |
* 根據陽明交大上課時間表所列
先修科目或先備能力: One of the followings: computer vision, machine learning, and deep learning (or related) • 課程概述與目標: 由於機器學習以及深度學習的相關技術不斷進步，新的電腦視覺技術不斷 的被開發出來。各式各樣的感測元件，包含影像及視覺、體感、環境感知、遙測等，能夠收集 巨量資料，透過機器學習或是深度學習的分析技術，得到豐富的高階資訊。不同感測資料也 可以互相資料融合，進入多模態模型領域。同時，未來AI將會有更多實體行為，結合機器人在 physical AI與人類互動。 • 本課程將: (i) 介紹相關智慧感知的深度學習技術, (ii) 進行相關前沿論文(SOTA)的研讀, (iii) 探索相關主題之論文, (iv)報告論文(Learn to write)
曾經修過以下課程之一較佳: 影像處理、電腦視覺、機器學習、資料庫、深度學習等相關課程
The course mainly contains a sequence of oral presentations of recent papers.
• (60%) Homework — Written in English — Prepared in Latex, formatted as scientific report • (10%) Participation in class discussion — Ask questions, raise your opinions • (30%) Final survey report on your selected topic — Oral presentation — Written report (also in Latex, 8-15 pages)
| 週次 | 主題 |
|---|---|
| 第 1 週 | 基礎知識介紹：機器學習介紹、生成式模型及演算法、感測器相關基礎知識 |
| 第 2 週 | basics of ML 物體辨認以及人員辨識：切割模型、人類活動辨識分析模型 |
| 第 3 週 | bjects, segmentation, actions 辨識以及追蹤模型：車流交通辨識、 深度學習追蹤器設計原理 |
| 第 4 週 | tracking, trajectory prediction 影像生成相關模型： 影像插補技術、醫學影像插補技術 |
| 第 5 週 | imaging, inpainting, medical imaging, pose 資料及收集法論：收集方法論、台灣手語資料集收集範例介紹 |
| 第 6 週 | dataset curation, labeling tools, simulators 持續動作辨識：空間以及時間切割方法（範例如 ASFormer） |
| 第 7 週 | (Holiday) 大語言模型：prompting 技術, RAG 應用原理以及範例、影像結合 RAG之技巧、機器人對話案例介紹、Qurey2doc 及 llama 介紹 |
| 第 8 週 | LLM-1 (multi-modality, alignment, world models) 多模態模型：SAM、CLIP、llava、BLIP、BLIP2 相關模型之介紹 |
| 第 9 週 | LLM-2 (prompt engineering, more world models, VLM) 視覺語言模型原理 I：VLM、個人化模型 MyVLM、視覺至文字轉譯（ViTA） |
| 第 10 週 | Video QA, long video reasoning 視覺語言模型原理 II：Yolo-World、auto-prompt、 應用於 motionretargeting 之範例 |
| 第 11 週 | sensor and vision 視覺與感測器融合技術： Person-in-WiFi 模型以及相關資料收集技巧 |
| 第 12 週 | deepfake, federated learning, and trustable AI 模型安全以及 Deepfake 介紹: stable diffusion, adversarial ttack, 3D attacks |
| 第 13 週 | human pose and HAR 聯邦學習、邊緣計算 AI |
| 第 14 週 | spatial reasoning, affordance, VLA & robotics CLIP 相關應用： 醫學影像器官切割模型、motionCLIP 技術介紹、視覺以及文字模態對齊(alignment)技術、各類對齊技術 |
| 第 15 週 | technical writing and final reports |
| 第 16 週 | technical writing and final reports |
- recent papers in federated learning - recent papers in precision sports and posture research - recent papers in generated images/videos - recent papers in medical imaging - recent works in dataset curation - recent progresses in video technology - recent papers in AI security - recent papers in multimodal models - recent papers in LLM and it extensions - recent papers in VLM - recent papers in world models - recent papers in robotics and physical AI
- 地點
- EC room 533
- 時間
- Monday 12:00-13:00
- 聯絡方式
- Please check personal webpage (search "yctseng", and follow department webpage).