自然語言處理
Natural Language Processing
學期
113-1
學分
3
學分
當期課號
578004
永久課號
AAAI30004
開課單位
AI聯盟學分學程(學士班)
授課教師
高宏宇
類別
選修
上課時間表
| 節 | 週二 | 週四 |
|---|---|---|
5 13:20–14:10 | 自然語言處理 2 節連堂 | 自然語言處理 |
6 14:20–15:10 |
* 根據陽明交大上課時間表所列
概述
本課程旨在介紹自然語言處理(NLP)和大型語言模型(LLM)的基礎知識和前瞻技術,適合對自然語言技術感興趣的學生。隨著生成式人工智慧技術的快速發展,NLP在各個領域中的應用日益廣泛。 本課程將提供學生NLP理論基礎,並結合實際應用,幫助學生掌握最新的NLP與LLM技術。課程內容主要分為以下幾個部分: 1. 文字處理基礎:介紹NLP的基本概念和常用技術。教學基本的文字處理技術,如分詞、詞性標註、命名實體識別等。 2. 機器學習模型:機器學習基本概念和算法,如線性回歸、決策樹、隨機森林等。介紹如何將機器學習應用於NLP,包括文本分類、情感分析等。 3. 語言模型:語言模型的基本概念與原理,如N-gram模型、Word2Vec等。深度學習在語言模型中的應用,如RNN、LSTM、Transformer等架構。詳細講解BERT、GPT等先進語言模型,並探討其在不同NLP任務中的應用。 4. 前瞻大語言模型技術:介紹大型語言模型的發展歷程與最新研究進展,如GPT-3等。探討這些模型的訓練方法、大規模資料集的使用,以及在不同領域中的能力。介紹輕量化微調技術(PEFT),如LoRA,並說明其在提高訓練效率和效果方面的優勢。
評分方式
Homework x 5 75% Term Project x1 25%
週次計畫
| 週次 | 主題 |
|---|---|
| 第 1 週 | 9/3,9/5 Introduction to NLP & applications |
| 第 2 週 | 9/9,9/11 Introduction to NLP & applications, word vector |
| 第 3 週 | 9/17,9/19 Introduction to AI & Python - Neural Network, Deep learning |
| 第 4 週 | 9/24,9/26 Introduction to AI & Python - Numpy, Panda, Scikit Learn, PTorch |
| 第 5 週 | 10/1,10/3 NLP with NN - RNN, LSTM |
| 第 6 週 | 10/8,10/10 NLP with NN - Word Embedding |
| 第 7 週 | 10/15,10/17 Introduction to Generative AI |
| 第 8 週 | 10/22,10/24 Introduction to Generative AI - Seq2Seq |
| 第 9 週 | 10/29,10/31 Introduction to Generative AI - BERT, GPT, T5 |
| 第 10 週 | 11/5,11/7 Introduction to Generative AI - Transformer |
| 第 11 週 | 11/12,11/14 Large Language Model |
| 第 12 週 | 11/19,11/21 Large Language Model |
| 第 13 週 | 11/26,11/28 Training in PM (pre-trained models) - In context learning |
| 第 14 週 | 12/3,12/5 Training in PM (pre-trained models) - PEFT / LoRA |
| 第 15 週 | 12/10,12/12 Application Implementation & Challenges |
| 第 16 週 | 12/17,12/19 Application Implementation & Challenges |