自然語言處理
Natural Language Processing
學期
114-1
學分
3
學分
當期課號
578103
永久課號
AAAI30004
開課單位
AI聯盟學分學程(研究所)
授課教師
高宏宇
類別
選修
上課時間表
| 節 | 週二 | 週四 |
|---|---|---|
5 13:20–14:10 | 自然語言處理 2 節連堂 | 自然語言處理 |
6 14:20–15:10 |
* 根據陽明交大上課時間表所列
概述
本課程旨在介紹自然語言處理(NLP)和大型語言模型(LLM)的基礎知識和前瞻技術,適合對自然語言技術感興趣的學生。隨著生成式人工智慧技術的快速發展,NLP在各個領域中的應用日益廣泛。 本課程將提供學生NLP理論基礎,並結合實際應用,幫助學生掌握最新的NLP與LLM技術。 課程內容主要分為以下幾個部分: 1. 文字處理基礎:介紹NLP的基本概念和常用技術。教學基本的文字處理技術,如分詞、詞性標註、命名實體識別等。 2. 機器學習模型:機器學習基本概念和算法,如線性回歸、決策樹、隨機森林等。介紹如何將機器學習應用於NLP,包括文本分類、情感分析等。 3. 語言模型:語言模型的基本概念與原理,如N-gram模型、Word2Vec等。深度學習在語言模型中的應用,如RNN、LSTM、Transformer等架構。詳細講解BERT、GPT 等先進語言模型,並探討其在不同NLP任務中的應用。 4. 前瞻大語言模型技術:介紹大型語言模型的發展歷程與最新研究進展,如GPT-3等。探討這些模型的訓練方法、大規模資料集的使用,以及在不同領域中的能力。介紹輕 量化微調技術(PEFT),如LoRA,並說明其在提高訓練效率和效果方面的優勢。
先修科目
建議學生須先具Python程式語言的先備知識。
教學方式
■ 遠距上課位置:https://cool.ntu.edu.tw/courses/41436/modules ■ 課程網頁:https://github.com/IKMLab/NTHU_Natural_Language_Processing
評分方式
■ Homework x 5 75% ■ Term Project x1 25%
週次計畫
| 週次 | 主題 |
|---|---|
| 第 1 週 | 課程簡介 Syllabus / Introduction to NLP |
| 第 2 週 | 自然語言處理簡介 (1/2) Introduction to NLP (vector space, indexing, parts of speech, phrase structure) |
| 第 3 週 | 自然語言處理簡介 (2/2) Introduction to NLP (Language model) |
| 第 4 週 | 基礎文字資料機器學習 (1/2) Basic machine learning for text (Text Classification, NB, NN) |
| 第 5 週 | 基礎文字資料機器學習 (2/2) Basic machine learning for text (word embedding, text representation) |
| 第 6 週 | Python for text tutorial (1/2) 本週不直播上課,將有課程錄影與學習進度,請學生自行學習。 |
| 第 7 週 | Python for text tutorial (2/2) |
| 第 8 週 | 文字生成式AI簡介(1/3) Introduction to GAI (text): Word embeddings, Language Modeling (RNN), Sequence-to-sequence Models, and Attention Mechanisms, Sub-word Tokenization; Transformers |
| 第 9 週 | 文字生成式AI簡介(2/3) Introduction to GAI (text): ELMo, BERT, GPT, and T5 (BERT and its Family) |
| 第 10 週 | 文字生成式AI簡介(3/3) Introduction to GAI (text): Decoding Strategies and Evaluations for Natural Language Generation |
| 第 11 週 | 大語言模型簡介與訓練 (1/4): Large language model concept and training (GPT-3, InstructGPT, RLHF) |
| 第 12 週 | 大語言模型簡介與訓練 (2/4): Parameter Efficient Fine-Tuning (PEFT) |
| 第 13 週 | 大語言模型簡介與訓練 (3/4): Introduction and Review technique of Retrieval Augmented Generation (RAG) I |
| 第 14 週 | 大語言模型簡介與訓練 (4/4): Introduction and Review technique of Retrieval Augmented Generation (RAG) II |
| 第 15 週 | Application Implementation & Challenges |
| 第 16 週 | Application Implementation & Challenges |
教科書
無 (自編講義)