資料科學、統計與R

在此數據爆炸的時代,巧妙運用「大數據」(big data),將可為我們的生活從醫療、政府、教育、經濟、人文各個方面,帶來新的價值與創新。然而大數據的內容常常是混亂不齊、品質不一,而且分布在無數伺服器中。因此如何從大數據裡,引出潛藏其中的價值,便成為現在最急迫的工作,一個新的科學領域:「資料科學」(data science)也孕育而生。統計是從複雜數據中萃取出有用訊息的學問,因此在資料科學領域裡,便扮演了舉足輕重的角色。傳統統計領域著重於數理方法學的發展,入門門檻高,往往讓其他領域想運用統計分析方法的人卻步。近年來R統計軟體(https://www.r-project.org/)的出現,改變了統計分析方法難以親近的面貌,透過R統計軟體,使用者不用完全了解統計方法深奧的理論背景,便可以輕易執行許多複雜的統計分析。 本課程將以實際的大數據為核心,搭配R統計軟體的使用,引導課程參與者接觸並學習統計基本原理、資料探索方法(exploratory data analysis)、統計檢定(statistical hypothesis testing)相關的概念和方法、迴歸分析(regression analysis)、主成份與因素分析(principal component and factor analysis)、集群分析(cluster analysis)、分類與判別分析(classification and discrimination analysis)等資料探勘(data mining)相關的概念和方法。 上課內容,將廣泛包含所有相關知識,上課時側重講述這些知識的基本觀念與模型解釋(如果需要時)。對於深入的理論與其餘詳細資訊,則僅作重點提示或提供參考文獻。課堂中將以實際的例子來補充上課內容,並討論相關方法的統計軟體R的實作。學期成績的評定,則依據繳交的作業與課程實作計劃報告。我們將結合不同背景的學生組成課程實作計劃工作小組,每一工作小組將各自選定一大數據分析議題,針對特定的問題提出解決方案,實作整個大數據分析。

1. 有寫電腦程式的經驗  像:C, C++, Java, Python, R,... 2. 最好修過基礎統計學  知道:隨機變數、信賴區間、假設檢定、... 3. 願意學習新的軟體、工具  常會非常花時間  要大量閱讀網路上的文件  閱讀許多英文文件

課堂講解 原則上,每星期二9:00-12:00,由授課教師或邀請講者,講解課程相關的主題。上課內容,將廣泛包含所有相關知識,上課時側重講述這些知識的生成動機、基本觀念與模型解釋(如果需要時)。對於深入的理論與其餘詳細資訊,則僅作重點提示或提供參考文獻。期盼日後當學生獨立進行統計分析時,這些廣泛的知識,能增廣他們思考問題的角度,並成為眾多他們可選擇的解決方案。若要進行更深入的模型研究與理論推導時,則知道要從何下手與到何處去找尋相關的輔助資訊。 演習課 不定期,於星期二11:10-12:00,由助教或邀請講者,就某一主題的上課內容,進行補充。演習課將著重於以實際的例子來補充上課內容,或討論相關分析方法的R統計軟體實作。 課前、課後的自行閱讀、自行學習 課堂講解會廣泛包含所有相關主題,側重觀念的講述。補充與衍生內容,則會提供相關來源與網路連結,要求學生於課前或課後自行閱讀。又由於大數據分析領域的蓬勃發展,相關開放課程、分析方法、分析工具、成果應用、開放資料、...等遍佈於網路,因此同學們則常需要(或可以)自行學習新的軟體、工具,並吸收新的知識、應用。注意,許多網路連結與文件是以英文撰寫,英文閱讀的能力將會非常重要。 作業 作業會以實際的統計資料分析為核心,練習資料的截取、清理、存取(資料爬梳);如何運用正確、新穎的統計方法;資料、結果的視覺化。作業的目的在學習實作資料分析的技能,並且測試你對課堂內容的理解程度。把寫作業視為一個學習的機會,而不是為了要賺取分數。 由於大部份的作業問題,會須要以R程式軟體來進行實作、分析,因此要求同學們的作業要以R Markdown (http://rmarkdown.rstudio.com/)的格式來撰寫。R markdown能將你的文字說明、數學式子、R程式、R執行結果、...等,結合成一個文件,如此將易於他人閱讀與重製(reproduce)你的分析。 你可與其他同學討論作業,以幫助理解所問的問題、釐清課程概念。但是你必須獨立完成所繳交的作業,作業中要求寫的電腦程式、跑的資料分析、解釋的分析結果,都不可與他人共同合作。 課程實作計劃 修課學生須完成一份大數據分析的計劃,其目的在讓你能就一個所關心或有興趣的議題,運用課堂上所學的方法與技術,從問題形成、資料來源確認、資料搜集、儲存與整理、模型建立與分析、結果呈現、說明與視覺化,實作整個大數據分析計畫,以一窺大數據分析的全貌。 每份計劃報告將由最多4位修課同學共同完成,成員期盼能結合不同專業背景(統計、資工、其他專業知識領域)。每一報告工作小組,將各自選定一個所關心或有興趣的議題(非模型、方法、理論等技術性探討)。學期中,每個組員將先就計畫主題(包含:描述問題、預計如何回答),各自繳交一份書面報告。學期末,整個工作小組將就計劃的:問題(目的為何?想預測或估計什麼?)、資料(那裡來的?看起來像什麼?)、分析模型、結果(新發現、與聽眾溝通、視覺化),進行15分鐘的口頭報告,與繳交最終書面報告。

學期成績的計算方式為: 1. 作業:50%(根據個人繳交之作業) 2. 實作計劃期中報告:20%(根據個人繳交之書面報告) 3. 實作計劃期末報告:30%(根據整個工作小組的報告)

•  Fundamental of statistics
•  Exploratory data analysis
•  Statistical decision making: hypothesis testing
•  Regression analysis
•  Principal component and factor analysis
•  Cluster analysis
•  Classification and discrimination analysis

本門課將會以R統計軟體(http://www.r-project.org/),來當作資料分析實作的工具。因此不論演習課助教講解與作業問題,皆會以R程式軟體的操作與撰寫為基礎。 本門課雖無指定、必須購買的教科書,然相關的自行閱讀、補充教材內容,將出自以下幾本參考書籍: 1. Irizarry RA, Love MI (2015): Data Analysis for the Life Sciences. 這本書的相關訊息,可從以下連結獲得:https://leanpub.com/dataanalysisforthelifesciences 2. Montgomery DC, Peck EA, Vining GG (2012): Introduction to Linear Regression Analysis (5th Edition). Wiley. 這本書是「迴歸分析」的主要參考書目。 3. Johnson RA, Wichern DW (2007): Applied Multivariate Statistical Analysis (6th Edition). Prentice Hall, Upper Saddle River, NJ. 這本書是「多變量分析」的主要參考書目。 本課程所有上課投影片與相關補充資料,還有用以執行演習課實際例子與上課講議圖形的R程式,都將會公佈於課程網頁。

地點

綜合一館423室

時間

請事先預約

聯絡方式

Emai: ghuang@stat.nctu.edu.tw