機器學習算法可以按照不同的標準來進行分類。按照訓練樣本提供的信息以及反饋方式的不同，將機器學習算法分為監(jiān)督學習、無監(jiān)督學習和強化學習。

監(jiān)督學習

監(jiān)督式學習(Supervised Learning)，是機器學習的一種方法，可以由訓練資料中學到或建立一個模式(函數/learning model)，并依此模式推測新的實例[12]。訓練資料是由輸入物

件(通常是向量)和預期輸出所組成。函數的輸出可以是一個連續(xù)的值，或是預測一個分類標簽。一個監(jiān)督式學習者的任務在觀察一些事先標記過的訓練范例(輸入和預期輸出)后，去預測這個函數對任何可能出現的輸入的輸出。要達到此目的，學習者必須以“合理”(見歸納偏向)的方式從現有的資料中一般化到非觀察到的情況[13]

根據標簽類型的不同，又可以將其分為分類問題和回歸問題兩類。分類問題的目標是通過輸入變量預測出這一樣本所屬的類別，例如對于植物品種、客戶年齡和偏好的預測問題都可以被歸結為分類問題。這一領域中使用最多的模型便是支持向量機，用于生成線性分類的決策邊界。隨著深度學習的發(fā)展，很多基于圖像信號的分類問題越來越多地使用卷積神經網絡來完成?；貧w主要用于預測某一變量的實數取值，其輸出的不是分類結果而是一個實際的值。常見的例子是包括市場價格預測、降水量預測等。人們主要通過線性回歸、多項式回歸以及核方法等來構建回歸模型。

監(jiān)督式學習有兩種形態(tài)的模型：一種是全域模型，會將輸入物件對應到預期輸出;另一種是將這種對應實作在一個區(qū)域模型(如案例推論及最近鄰居法)。為了解決一個給定的監(jiān)督式學習的問題(手寫辨識)，必須考慮以下步驟：

1)決定訓練資料的范例的形態(tài)。在做其它事前，工程師應決定要使用哪種資料為范例。譬如，可能是一個手寫字符，或一整個手寫的辭匯，或一行手寫文字。

2)搜集訓練資料。這資料需要具有真實世界的特征。所以，可以由人類專家或機器(或感測器的)測量中得到輸入物件和其相對應輸出。

3)決定學習函數的輸入特征的表示法。學習函數的準確度與輸入的物件的表示方式有很大的關聯度。傳統(tǒng)上，輸入的物件會被轉成一個特征向量，包含了許多關于描述物件的特征。因為維數災難的存在，特征的個數不宜太多，但也要足夠大，才能準確地預測輸出。

4)決定要學習的函數和其對應的學習算法所使用的數據結構。譬如，工程師可能選擇人工神經網絡和決策樹。

5)完成設計。工程師接著在搜集到的資料上跑學習算法?？梢越栌蓪①Y料跑在資料的子集(稱為驗證集)或交叉驗證(cross-validation)上來調整學習算法的參數。參數調整后，算法可以運行在不同于訓練集的測試集。

無監(jiān)督學習

無監(jiān)督學習(Unsupervised Learning)是機器學習的一種方法，沒有給定事先標記過的訓練示例，自動對輸入的數據進行分類或分群[15]。與監(jiān)督學習不同，非監(jiān)督學習并不需要完整的輸入輸出數據集，并且系統(tǒng)的輸出經常是不確定的。它主要被用于探索數據中隱含的模式和分布。非監(jiān)督學習具有解讀數據并從中尋求解決方案的能力，通過將數據和算法輸入到機器中將能發(fā)現一些用其他方法無法見到的模式和信息。

常見的無監(jiān)督學習算法包括：稀疏自編碼(sparse auto-encoder)、主成分分析(Principal Component Analysis,PCA)、K-Means算法(K均值算法)、DBSCAN算法(Density-Based Spatial Clustering of Applications with Noise)、最大期望算法(Expectation-Maximization algorithm,EM)等。利用無監(jiān)督學習可以解決的問題可以分為關聯分析、聚類問題和維度約減。

?關聯分析是指發(fā)現不同事物之間同時出現的概率。在購物籃分析中被廣泛地應用，如果發(fā)現買面包的客戶有百分之八十的概率買雞蛋，那么商家就會把雞蛋和面包放在相鄰的貨架上。

?聚類問題是指將相似的樣本劃分為一個簇(cluster)。與分類問題不同，聚類問題預先并不知道類別，自然訓練數據也沒有類別的標簽。

?維度約減是指減少數據維度的同時保證不丟失有意義的信息。利用特征提取方法和特征選擇方法，可以達到維度約減的效果。特征選擇是指選擇原始變量的子集。特征提取是將數據從高維度轉換到低維度。廣為熟知的主成分分析算法就是特征提取的方法。

強化學習

強化學習(Reinforcement learning,RL)是機器學習中的一個領域，強調如何基于環(huán)境而行動才能取得最大化的預期利益。其靈感來源于心理學中的行為主義理論，即有機體如何在環(huán)境給予的獎勵或懲罰的刺激下，逐步形成對刺激的預期，產生能獲得最大利益的習慣性行為。這個方法具有普適性，因此在其他許多領域都有研究，例如博弈論、控制論、運籌學、信息論、仿真優(yōu)化、多主體系統(tǒng)學習、群體智能、統(tǒng)計學以及遺傳算法。在運籌學和控制理論研究的語境下，強化學習被稱作“近似動態(tài)規(guī)劃”。在最優(yōu)控制理論中也有研究這個問題，雖然大部分的研究是關于最優(yōu)解的存在和特性，并非是學習或者近似方面。在經濟學和博弈論中，強化學習被用來解釋在有限理性的條件下如何出現平衡[17]。強化學習一般由5個構成要素，包括：系統(tǒng)環(huán)境(System Environment)、參與者(Agent)、觀察(Observation)、行動(Action)和獎勵(Reward)。強化學習是參與者為了最大化長期回報的期望，通過觀察系統(tǒng)環(huán)境不斷試錯進行學習的過程[18]。從強化學習的定義可以看

出，強化學習具有兩個最主要的特征：通過不斷試錯來學習、追求長期回報的最大化。在監(jiān)督學習或非監(jiān)督學習中，數據是靜態(tài)的，不需要與環(huán)境進行交互，比如圖像識別，只要給出足夠的差異樣本，將數據輸入深度網絡中進行訓練即可。然而，強化學習的學習過程是動態(tài)的、不斷交互的，所以需要的數據也是通過與環(huán)境不斷交互而產生的。