可解釋性是指人類能夠理解決策原因的程度。機器學(xué)習(xí)模型的可解釋性越高，人們就越容易理解為什么做出某些決定或預(yù)測。模型可解釋性指對模型內(nèi)部機制的理解以及對模型結(jié)果的理解。其重要性體現(xiàn)在：建模階段，輔助開發(fā)人員理解模型，進行模型的對比選擇，必要時優(yōu)化調(diào)整模型;在投入運行階段，向業(yè)務(wù)方解釋模型的內(nèi)部機制，對模型結(jié)果進行解釋。比如基金推薦模型，需要解釋：為何為這個用戶推薦某支基金。

機器學(xué)習(xí)流程步驟：收集數(shù)據(jù)、清洗數(shù)據(jù)、訓(xùn)練模型、基于驗證或測試錯誤或其他評價指標選擇最好的模型。第一步，選擇比較小的錯誤率和比較高的準確率的高精度的模型。第二步，面臨準確率和模型復(fù)雜度之間的權(quán)衡，但一個模型越復(fù)雜就越難以解釋。一個簡單的線性回歸非常好解釋，因為它只考慮了自變量與因變量之間的線性相關(guān)關(guān)系，但是也正因為如此，它無法處理更復(fù)雜的關(guān)系，模型在測試集上的預(yù)測精度也更有可能比較低。而深度神經(jīng)網(wǎng)絡(luò)處于另一個極端，因為它們能夠在多個層次進行抽象推斷，所以他們可以處理因變量與自變量之間非常復(fù)雜的關(guān)系，并且達到非常高的精度。但是這種復(fù)雜性也使模型成為黑箱，我們無法獲知所有產(chǎn)生模型預(yù)測結(jié)果的這些特征之間的關(guān)系，所以我們只能用準確率、錯誤率這樣的評價標準來代替，來評估模型的可信性。事實上，每個分類問題的機器學(xué)習(xí)流程中都應(yīng)該包括模型理解和模型解釋，原因如下：

模型改進：

理解指標特征、分類、預(yù)測，進而理解為什么一個機器學(xué)習(xí)模型會做出這樣的決定、什么特征在決定中起最重要作用，能讓我們判斷模型是否符合常理。一個深度的神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)區(qū)分狼和哈士奇的圖像。模型使用大量圖像訓(xùn)練，并使用另外的一些圖像進行測試。90%的圖像被準確預(yù)測，這值得我們高興。但是在沒有計算解釋函數(shù)(explainer function)時，我們不知道該模型主要基于背景：狼圖像通常有一個下雪的背景，而哈士奇的圖像很少有。所以我們不知不覺地做了一個雪地探測器，如果只看準

確率這樣的指標，我們就不會看到這一點。知道了模型是如何使用特征進行預(yù)測的，我們就能直覺地判斷我們的模型是否抓住了有意義的特征，模型是或否能泛化到其他樣本的預(yù)測上。

模型可信性與透明度：

理解機器學(xué)習(xí)模型在提高模型可信度和提供審視預(yù)測結(jié)果透明度上是非常必要的，讓黑箱模型來決定人們的生活是不現(xiàn)實的，比如貸款和監(jiān)獄刑法。另一個對機器學(xué)習(xí)結(jié)果可信度提出質(zhì)疑的領(lǐng)域是藥品，模型結(jié)果會直接決定病人的生與死。機器學(xué)習(xí)模型在區(qū)分惡性腫瘤和不同類型的良性腫瘤方面是非常準確的，但是我們依然需要專家對診斷結(jié)果進行解釋，解釋為什么一個機器學(xué)習(xí)模型將某個患者的腫瘤歸類為良性或惡性將大大幫助醫(yī)生信任和使用機器學(xué)習(xí)模型來支持他們工作。長久來看，更好地理解機器學(xué)習(xí)模型可以節(jié)省大量時間、防止收入損失。如果一個模型沒有做出合理的決定，在應(yīng)用這個模型并造成不良影響之前，我們就可以發(fā)現(xiàn)這一點。

識別和防止偏差：

方差和偏差是機器學(xué)習(xí)中廣泛討論的話題。有偏差的模型經(jīng)常由有偏見的事實導(dǎo)致，如果數(shù)據(jù)包含微妙的偏差，模型就會學(xué)習(xí)下來并認為擬合很好。一個有名的例子是，用機器學(xué)習(xí)模型來為囚犯建議定罪量刑，這顯然反映了司法體系在種族不平等上的內(nèi)在偏差。其他例子比如用于招聘的機器學(xué)習(xí)模型，揭示了在特定職位上的性別偏差，比如男性軟件工程師和女性護士。機器學(xué)習(xí)模型在我們生活的各個層面上都是強有力的工具，而且它也會變得越來越流行。所以作為數(shù)據(jù)科學(xué)家和決策制定者來說，理解訓(xùn)練和發(fā)布的模型如何做出決策，從而可以事先預(yù)防偏差的增大以及消除它們。