哈工大劉挺：自然語言處理中的可解釋性問題
加入技術(shù)交流群
“知其然，亦知其所以然”是現(xiàn)代計算機科學(xué)家針對神經(jīng)網(wǎng)絡(luò)可解釋性問題追逐努力的方向和夢想。針對自然語言處理中的可解釋性問題，哈爾濱工業(yè)大學(xué)劉挺教授在2022北京智源大會報告中做了詳盡的解讀。首先介紹了自然語言處理中的可解釋性概念，分類及研究可解釋性的必要性，重點介紹了可解釋自然語言處理中的三種方法，包括白盒透明模型的設(shè)計、黑盒事后解釋方法以及灰盒融合可解釋要素方法。最后，劉挺教授提出了可解釋性的白盒模型設(shè)計以及可解釋性評估等未來發(fā)展的挑戰(zhàn)和研究方向。（注：本文由第三方整理，未經(jīng)本人審閱）
劉挺，哈爾濱工業(yè)大學(xué)教授，哈工大計算學(xué)部主任兼計算機學(xué)院院長、自然語言處理研究所所長
國家“萬人計劃”科技創(chuàng)新領(lǐng)軍人才，“十四五”國家重點研發(fā)計劃“先進計算與新興軟件”、“社會治理與智慧社會科技支撐”兩個重點專項的指南專家、教育部人工智能科技創(chuàng)新專家組專家。中國計算機學(xué)會會士、理事，中國中文信息學(xué)會副理事長、社會媒體處理專委會（SMP）主任，黑龍江省中文信息處理重點實驗室主任，黑龍江省“人工智能”頭雁團隊帶頭人。曾任國際頂級會議ACL、EMNLP領(lǐng)域主席。主要研究方向為人工智能、自然語言處理、社會計算和智慧醫(yī)療等，是國家重點研發(fā)項目“人機融合會診”的首席科學(xué)家。主持研制“語言技術(shù)平臺LTP”、“大詞林”等科研成果被業(yè)界廣泛使用。曾獲國家科技進步二等獎、省科技進步一等獎、錢偉長中文信息處理科學(xué)技術(shù)一等獎等。
NLP中的可解釋性
如今，大多數(shù)端到端的深度學(xué)習(xí)模型都是黑盒。開發(fā)者很難得知AI系統(tǒng)做出某個決策的依據(jù)，難以辨析影響方法成敗的關(guān)鍵因素。因而，開發(fā)者難以進行針對性的調(diào)整，修改神經(jīng)網(wǎng)絡(luò)的架構(gòu)，從而使決策過程更加準(zhǔn)確。而可解釋的AI可以在做出決策的同事給出相應(yīng)的依據(jù)，明確AI方法的適用場景，使決策結(jié)果是可控可反饋的，增強用戶對人工智能系統(tǒng)的信賴度。
深度學(xué)習(xí)已經(jīng)取得了巨大成功，但深度學(xué)習(xí)的進一步應(yīng)用遇到了倫理、用戶信任以及糾錯等方面的挑戰(zhàn)，盡管黑盒系統(tǒng)因其優(yōu)越的性能得到廣泛應(yīng)用，但也因為其決策難以被理解所以在應(yīng)用中受到限制。
可解釋性是衡量人工智能系統(tǒng)性能的重要指標(biāo)。在司法、醫(yī)療、金融等重要領(lǐng)域中，不可知、不可控的人工智能技術(shù)會引發(fā)爭議。可解釋性的研究能夠提升人工智能技術(shù)的可信度，實現(xiàn)更加可控的推理決策。
可解釋AI在國際上受到了越來越大的關(guān)注，越來越多的國際相關(guān)組織機構(gòu)將可解釋性AI作為重要的技術(shù)發(fā)展戰(zhàn)略。例如，美國DARPA在2017年開展了可解釋人工智能計劃，2019年谷歌發(fā)布了《可解釋人工智能白皮書》等。在我國，《新一代人工智能發(fā)展規(guī)劃》提到了可解釋人工智能的研究。今年5月16號，國家自然科學(xué)基金委也提出了「可解釋、通用的下一代人工智能方案」重大研究計劃。
可解釋人工智能系統(tǒng)主要由被「解釋的對象」、「解釋者」以及「解釋受眾」三部分組成。被解釋的對象即人工智能體的決策機制；解釋者為負(fù)責(zé)提供解釋的一方，一般會由機器自我解釋，也有一部分是事后解釋，包括第三方的解釋系統(tǒng)或者人類專家；解釋的受眾是聽取解釋并試圖理解的一方，包括AI系統(tǒng)開發(fā)者、AI使用者和受影響者、AI系統(tǒng)監(jiān)管者等。
模型的解釋可以分為兩大類：
（1）透明模型，即自解釋或直接解釋。在做出決策或預(yù)測的過程中直接產(chǎn)生一些信息，呈現(xiàn)給用戶一種解釋。此時，解釋和模型的預(yù)測同時產(chǎn)生。例如，決策樹和基于規(guī)則的模型都是透明的模型。
（2）事后解釋，對于預(yù)測結(jié)果需要執(zhí)行額外的操作才能夠解釋當(dāng)前系統(tǒng)做出決策的原因。比如利用可解釋模型對復(fù)雜模型的部分輸出進行建模，形成替代模型，使用可解釋的替代模型解釋輸出。
可解釋自然語言處理可以簡稱為XNLP，指能以可解釋、可理解、人機交互的方式，與自然語言處理系統(tǒng)的開發(fā)者、使用者、決策者等，達成清晰有效的交流溝通。在取得人類信任的同時，滿足各類應(yīng)用場景對智能體決策機制的監(jiān)管要求。
傳統(tǒng)的自然語言處理方法具有可解釋性，可稱之為白盒技術(shù)。應(yīng)用白盒技術(shù)便于用戶與系統(tǒng)之間的交互、有利于開發(fā)者對系統(tǒng)的修改糾錯。而深度學(xué)習(xí)模型以語言嵌入作為特征，盡管顯著提高了模型的性能，但模型難以解釋，可稱之為黑盒技術(shù)。應(yīng)用黑盒技術(shù)更容易獲取更優(yōu)秀的結(jié)果，但是在涉及財產(chǎn)和生命安全等因素的領(lǐng)域難以更廣泛地應(yīng)用。例如，性能極其優(yōu)異的深度學(xué)習(xí)模型GPT-3會在如下所示的預(yù)測任務(wù)中出現(xiàn)錯誤，而研究者難以分析其做出錯誤決策的原因。
計算機視覺領(lǐng)域可以通過注意力機制，利用“高亮”顯示與標(biāo)簽相關(guān)的圖像區(qū)域；而自然語言處理領(lǐng)域除了注意力機制“高亮”顯示與標(biāo)簽相關(guān)的文本片段之外，還可以通過輸出“解釋文本”輔助理解決策原因，比如或者利用結(jié)構(gòu)化的知識圖譜、符號推理給出推理路徑，用推理路徑來進行解釋。
白盒透明模型設(shè)計
白盒透明模型的設(shè)計主要方法首先是特征重要性，提取特征過程當(dāng)中已經(jīng)埋下了后續(xù)對系統(tǒng)進行解釋的一個非常好的伏筆。其次是溯源，比如問奧巴馬的女兒有多大，基于知識圖譜進行推理得到的奧巴馬的女兒是18歲，那么把知識圖譜推理路徑展示出來就成為一個很好的解釋。
劉挺老師所在實驗室針對白盒系統(tǒng)的設(shè)計做了一個基于神經(jīng)自然邏輯的多項選擇問答系統(tǒng)，嘗試用神經(jīng)網(wǎng)絡(luò)的方法執(zhí)行符號推理，本質(zhì)推理還是在符號層面進行推理，具有天然的可解釋性。但由于符號推理本身存在一些問題，需要用神經(jīng)網(wǎng)絡(luò)的語義的表示方法去注入，使符號推理的任務(wù)更可行更強大。
系統(tǒng)主要針對多項選擇問題，例如把grandPaOf進行拆分，可以等價推出關(guān)系是祖孫的關(guān)系，但是庫里面只有g(shù)randfather這樣的關(guān)系詞，可以通過語義的相似度計算，把grandpa和grandfather進行合并。系統(tǒng)采用自然邏輯進行推理，自然邏輯是一種基于語義單調(diào)性的邏輯，有7種基本的語義關(guān)系，可以直接在文本上通過插入、刪除和替換單詞進行擴展、推理。比如所有動物需要水，經(jīng)過操作，動物是反向蘊含狗，所有動物都需要水，所有狗也都需要水，就可以進行這樣的推理。
同時系統(tǒng)希望采用證據(jù)推理來支持問答的任務(wù)，比如說問嚙齒動物吃植物嗎？有一個支持的答案或者叫證據(jù)就是松鼠是吃松子的，松鼠是嚙齒動物，松子是一種植物，就可以用自然邏輯通過增刪改等等方式進行替換，把推理路徑找出來，這個解釋自然也就成立。但在找推理路徑尤其各種概念合一的過程當(dāng)中，又是需要神經(jīng)網(wǎng)絡(luò)的幫助，用神經(jīng)網(wǎng)絡(luò)去進行嵌入式語義表示，更好刻畫上下文，更準(zhǔn)確的判斷單詞與單詞之間的語義關(guān)系。
黑盒事后解釋方法
黑盒事后解釋是當(dāng)前最主要的NLP解釋方法。
「替代模型」是一種主流的黑盒事后解釋方法，它通過學(xué)習(xí)另一個具有可解釋能力的簡單模型作為代理來進行解釋，讓替代模型的輸入輸出盡可能模擬原來黑盒的模型。但是這種方法的可行性也受到了一些學(xué)者的質(zhì)疑。
第二種方法叫做「樣例驅(qū)動」，通過識別和呈現(xiàn)其它與輸入實例語義相似的已標(biāo)注好原因或者解釋的文本的實例解釋對輸入實例的預(yù)測，樣例驅(qū)動常用于問答系統(tǒng)，類似于基于最近鄰的方法。
第三種方法為注意力機制，例如機器翻譯系統(tǒng)，通過注意力機制發(fā)現(xiàn)高亮的不同，亮度的區(qū)別確實于與注意力的強弱相對應(yīng)，解釋單詞的翻譯依據(jù)。但目前可解釋性與注意力的對應(yīng)關(guān)系尚無定論。
第四種方法為探針方法，指使用模型的編碼表征來訓(xùn)練一個分類器，該分類器用于探索編碼表征中是否掌握某些語言學(xué)知識，如詞性信息、句法信息、語義信息等。若分類器在探針任務(wù)上表現(xiàn)良好，則可認(rèn)為機器掌握了相關(guān)的語言學(xué)知識，可以有理有據(jù)地進行問答。
群體情緒原因發(fā)現(xiàn)
根據(jù)疫情期間每天獲取的上千萬條與疫情相關(guān)的微博，研究者們對微博上各地的情緒分布進行統(tǒng)計，繪制出了如下圖所示的微博情緒地圖。
基于注意力機制的解釋
基于注意力機制為閱讀理解任務(wù)提供可解釋性也屬于「事后解釋方法」。這里面主要探討注意力機制是否能夠解釋預(yù)訓(xùn)練模型的運行機制。研究者采用了一個包含四部分的注意力矩陣，Q2 代表問題到問題；P2 代表篇章理解；Q2P是從問題到篇章；尋找答案的線索；P2Q是對答案進行驗證。研究者分別對這幾個部分進行注意力機制的分析。
一般來說，高注意力對系統(tǒng)的影響比較大，比如說特殊的符號，對角線的元素。但在閱讀理解問題上，研究者們發(fā)現(xiàn)去掉單個符號影響不大，去掉多個特殊的符號在英文上性能下降比較明顯，然而中文上下降不是太明顯，去掉對角的元素反而可以提升閱讀理解的準(zhǔn)確率。P2Q和P2P仍然是影響結(jié)果重要性的最主要的注意力區(qū)域。
探針方法
研究者們使用探針方法，實現(xiàn)對話理解中的可解釋性認(rèn)證。對話當(dāng)中蘊含豐富的語言現(xiàn)象，傳統(tǒng)對話系統(tǒng)無法理解對話中的省略和指代等現(xiàn)象，模型產(chǎn)生回復(fù)的過程不可解釋。而劉挺教授團隊在人人對話數(shù)據(jù)中插入QA對，通過對話模型能否正確地回答問題來檢驗?zāi)Ｐ褪欠裾嬲斫鈱υ挼恼Z義。并由此提出了一個DEQA數(shù)據(jù)集，通過可解釋的QA方式驗證了主流模型無法正確理解對話中語義的問題。
解釋要素的注入
劉挺教授團隊將符號知識注入神經(jīng)網(wǎng)絡(luò)，實現(xiàn)事件、時間、常識的知識預(yù)測。通過邏輯的推理可以擴大神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集，同時利用邏輯規(guī)則在上層約束神經(jīng)網(wǎng)絡(luò)。從文本中無監(jiān)督抽取的時間常識可能存在報告偏差，常見的情況在文本中并未顯式提及，自然文本中幾乎不會有類似的表達，預(yù)訓(xùn)練等大模型會在文本表達中對非尋?，F(xiàn)象加以強調(diào)。劉挺教授介紹的方法通過利用不同維度間的時間常識知識之間的約束關(guān)系降低報告誤差。
無監(jiān)督文本生產(chǎn)解釋
劉挺教授團隊針對閱讀理解構(gòu)建自解釋系統(tǒng)，提出了一個基于迭代式動態(tài)門限機制的無監(jiān)督字解釋方法。通過借鑒知識蒸餾的傳統(tǒng)做法，建立一個雙子系統(tǒng)。閱讀器負(fù)責(zé)正常訓(xùn)練閱讀理解任務(wù)，解釋器通過門機制控制輸入篇章的內(nèi)容量保留篇章中最重要的部分，進而使用閱讀器做模型預(yù)測生成答案，使用解釋器產(chǎn)生解釋文本。最終得到的實驗結(jié)果相比傳統(tǒng)方法獲得了更高的答題準(zhǔn)確率，因此不需要以答題準(zhǔn)確率為代價換取可解釋性，在人工評價指標(biāo)上也取得了較好的效果。
可解釋性的評價
針對可解釋性評價的挑戰(zhàn)，劉挺教授團隊也提出了兩個針對可解釋性評價的數(shù)據(jù)集，分別是可解釋性閱讀理解數(shù)據(jù)集ExpMRC和可解釋的因果推理數(shù)據(jù)集。
- 灰盒融合可解釋要素方法
灰盒方法的主要思想是在構(gòu)建系統(tǒng)的時候嵌入可解釋的要素。劉挺教授首先介紹了基于神經(jīng)-符號相結(jié)合的可解釋性自然語言理解。符號表示有可程序化化可解釋性強等優(yōu)點，而神經(jīng)AI表示能力和適應(yīng)能力強，劉挺教授團隊嘗試將兩者的優(yōu)點結(jié)合在一起，構(gòu)造了一個名為ExCAR的因果邏輯增強的可解釋因果推理框架，例如從量化寬松到房價上漲找到推理路徑，利用神經(jīng)邏輯網(wǎng)絡(luò)和條件馬爾可夫還原背后的因果決策機制。
基于規(guī)則挖掘的知識發(fā)現(xiàn)，一般用表示學(xué)習(xí)、強化學(xué)習(xí)去進行知識的發(fā)現(xiàn)，利用實體的描述文本和結(jié)構(gòu)信息實現(xiàn)知識不全；利用文本模型的輸出稠密化知識圖譜；利用EM和ML兩種方法融合文本模型和結(jié)構(gòu)模型，進而實現(xiàn)基于分層推理的知識發(fā)現(xiàn)。
- 總結(jié)和展望
劉挺教授本次報告向大家分享了白盒、黑盒以及灰盒等可解釋性方法，也介紹一些評價的方法和數(shù)據(jù)集。劉挺教授認(rèn)為，可解釋人工智能未來的發(fā)展趨勢是神經(jīng)網(wǎng)絡(luò)和符號系統(tǒng)相互結(jié)合、推理規(guī)則與預(yù)訓(xùn)練模型的相互結(jié)合以及可解釋規(guī)則證據(jù)的歸納和可視化。另外，如何設(shè)計面向自然語言處理的白盒模型是一項很大的挑戰(zhàn)?，F(xiàn)在多數(shù)工作仍然集中于黑盒的事后解釋以及如何利用可解釋要素提出灰盒方法，難點在于多數(shù)NLP模型基于神經(jīng)網(wǎng)絡(luò)模型，而神經(jīng)網(wǎng)絡(luò)模型本身的可解釋性仍然是未解難題。除此以外，可解釋性的評價需要更加綜合、全面地進行評估，結(jié)合腦科學(xué)的學(xué)科發(fā)展對可解釋性進行進一步的探索也是未來重要的研究方向。
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
