編者按：NeurIPS 2021大會(huì)剛剛結(jié)束。在今年的大會(huì)上，微軟亞洲研究院共有22篇論文入選，而其中的8篇都有微軟亞洲研究院首席研究員秦濤的參與。自加入微軟亞洲研究院以來(lái)，秦濤已在 NeurIPS、ICML、ICLR、IJCAI、AAAI、CVRP 等業(yè)界頂級(jí)期刊、會(huì)議上發(fā)表了100余篇論文，他所帶領(lǐng)的團(tuán)隊(duì)也在2018年將中-英機(jī)器翻譯提升至人類專業(yè)水平，在2019年國(guó)際機(jī)器翻譯大賽上獲得8項(xiàng)冠軍，并且還開發(fā)了迄今為止最強(qiáng)大的麻將 AI 系統(tǒng) Suphx，所研發(fā)的語(yǔ)音合成技術(shù)被廣泛應(yīng)用于微軟 Azure 認(rèn)知服務(wù)、Windows 等多個(gè)微軟核心產(chǎn)品和服務(wù)中。如何持續(xù)不斷地產(chǎn)出高質(zhì)量的科研創(chuàng)新成果？或許你可以從秦濤的科研經(jīng)歷中獲得一份“錦囊”。

在 NeurIPS 2021大會(huì)上，微軟亞洲研究院首席研究員秦濤博士參與的論文有8篇被收錄，成為本屆大會(huì)收錄論文數(shù)最高的研究員之一。其中一篇論文重新審視了深度學(xué)習(xí)中廣泛使用的 Dropout 算法，針對(duì)其訓(xùn)練和測(cè)試階段的不一致性提出了改進(jìn)算法 R-Drop；另一篇擯棄了傳統(tǒng)生成式建模中由一個(gè)過(guò)于簡(jiǎn)化的邊緣（先驗(yàn)）分布加一個(gè)條件分布來(lái)確定兩個(gè)隨機(jī)變量聯(lián)合分布的做法，提出了由兩個(gè)條件分布來(lái)確定聯(lián)合分布的理論，從而避免了使用因過(guò)于簡(jiǎn)化而與實(shí)際不符的邊緣分布，并基于此理論提出了一個(gè)全新的生成式建模模式 CyGen。R-Drop 的論文體現(xiàn)了科研人員對(duì)已有技術(shù)的反思與獨(dú)立思考能力，而 CyGen 的文章則更具原創(chuàng)性，反映了科研思維的深度。秦濤說(shuō)，“做研究時(shí)，碰到別人習(xí)以為常的事情，我們需要思考那樣做是否有道理，是否可以改進(jìn)，從而培養(yǎng)自己獨(dú)立思考、深度思考的習(xí)慣?！?/p>

微軟亞洲研究院首席研究員秦濤

事實(shí)上，不僅是在今年的 NeurIPS 大會(huì)上秦濤和團(tuán)隊(duì)“盆缽滿盈”，自加入微軟亞洲研究院以來(lái)，秦濤已在頂級(jí)期刊、會(huì)議上發(fā)表了100余篇論文。同時(shí)，他所帶領(lǐng)的團(tuán)隊(duì)近年來(lái)也在學(xué)術(shù)界、產(chǎn)業(yè)界屢獲佳績(jī)，不少科研成果已被廣泛應(yīng)用。

究竟是怎樣的“魔力”可以讓秦濤在研究中另辟蹊徑，不斷提出新問(wèn)題，應(yīng)對(duì)新挑戰(zhàn)，創(chuàng)造無(wú)限可能？

加入微軟亞洲研究院是不二選擇

2008年，秦濤正式加入了微軟亞洲研究院，但在此之前他已經(jīng)是這里的一名“老員工”了。2003年，還在讀碩士的秦濤來(lái)到微軟亞洲研究院實(shí)習(xí)，一直到博士畢業(yè)。期間，秦濤還曾作為優(yōu)秀實(shí)習(xí)生受邀到比爾·蓋茨家參加活動(dòng)?！拔④泚喼扪芯吭菏钱?dāng)時(shí)國(guó)內(nèi)最好的計(jì)算機(jī)科學(xué)研究機(jī)構(gòu)。五年的實(shí)習(xí)時(shí)間已經(jīng)讓我體會(huì)到了研究院自由的研究環(huán)境和學(xué)術(shù)氛圍。”秦濤說(shuō)，“這里擁有眾多優(yōu)秀的研究人員和實(shí)習(xí)生，與其單打獨(dú)斗，研究院更鼓勵(lì)我們共同合作創(chuàng)新。所以畢業(yè)后，我沒(méi)有考慮其他選擇，毫不猶豫地加入了微軟亞洲研究院?！?/p>

2007年微軟亞洲研究院優(yōu)秀實(shí)習(xí)生合影（右一：秦濤）

從實(shí)習(xí)生到正式的研究員，秦濤的研究方向發(fā)生了多次轉(zhuǎn)換。實(shí)習(xí)初期秦濤主要從事圖像檢索方面的研究，利用 SVM、Boosting 或決策樹等技術(shù)處理人工設(shè)計(jì)特征（比如直方圖、紋理分布、SIFT 等）。2005年，微軟意識(shí)到了互聯(lián)網(wǎng)搜索的發(fā)展前景，開始布局搜索引擎業(yè)務(wù)。于是，秦濤和團(tuán)隊(duì)開始集中精力于互聯(lián)網(wǎng)搜索的研究。

全情投入很快得到了回報(bào)，在同年信息檢索領(lǐng)域的頂級(jí)學(xué)術(shù)大會(huì) SIGIR 收錄的75篇論文中，有15篇來(lái)自微軟亞洲研究院，占比20%?！拔覀兠總€(gè)人都穿著同樣的T恤，合影時(shí)不斷引來(lái)大家的關(guān)注和稱贊，‘你們（微軟亞洲研究院）來(lái)了這么多人呀‘”，回憶起當(dāng)年參會(huì)的場(chǎng)景，秦濤依舊難掩興奮之情。這次經(jīng)歷讓秦濤倍感榮耀，也讓他感受到了微軟亞洲研究院在全球計(jì)算機(jī)科研界的實(shí)力與位置。

2005年，秦濤參加 SIGIR 大會(huì)

互聯(lián)網(wǎng)搜索工作的持續(xù)進(jìn)步，以及與產(chǎn)品團(tuán)隊(duì)的深入合作，讓秦濤又將目光對(duì)準(zhǔn)了互聯(lián)網(wǎng)廣告的研究。不同于互聯(lián)網(wǎng)搜索中只對(duì)網(wǎng)頁(yè)進(jìn)行正常排序，互聯(lián)網(wǎng)廣告則需要將優(yōu)質(zhì)的廣告和用戶的查詢?cè)~按相關(guān)度排序，以提升用戶的體驗(yàn)。于是秦濤和同事們開始著手于廣告點(diǎn)擊率預(yù)測(cè)的相關(guān)研究，并拓展到廣告拍賣機(jī)制的設(shè)計(jì)和改進(jìn)，以實(shí)現(xiàn)必應(yīng)（Bing）廣告業(yè)務(wù)的優(yōu)化。其實(shí)無(wú)論是圖文檢索、互聯(lián)網(wǎng)搜索，還是廣告排序，都是機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用，這些積累也讓秦濤及團(tuán)隊(duì)看到了深度學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)等技術(shù)的潛力，為后來(lái)秦濤團(tuán)隊(duì)在機(jī)器翻譯、語(yǔ)音合成、語(yǔ)音識(shí)別、強(qiáng)化學(xué)習(xí)等領(lǐng)域的突破性創(chuàng)新奠定了基礎(chǔ)。

創(chuàng)新對(duì)偶學(xué)習(xí)，帶來(lái)更多可能性

隨著對(duì)機(jī)器學(xué)習(xí)技術(shù)的深入研究，秦濤團(tuán)隊(duì)發(fā)現(xiàn)很多實(shí)際應(yīng)用中的機(jī)器學(xué)習(xí)任務(wù)的輸入輸出互為對(duì)偶，比如機(jī)器翻譯中的中翻英任務(wù)和英翻中任務(wù)，語(yǔ)音處理中的語(yǔ)音合成任務(wù)（從文本到語(yǔ)音）和語(yǔ)音識(shí)別任務(wù)（從語(yǔ)音到文本），圖文處理中的“看圖說(shuō)話”任務(wù)（從圖像生成文本）和基于文本的圖像生成任務(wù)。利用這種機(jī)器學(xué)習(xí)任務(wù)之間輸入輸出的對(duì)偶屬性可以對(duì)無(wú)標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)，提升機(jī)器學(xué)習(xí)算法特別是深度學(xué)習(xí)算法的性能。

這就是由秦濤團(tuán)隊(duì)2016年提出，今天已為業(yè)界所熟知的機(jī)器學(xué)習(xí)新范式——對(duì)偶學(xué)習(xí)。對(duì)偶學(xué)習(xí)思想最關(guān)鍵的地方在于，給定一個(gè)原始任務(wù)模型，它的對(duì)偶任務(wù)模型可以給其提供反饋；同樣的，給定一個(gè)對(duì)偶任務(wù)的模型，其原始任務(wù)模型也可以給該對(duì)偶任務(wù)的模型提供反饋，從而這兩個(gè)互為對(duì)偶的任務(wù)可以相互提供反饋，相互學(xué)習(xí)，共同提高。

最初，對(duì)偶學(xué)習(xí)只為解決機(jī)器翻譯任務(wù)，后來(lái)逐漸應(yīng)用于更廣泛的領(lǐng)域，包括機(jī)器問(wèn)答、語(yǔ)音識(shí)別、語(yǔ)音合成，甚至是圖像風(fēng)格的轉(zhuǎn)換，比如將圖像從梵高風(fēng)格轉(zhuǎn)換成其他畫家的風(fēng)格，將山水畫轉(zhuǎn)變?yōu)橛彤?，等等。?duì)偶學(xué)習(xí)還可以用于智能代碼生成任務(wù)，同時(shí)提高代碼注釋與代碼生成的性能。

值得一提的是，得益于對(duì)偶學(xué)習(xí)，秦濤團(tuán)隊(duì)助力微軟機(jī)器翻譯在2018年中-英機(jī)器翻譯中達(dá)到了媲美人類專業(yè)翻譯的水平，并在2019年的機(jī)器翻譯比賽中獲得了8項(xiàng)機(jī)器翻譯冠軍。2020年，秦濤和同事們還將對(duì)偶學(xué)習(xí)編寫成書，讓更多人了解和使用這一技術(shù)。

《Dual Learning（對(duì)偶學(xué)習(xí)）》

對(duì)偶學(xué)習(xí)從技術(shù)上講并不是特別困難，而在于換個(gè)角度看問(wèn)題，把具有對(duì)偶屬性的兩個(gè)任務(wù)放在一起聯(lián)合學(xué)習(xí)，利用兩個(gè)模型的輸入輸出形成反饋閉環(huán)，這不同于傳統(tǒng)的單任務(wù)學(xué)習(xí)范式，也不同于近年來(lái)的多任務(wù)學(xué)習(xí)。秦濤總結(jié)到，“更重要的是創(chuàng)新性思維，能否從一個(gè)全新的視角看問(wèn)題，做到這一點(diǎn)就不難發(fā)現(xiàn)一片新的天地。”

做有意義的研究：小語(yǔ)種機(jī)器翻譯

讓秦濤擁有成就感的研究項(xiàng)目不少，但其中有一項(xiàng)工作意義尤為特殊——低資源機(jī)器翻譯。就在前不久，微軟翻譯突破了百種語(yǔ)言和方言大關(guān)?！耙黄?00種語(yǔ)言的契機(jī)和靈感來(lái)源于奧運(yùn)會(huì)，”秦濤介紹道，“我們發(fā)現(xiàn)2020年?yáng)|京奧運(yùn)會(huì)的官方網(wǎng)站上只提供了7種語(yǔ)言支持，而參賽的國(guó)家卻有200多個(gè)。若要在語(yǔ)言翻譯方面更加充分地體現(xiàn)奧林匹克的共贏精神，還需要技術(shù)的進(jìn)一步助力?！彪m然機(jī)器翻譯的水平隨著人工智能技術(shù)的進(jìn)展在不斷提高，但縱觀市面上的翻譯技術(shù)和產(chǎn)品，大多專注于訓(xùn)練資源更加豐富大語(yǔ)種，而忽略了低資源的小語(yǔ)種。但事實(shí)是，使用小語(yǔ)種的國(guó)家和人群屬于經(jīng)濟(jì)欠發(fā)達(dá)行列的占比更大，他們更需要獲取新信息、新知識(shí)、新技術(shù)。

“我們的目標(biāo)是‘一個(gè)也不能少’，希望所有奧運(yùn)參賽國(guó)的運(yùn)動(dòng)員和受眾不僅可以在機(jī)器翻譯技術(shù)的幫助下更好地參加和觀看奧運(yùn)會(huì)，還可以了解到世界上更多的前沿信息。這個(gè)項(xiàng)目可能并不能帶來(lái)巨大的商業(yè)價(jià)值，我們也不是為了發(fā)表論文，我們更希望的是我們的技術(shù)可以幫助小語(yǔ)種使用者打開視野，打破人類語(yǔ)言交流的障礙，這類研究非常有意義?！?/p>

將想法付諸于行動(dòng)后，秦濤和研究院以及產(chǎn)品部門的同事們一起利用對(duì)偶學(xué)習(xí)、預(yù)訓(xùn)練等技術(shù)，克服了小語(yǔ)種使用范圍小、學(xué)習(xí)語(yǔ)料少的困難，在近期為微軟翻譯又添加了14種語(yǔ)言和方言翻譯，包括美尼亞語(yǔ)、阿塞拜疆語(yǔ)、藏語(yǔ)、高棉語(yǔ)、蒂格里尼亞語(yǔ)、阿姆哈拉奇語(yǔ)、老撾語(yǔ)、****語(yǔ)、尼泊爾語(yǔ)、土庫(kù)曼語(yǔ)、蒙古語(yǔ)（西里爾文字）、蒙古語(yǔ)（傳統(tǒng)文字）、維吾爾語(yǔ)和烏茲別克語(yǔ)（拉丁文字）。目前微軟翻譯已支持103種語(yǔ)言和方言的翻譯。

語(yǔ)音合成實(shí)現(xiàn)“秒殺”

除了將機(jī)器學(xué)習(xí)的強(qiáng)大優(yōu)勢(shì)應(yīng)用在語(yǔ)言翻譯方面，秦濤和團(tuán)隊(duì)還積極探索機(jī)器學(xué)習(xí)在語(yǔ)音合成上的更多可能性。盡管深度神經(jīng)網(wǎng)絡(luò)近年來(lái)已被學(xué)術(shù)界所認(rèn)可，應(yīng)用在語(yǔ)音合成方面也有不錯(cuò)的效果，但秦濤和同事們發(fā)現(xiàn)模型的運(yùn)行非常慢，即使使用 V100這種在2019年性能最佳的 GPU 也達(dá)不到實(shí)時(shí)的效果——一句5秒鐘的話，機(jī)器卻無(wú)法在5秒內(nèi)合成語(yǔ)音。而通過(guò)不斷增加 GPU 來(lái)完成任務(wù)，其成本是無(wú)法承擔(dān)的，因此用戶也無(wú)法受益于最新的機(jī)器學(xué)習(xí)技術(shù)。為此，秦濤團(tuán)隊(duì)和浙江大學(xué)聯(lián)合推出了 FastSpeech 算法，將梅爾譜的生成速度提高了近270倍，讓端到端平均合成一條5秒鐘語(yǔ)音的時(shí)間達(dá)到0.18秒，單 GPU 上的語(yǔ)音合成速度達(dá)到了實(shí)時(shí)語(yǔ)音速度的30倍。

FastSpeech 網(wǎng)絡(luò)架構(gòu)

如今，F(xiàn)astSpeech 算法已經(jīng)在微軟的產(chǎn)品中大范圍應(yīng)用，包括 Teams、Skype、Windows、Azure 中的所有語(yǔ)音合成服務(wù)，現(xiàn)在微軟的語(yǔ)音合成（TTS）服務(wù)已支持超過(guò)110種語(yǔ)言和270多種語(yǔ)音。

在開放、包容、多元的研究環(huán)境中成長(zhǎng)

從2003年的實(shí)習(xí)生，到2008年的正式研究員，再到今天的首席研究員，角色的變化讓秦濤感受責(zé)任的不同?！霸趯?shí)習(xí)期間，我主要集中精力于做實(shí)驗(yàn)、寫論文；而成為正式的研究員后，我思考的更多的是研究的價(jià)值和意義，如何與同事們一起完成‘頂天立地’的研究。”秦濤解釋道，頂天就是要做最前沿的研究，例如研究院近年來(lái)鼓勵(lì)的 AI+科學(xué)的交叉研究方向；立地則是要做有用的研究，希望我們的技術(shù)能夠通過(guò)改進(jìn)微軟的產(chǎn)品，造福所有用戶。

在微軟亞洲研究院工作的18年讓秦濤愈發(fā)感受到了開放、協(xié)作、多元、包容文化對(duì)創(chuàng)新型研究的促進(jìn)作用。為了推動(dòng)跨領(lǐng)域交流和交叉學(xué)科的研究，微軟亞洲研究院引入了各領(lǐng)域的優(yōu)秀人才，同時(shí)還會(huì)不定期地組織交流分享活動(dòng)。秦濤負(fù)責(zé)組織的“大師論壇”會(huì)邀請(qǐng)公司內(nèi)外部專家分享跨領(lǐng)域的專業(yè)知識(shí)和洞察。“在與不同專業(yè)背景的同事合作研究的過(guò)程中，我們會(huì)有不認(rèn)同、質(zhì)疑對(duì)方的時(shí)刻，但是很多新的思想正是在碰撞中產(chǎn)生的；對(duì)于一致認(rèn)同的想法，我們會(huì)共同讓想法落地；對(duì)于新的觀點(diǎn)，也會(huì)嘗試驗(yàn)證，提出新的算法、范式，不斷推進(jìn)研究工作?！痹谇貪磥?lái)，求同存異對(duì)于研究創(chuàng)新至關(guān)重要。

秦濤與團(tuán)隊(duì)成員開會(huì)探討研究進(jìn)展（右三：秦濤）

此外，當(dāng)有實(shí)習(xí)生提出新想法時(shí)，秦濤會(huì)鼓勵(lì)大家從一開始就將想法提煉成一兩頁(yè)的書面文檔。這樣做不僅能理清思路，為后續(xù)研究工作形成論文打好基礎(chǔ)，更重要的是可以把想法在初期就分享給其他人，及時(shí)獲取反饋、建議和質(zhì)疑，從而確保工作在起步階段就可以站在巨人的肩膀上。秦濤還強(qiáng)調(diào)，做研究并不是為了發(fā)論文，發(fā)論文是為了做更好的、有意義的研究，只有好的研究工作才值得發(fā)論文。

業(yè)余時(shí)間，秦濤喜歡讀書。為了拓寬自己的視野，他讀書的范圍并不局限于專業(yè)領(lǐng)域。最近秦濤正在讀《后疫情時(shí)代的中國(guó)經(jīng)濟(jì)》和《人類進(jìn)化史》兩本書。秦濤認(rèn)為，雖然這些書對(duì)自己的專業(yè)研究沒(méi)有直接的幫助，但卻可以讓自己看得更遠(yuǎn)、更深，和微軟一起更好地承擔(dān)起社會(huì)責(zé)任。