AI研習(xí)社按：8 月 7 日 - 9 日，由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）承辦，鵬城實(shí)驗(yàn)室、深圳市人工智能與機(jī)器人研究院協(xié)辦的第五屆 CCF-GAIR 2020 全球人工智能與機(jī)器人峰會(huì)如期落地。

8 日，峰會(huì)與 AI 研習(xí)社、OpenI 啟智社區(qū)聯(lián)合舉辦“AI 源創(chuàng)專(zhuān)場(chǎng)”，重點(diǎn)討論了新基建背景下，國(guó)內(nèi)開(kāi)源創(chuàng)新建設(shè)將催生的新勢(shì)能，以及其將引發(fā)和促進(jìn)的新產(chǎn)業(yè)機(jī)會(huì)。

AI源創(chuàng)專(zhuān)場(chǎng)現(xiàn)場(chǎng)迎來(lái)了華為計(jì)算開(kāi)源生態(tài)部副總監(jiān)黃之鵬。一年前，華為發(fā)布了全場(chǎng)景 AI 計(jì)算框架 MindSpore，并同時(shí)公布了 2020 年的開(kāi)源計(jì)劃。今年 3 月底，開(kāi)發(fā)者們?nèi)缙谟瓉?lái)了MindSpore全面開(kāi)源。MindSpore 可以適應(yīng)端、邊、云多個(gè)場(chǎng)景，并且與華為昇騰 AI 處理器的協(xié)同優(yōu)化能帶來(lái)效率提升，黃之鵬就此發(fā)表演講。

       （華為計(jì)算開(kāi)源生態(tài)部副總監(jiān)，黃之鵬）

黃之鵬在演講中介紹了 MindSpore 的功能、特性以及在華為的業(yè)務(wù)落地情況。

MindSpore是提供面向端、邊、云全場(chǎng)景的統(tǒng)一API，對(duì)開(kāi)發(fā)者提供一些非常友好的特性。目前 MindSpore在華為的業(yè)務(wù)上已經(jīng)有了落地，內(nèi)部有很多的實(shí)驗(yàn)室已經(jīng)大規(guī)模的應(yīng)用了 MindSpore 的框架。華為手機(jī)搭載的 HMS 4.0開(kāi)始已經(jīng)搭載 MindSpore 的端側(cè)推理能力，主要支撐的是 ML-kit使能的手機(jī)App。

除了自動(dòng)微分、自動(dòng)并行、二階優(yōu)化、量化訓(xùn)練、圖算融合等關(guān)鍵特性外，MindSpore 也提供了可視化工具，比如圖像模式、直方圖、數(shù)據(jù)溯源等等，盡可能的直觀給工程師呈現(xiàn)AI實(shí)驗(yàn)的過(guò)程和細(xì)節(jié)；以及模型攻擊評(píng)估工具，幫助開(kāi)發(fā)者能夠評(píng)估其所開(kāi)發(fā)的MindSpore模型的安全性和魯棒性。

黃之鵬表示 MindSpore 和國(guó)內(nèi)其他已有的深度學(xué)習(xí)框架開(kāi)源項(xiàng)目不太一樣，采用了比較開(kāi)放的架構(gòu)，其中技術(shù)治理委員會(huì)(TSC)是由14名來(lái)自中美歐的專(zhuān)家組成。采用社區(qū)治理架構(gòu)正是因?yàn)槿A為希望 MindSpore 能成為一個(gè)面向全球的開(kāi)源社區(qū)，而不僅局限在一個(gè)區(qū)域內(nèi)。

以下為黃之鵬的現(xiàn)場(chǎng)演講內(nèi)容，AI研習(xí)社進(jìn)行了不改變?cè)獾木庉嫾罢恚?/p>

謝謝主持人，MindSpore是華為3月28日開(kāi)源的框架，華為的解決方案是全棧式的解決方案，包括了我們公有云提供的框架，我們的CANN使能層和自研的昇騰硬件。

下面我介紹一下MindSpore的特性，總體來(lái)說(shuō)，MindSpore是提供面向端、邊、云全場(chǎng)景的統(tǒng)一API，我們提供一些比較新的，對(duì)于開(kāi)發(fā)者非常友好的特性。大家如果了解深度學(xué)習(xí)框架這些年的發(fā)展趨勢(shì)，其實(shí)框架現(xiàn)在主要集中在編譯優(yōu)化和軟硬結(jié)合這兩塊，對(duì)于MindSpore來(lái)說(shuō)，編譯層面大量的優(yōu)化也是我們的特點(diǎn)之一。

和硬件的結(jié)合上，MindSpore代表軟硬結(jié)合的思路，具有面向系統(tǒng)進(jìn)行設(shè)計(jì)特性。

MindSpore是比較年輕的社區(qū)，我們代碼主要托管在碼云，通過(guò)自己做的小機(jī)器人，同時(shí)同步到Github，方便國(guó)內(nèi)、國(guó)外的開(kāi)發(fā)者。我們也制作了很多版本宣傳視頻和教學(xué)視頻，希望通過(guò)各種渠道幫助開(kāi)發(fā)者更快的了解我們的框架。

MindSpore在華為的業(yè)務(wù)上已經(jīng)有了落地，我們內(nèi)部有很多的實(shí)驗(yàn)室已經(jīng)大規(guī)模的應(yīng)用了MindSpore的框架。華為手機(jī)搭載的HMS4.0開(kāi)始已經(jīng)搭載MindSpore的端側(cè)推理能力，主要支撐的是ML-kit所使能的手機(jī)App。在電信領(lǐng)域，華為支持了很多電信領(lǐng)域AI結(jié)合的嘗試，主要是我們的NAIE解決方案。

今天下午講了很多的框架，為什么又出一個(gè)框架，為什么又要學(xué)習(xí)一個(gè)框架？對(duì)于華為來(lái)說(shuō)，我們做框架并不是單純?yōu)榱私鉀Q軟件的問(wèn)題，當(dāng)然軟件是很大的問(wèn)題，對(duì)于華為來(lái)說(shuō)，主要是全棧的思考，從模型到數(shù)據(jù)到應(yīng)用的部署，到跟算法工程師流水線的使能，再到硬件，我們希望這一整套都可以提供一套思路，幫助或是和業(yè)界一起往前走，做出一些創(chuàng)新。

下面來(lái)介紹MindSpore的幾個(gè)主要特性：

MindSpore的自動(dòng)微分

自動(dòng)微分對(duì)于深度學(xué)習(xí)框架來(lái)說(shuō)，并非是新事物。TensorFlow的自動(dòng)微分主要是基于圖的，其缺點(diǎn)是，現(xiàn)在大多數(shù)的框架都是Python的原生編程，TF的自動(dòng)微分，尤其對(duì)于很多的科研都需要二階、三階的計(jì)算，是非常復(fù)雜的。Pytorch主要是通過(guò)Python語(yǔ)言的自身特性，通過(guò)運(yùn)算符重載來(lái)實(shí)現(xiàn)自動(dòng)微分，但其缺點(diǎn)在于運(yùn)行時(shí)開(kāi)銷(xiāo)較大。MindSpore采用基于源代碼的自動(dòng)微分技術(shù)，在讓開(kāi)發(fā)者可以用Python開(kāi)發(fā)模型的同時(shí)，通過(guò)我們的編譯優(yōu)化技術(shù)達(dá)到自動(dòng)微分，生成對(duì)硬件優(yōu)化友好的圖IR的源代碼，整體的執(zhí)行效率非常高。

所有做分布式、大集群都會(huì)遇到并行的問(wèn)題，從傳統(tǒng)的數(shù)據(jù)并行，到后來(lái)出現(xiàn)模型并行，以及Pioeline并行等方法，都被用來(lái)解決此類(lèi)問(wèn)題。MindSpore的自動(dòng)并行借助昇騰硬件的優(yōu)秀能力，可以為開(kāi)發(fā)者提供自動(dòng)并行的能力，不需要開(kāi)發(fā)者手動(dòng)去寫(xiě)模型和數(shù)據(jù)切分及運(yùn)行的策略。

剛才講的是我們稱(chēng)之為前端的能力，再往下走是偏硬件或是利用硬件能力的能力，主要是六大功能：Shape推導(dǎo)、引擎劃分，整圖拆分、邊界標(biāo)識(shí)，格式轉(zhuǎn)換，算子融合，編譯、Stream分配、Task編譯，圖加載至硬件。帶來(lái)顯而易見(jiàn)的好處是，比如MindSpore可以讓開(kāi)發(fā)者只通過(guò)一條語(yǔ)句，來(lái)實(shí)現(xiàn)動(dòng)態(tài)圖到靜態(tài)圖非常便利的切換，方便大家在研究和生產(chǎn)等不同環(huán)境的調(diào)試和部署。

我們也提供一些比較好用的工具，MindSpore提供圖像模式、直方圖、數(shù)據(jù)溯源，總而言之，盡可能的直觀給工程師呈現(xiàn)AI實(shí)驗(yàn)的過(guò)程和細(xì)節(jié)。另外我們提供的工具，模型寫(xiě)出來(lái)被惡意的人使用會(huì)達(dá)到完全不一樣的效果，模型會(huì)模仿各種各樣的攻擊，幫助開(kāi)發(fā)者評(píng)估MindSpore開(kāi)發(fā)的模型是否有足夠好的特性。

MindSpore的圖算融合，實(shí)際上可以理解為兩層，一個(gè)是圖層，后端有AKG做算子的融合，小算子組成大算子，對(duì)性能的優(yōu)化有比較好的提升，我們應(yīng)用了多面體技術(shù)(Polyhedral)去做Auto schedule。

MindSpore的混合異構(gòu)，比較便捷的實(shí)現(xiàn)混合資源高效的任務(wù)執(zhí)行。還有一些特性沒(méi)有詳細(xì)介紹，比如說(shuō)量化訓(xùn)練、二階優(yōu)化等，都是可以做到比同類(lèi)開(kāi)源項(xiàng)目更好的性能。還有一些我們?cè)谧龅母岸?、更前沿的嘗試。

MindSpore和WebAssembly的結(jié)合，主要場(chǎng)景目前是在瀏覽器里進(jìn)行推理任務(wù)，為什么要用瀏覽器？在醫(yī)生、金融等場(chǎng)景，不管是PC側(cè)還是手機(jī)側(cè)的瀏覽器，都可運(yùn)行推理任務(wù)。

WebAssembly (WASM)是很多大型廠商關(guān)注的新方向，這個(gè)技術(shù)本身不新，WebAssembly是希望在瀏覽器有提供原生運(yùn)行性能，很多的開(kāi)源合作，很多大公司都在嘗試，看能不能從瀏覽器里推廣出來(lái)，不僅僅是跑在瀏覽器里面，也可以跑到服務(wù)器上，跑到PC上，邊緣的設(shè)備上。由于WebAssembly是一種堆棧式虛擬機(jī)，其安全性是非常好的，像金融、醫(yī)療這樣對(duì)安全性的要求非常高的場(chǎng)景，會(huì)有很多的需求。

我們團(tuán)隊(duì)在做的一個(gè)嘗試，最近已經(jīng)做了一個(gè)小型嘗試，加強(qiáng)TVM對(duì)WASM及Rust的支持，我們想把TVM很好的能力運(yùn)用起來(lái)，希望能管理起來(lái)。

eBPF也是目前比較前沿的技術(shù)，提供了靈活的內(nèi)核虛擬機(jī)。比如對(duì)網(wǎng)絡(luò)調(diào)優(yōu)的時(shí)候，通常需要走大量的內(nèi)核函數(shù)調(diào)用，完成TCP/IP完整協(xié)議棧的每一層的檢查。而通過(guò)eBPF，則可以把包直接加載在其內(nèi)核虛擬機(jī)分配的寄存器中，進(jìn)行非?？焖俚臋z查。我們將eBPF這樣的工具應(yīng)用在AI領(lǐng)域，希望可以幫助我們更好的理解模型訓(xùn)練、推理時(shí)到底發(fā)生了什么，到底觸發(fā)了什么，到底在做些什么東西，eBPF只是一個(gè)工具，我們希望這個(gè)路徑打開(kāi)更多的監(jiān)測(cè)能力。

必須要提的是，除了剛才介紹的這些特性之外，MindSpore和國(guó)內(nèi)其他已有的社區(qū)不太一樣的是，我們還是采用了比較開(kāi)放的架構(gòu)，MindSpore有兩層的治理架構(gòu)組成，技術(shù)治理委員會(huì)(TSC)是由14名來(lái)自中美歐的專(zhuān)家組成。采用社區(qū)治理架構(gòu)也是我們希望MindSpore不僅局限在某個(gè)區(qū)域內(nèi)的開(kāi)源項(xiàng)目，希望MindSpore能夠成為面向全球的開(kāi)源社區(qū)。

我們非常歡迎開(kāi)發(fā)者加入到我們社區(qū)的開(kāi)發(fā)，可以選擇你感興趣的SIG組，他們每個(gè)月基本都會(huì)開(kāi)例會(huì)，例會(huì)錄屏都會(huì)上傳到B站。歡迎大家到社區(qū)成立針對(duì)某一個(gè)特性的SIG組或WG組。我們現(xiàn)在為了方便開(kāi)發(fā)者開(kāi)發(fā)MindSpore，主要是通過(guò)華為的ModelArts的服務(wù)，目前還有公測(cè)，歡迎大家申請(qǐng)。

碼云：gitee.com/mindspore

GitHub：github.com/mindspore-ai