深度神經(jīng)網(wǎng)絡 - 模仿人類大腦中神經(jīng)元行為的數(shù)學函數(shù)層 - 是最先進的機器翻譯和異議識別系統(tǒng)的核心。它們有助于將一種語言翻譯成另一種語言并從名片中提取地址。問題是，它們經(jīng)常受到智能手機，可穿戴設備和其他移動設備的硬件限制 - 特別是在內(nèi)存和計算方面。

　　不過，對于高性能的離線算法還有希望。在本周于比利時布魯塞爾舉行的自然語言處理經(jīng)驗方法會議上發(fā)表的一篇論文中，谷歌研究人員描述了離線的設備上AI系統(tǒng) - 自我管理神經(jīng)網(wǎng)絡(SGNN) - 它們實現(xiàn)了空中狀態(tài)導致特定的對話框相關任務。

　　“在設備上開發(fā)和部署深度神經(jīng)網(wǎng)絡模型的主要挑戰(zhàn)是：(1)微小的內(nèi)存占用，(2)推理延遲和(3)與高性能計算系統(tǒng)(如CPU，GPU)相比顯著低的計算容量和云上的TPU，“該團隊寫道?！癧SGGNs]允許我們在設備上以非常快的速度計算傳入文本的投影，因為我們不需要存儲傳入的文本和字嵌入?！?/p>

　　正如該論文的作者所解釋的那樣，有許多方法可以設計一個輕量級的設備上文本分類模型，比如將模型與圖形學習相結合，這就是谷歌智能回復中使用的模型， 并自動生成簡短的電子郵件回復。但大多數(shù)要么不能很好地擴展，要么導致大型模型。

　　相比之下，SGGN采用了局部敏感散列(LSH)的修改版本，這種技術通過散列或映射輸入項來減少數(shù)據(jù)中的維數(shù)，以便類似的項以高概率映射到相同的“桶”。顧名思義，它是自我控制的 - 它可以通過動態(tài)地將輸入轉換為具有投影函數(shù)的低維表示來學習模型而無需初始化，加載或存儲任何特征。此外，在對數(shù)據(jù)進行訓練時，它學會選擇并應用對給定任務更具預測性的特定操作。

　　該團隊寫道，這減少了數(shù)百萬個獨特單詞的輸入維度，縮短了固定長度的短序列，并且無需存儲文本和單詞嵌入(代表單詞和短語的向量)。在實驗中，與存儲要求超過數(shù)十萬維的字嵌入方法相比，SGGN使用固定的1120維向量，而不管輸入數(shù)據(jù)的詞匯表或特征大小。

　　研究人員使用兩個對話行為基準數(shù)據(jù)集來評估SGGN：交換機對話法案語料庫(SWDA)，其中包含兩個發(fā)言人和42個對話行為，以及ICSI會議記錄器對話法案語料庫，一個多方會議的對話語料庫。

　　沒有預處理，標記，解析或預訓練嵌入，SGGN的表現(xiàn)優(yōu)于基線AI系統(tǒng)12%至35%。通過SWDA和MRDA數(shù)據(jù)集，它實現(xiàn)了83.1%的準確率和86.7%的準確度 - 高于基準 - 針對尖端卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡 - 并且日本的準確度達到73%，接近最佳性能系統(tǒng)。

　　在未來的工作中，研究人員計劃調查SGGN在其他自然語言任務中的使用。

　　“我們的研究還表明，與更復雜的神經(jīng)網(wǎng)絡架構相比，所提出的方法對于這種自然語言任務非常有效，例如深CNN和RNN變體，”研究人員寫道?！拔覀兿嘈艍嚎s技術，如與非線性函數(shù)結合的局部敏感投影，可有效捕獲對文本分類應用有用的低維語義文本表示?！?/p>

　　近年來，邊緣人工智能系統(tǒng)取得了突飛猛進的發(fā)展。

　　9月，都柏林創(chuàng)業(yè)公司 Voysis 宣布推出基于WaveNet的技術，該技術不僅可以在線下運行，還可以在智能手機和其他帶有移動處理器的設備上運行。8月，Google的研究人員開發(fā)了具有記錄面部識別和物體檢測速度的離線AI。5月份，高通聲稱其設備上的語音識別系統(tǒng)準確率達到了95%。