RTL 編碼是半導(dǎo)體開發(fā)的關(guān)鍵步驟，但許多人認(rèn)為這并不是最困難的一步。隨著您越來越接近實(shí)施，并且系統(tǒng)上下文變得比僅通過文本可以理解的要大，事情會(huì)變得更加復(fù)雜。在這兩種情況下，布局、時(shí)間、功率和許多其他因素都會(huì)發(fā)揮作用，但沒有一個(gè)是文本更容易表示的，而且它們不遵循相同的規(guī)則。

正如流行的格言所說，“一張圖片勝過千言萬語”，這可能是非常保守的?？驁D、時(shí)序圖、波形、狀態(tài)圖、流程圖、平面圖、布局、熱圖——用作輸入和輸出的圖形形式列表非常廣泛。人工智能需要能夠理解并生成它們。

這句格言也可以從另一個(gè)角度看待。圖片以及所有其他格式都可以用不同級(jí)別的文本表示。波形只不過是一個(gè)值更改轉(zhuǎn)儲(chǔ)文件，而該文件又是一個(gè)按時(shí)間順序排列的信號(hào)轉(zhuǎn)換列表。同樣，圖片可以被視為一組像素，也可以被視為以有損抽象格式表示圖像的已識(shí)別對(duì)象。

人工智能模型一直在迅速發(fā)展，它的一些最初實(shí)際用途不是基于文本的。他們正在解決與手寫檢測(cè)、語音識(shí)別和生成相關(guān)的問題。當(dāng) ChatGPT 第一次進(jìn)入公眾的視野時(shí)，它只是文本的。它在其他格式上的表現(xiàn)非常差。

人工智能模型開發(fā)已經(jīng)分散。分離的系統(tǒng)通常被部署用于圖像識(shí)別、文本處理、音頻處理、推理和文本生成。這些的集成帶來了挑戰(zhàn)，并顯著增加了計(jì)算負(fù)載和功耗，這是業(yè)界越來越關(guān)注的問題。

第二個(gè)問題是當(dāng)今使用的大多數(shù)人工智能系統(tǒng)都不了解物理學(xué)。雖然最新的模型應(yīng)該具備這些知識(shí)，但很明顯，多物理場(chǎng)推理超出了它們今天的能力范圍。物理學(xué)與我們使用的許多替代表示交織在一起。布局表示晶體管或 IP 塊相對(duì)于其他塊的位置，但性能受到這些其他塊的影響。此外，其他塊可能會(huì)影響開發(fā)流程后期階段的其他決策。在這兩種情況下，它們都會(huì)在很長(zhǎng)一段時(shí)間內(nèi)被活動(dòng)修改。

人工智能模型一直在迅速改進(jìn)，那么今天的人工智能在處理這種多模態(tài)、多物理場(chǎng)問題方面處于什么位置？它是否準(zhǔn)備好處理電子設(shè)計(jì)和實(shí)現(xiàn)面臨的一些問題？

為什么多模態(tài)很重要
在理想情況下，我們會(huì)有一個(gè)清晰明確的規(guī)范，可以輸入到基于 AI 的流程中，但事實(shí)并非如此?！拔遗c許多用戶討論過從設(shè)計(jì)規(guī)范開始的代理工作流程，圖像幾乎總是會(huì)出現(xiàn)，”Cadence 軟件工程組總監(jiān) Andy Penrose 說?！昂苊黠@，架構(gòu)框圖、FSM 流程圖和時(shí)序圖都包含規(guī)范文本中可能缺少的重要信息。對(duì)于規(guī)范驅(qū)動(dòng)的設(shè)計(jì)和驗(yàn)證自動(dòng)化來說，圖像處理不是可選的。

多模態(tài)人工智能是人工智能的新趨勢(shì)?！霸谶^去的一年里，我們加倍努力將尖端的多模態(tài)人工智能研究轉(zhuǎn)化為生產(chǎn)級(jí) EDA 工具，”ChipAgents 首席執(zhí)行官 William Wang 說?！拔覀兪紫韧晟屏艘粋€(gè) PDF 解析引擎，該引擎可以從時(shí)序圖、架構(gòu)框圖和密集的規(guī)格圖中提取意圖，并在 DAC 上首次推出了我們的新波形代理，它能夠在幾分鐘內(nèi)攝取和推理超過 GB 甚至 TB 的仿真轉(zhuǎn)儲(chǔ)。這種能力基于我領(lǐng)導(dǎo)的 TabFact 工作，其表格理解技術(shù)現(xiàn)在支持了大多數(shù)前沿法學(xué)碩士——在我以前的博士生發(fā)明的 Apple 的 MGIE 中，它為語言引導(dǎo)的圖像編輯設(shè)定了標(biāo)準(zhǔn)，以及我們?yōu)?Google 的 Gemini 構(gòu)建的 VaTeX 評(píng)估工具。通過將這些創(chuàng)新與 RTL 驗(yàn)證的特定領(lǐng)域知識(shí)相結(jié)合，我們可以縮小人性化的視覺工件和機(jī)器驅(qū)動(dòng)的設(shè)計(jì)自動(dòng)化之間的差距。

這是一個(gè)根本性的轉(zhuǎn)變。在某些情況下，開頭沒有文本?！叭祟悓?duì)框圖等表示非常滿意，”ChipStack 聯(lián)合創(chuàng)始人兼首席技術(shù)官 Hamid Shojaei 說?！笆聦?shí)上，當(dāng)我們開始在谷歌從事 TPU 項(xiàng)目時(shí)，對(duì)于第一代產(chǎn)品，我們根本沒有任何書面規(guī)范。它只是一個(gè)框圖，顯示了 TPU 項(xiàng)目中的不同 IP 以及它們?nèi)绾蜗嗷ネㄐ?。沒有文字，只有一個(gè)框圖，這就是我們開始的地方。

今天，人們非常關(guān)注 RTL 的編碼?！扒岸擞泻芏喑鮿?chuàng)公司，”西門子 EDA IC 驗(yàn)證和 EDA AI 產(chǎn)品主管 Sathish Balasubramanian 說?！八麄兟暦Q可以進(jìn)行 RTL 生成，而且他們可以，因?yàn)檫@只是編碼。他們什么都不在乎。有很多開源示例可用，有了它，您可以更快地創(chuàng)建原型。它有價(jià)值，但很有趣。你得到的是洋蔥的外層。但是，當(dāng)你接近物理領(lǐng)域時(shí)，要獲得正確的答案，還涉及更多參數(shù)。

通過查看流程中的各個(gè)功能，用圖形增強(qiáng)的文本的價(jià)值變得清晰?！皩?duì)于驗(yàn)證，圖像、表格、狀態(tài)轉(zhuǎn)換圖等在兩個(gè)領(lǐng)域非常有用，”ChipStack 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Kartik Hegde 說?！暗谝粋€(gè)是設(shè)計(jì)意圖提取，即了解設(shè)計(jì)的作用。在這個(gè)過程中，了解框圖和狀態(tài)轉(zhuǎn)換圖非常重要，它們不容易表示為文本。我們需要識(shí)別所有這些技術(shù)才能理解規(guī)范。第二個(gè)方面是波形。這很特別，因?yàn)樗瑫r(shí)捕獲了空間和時(shí)間。這在調(diào)試中非常重要。一旦我們生成了測(cè)試計(jì)劃和測(cè)試平臺(tái)并運(yùn)行它們，如果某些東西失敗了，我們就必須弄清楚為什么某些東西失敗了。在此過程中，我們需要了解每個(gè)變量隨時(shí)間變化的狀態(tài)，為此您需要進(jìn)入波形。

驗(yàn)證是流程中資源最受限的方面之一，因此受到了很多關(guān)注?！岸嗄B(tài)人工智能對(duì)驗(yàn)證最有價(jià)值，因?yàn)樗梢宰尮ぞ咦x取與工程師讀取的相同規(guī)格，”Normal Computing 機(jī)器學(xué)習(xí)主管 Thomas Ahle 說?！斑@包括 PDF 文本、計(jì)時(shí)圖、州圖和登記地圖。然后，您可以將這種理解轉(zhuǎn)化為刺激、覆蓋范圍和 RTL 代碼。

優(yōu)化通常涉及受多模態(tài)約束影響的迭代?！叭绻憧紤]構(gòu)建一個(gè)人工智能代理，它本質(zhì)上是一組形成流程的單個(gè)提示的超級(jí)集合，”西門子的 Balasubramanian 說。“他們可以查看結(jié)果，獲得反饋，采取許多行動(dòng)。例如，一個(gè)簡(jiǎn)單的平面圖到整個(gè)布局和布線流程，要求代理能夠理解設(shè)計(jì)的所有抽象、不同的數(shù)據(jù)庫、所有不同的信息源。這包括日志文件、PDF、帶圖像的 PDF、GDSII 和擁堵圖。代理需要了解更多，并且需要能夠理解所有錯(cuò)綜復(fù)雜的內(nèi)容，從編寫 RTL 斷言或編寫時(shí)序約束 （SDC），到能夠理解它們及其對(duì)綜合的影響。反過來，合成意味著能夠選擇正確的單元，為此它需要能夠理解 .lib，并根據(jù)時(shí)序和功率屬性選擇單元。

在實(shí)施方面還有很多工作要做?！霸诟鼜V泛的行業(yè)中，大多數(shù)非文本人工智能都專注于物理設(shè)計(jì)，”Normal Computing 的高級(jí)人工智能工程師 Doyun Kim 說?！斑@是布局可以表示為圖像的地方，布局是不同層中數(shù)十億個(gè)矩形的集合。但物理設(shè)計(jì)的人工智能開發(fā)通常僅限于預(yù)測(cè)任務(wù)，例如功率或擁塞估計(jì)，其普遍性受到可用訓(xùn)練數(shù)據(jù)的多樣性和數(shù)量的限制。

生成非紋理輸出
在可預(yù)見的未來，人類將繼續(xù)參與設(shè)計(jì)和驗(yàn)證，在許多情況下，人類對(duì)圖形的理解比對(duì)文本的理解更好。圖形輸出至關(guān)重要，因?yàn)樗兄诶斫?，并且可以提供高?RTL 的抽象水平。

在 1990 年代，EDA 公司試圖從 Verilog 生成狀態(tài)圖。他們是一次糟糕的失敗。狀態(tài)圖從來都不是按照人類想要的方式布置的。設(shè)計(jì)師會(huì)花太多時(shí)間試圖擺弄已經(jīng)生成的東西，以至于不值得。

“讓法學(xué)碩士原生生成有助于理解的圖像或圖形并不是一個(gè)可行的方法，因?yàn)樗鼈儫o法以非常精確的方式做到這一點(diǎn)，”ChipStack 的 Hegde 說?！八麄冋嬲瞄L(zhǎng)的是編寫代碼。LLM 可以直接攝取圖像，但不擅長(zhǎng)非常精確地生成圖像。因此，我們重新生成代表這些圖像的代碼，然后需要找到渲染它們的方法。

這種幫助程序需要良好的接口?！癆PI 可以提供巨大的幫助，使我能夠讀寫，”Balasubramanian 說?！袄?，F(xiàn)SDB 是一種非常流行的波形格式。FSDB 有一個(gè)讀取器和寫入器。代理需要同時(shí)訪問讀取器和寫入器 API。信息的解釋相當(dāng)簡(jiǎn)單。一旦我有了這些規(guī)則，它就類似于我們的學(xué)習(xí)方式。我們知道信號(hào)的 FSDB 語法。當(dāng)過渡發(fā)生時(shí)，我們知道它位于時(shí)間軸上的位置。這相當(dāng)簡(jiǎn)單。

但這是關(guān)于一種獨(dú)立方式的格式?！癋SDB 不能孤立無援，”Balasubramanian 補(bǔ)充道?！癋SDB 需要設(shè)計(jì)上下文。假設(shè)我正在加載一個(gè) RISC-V 內(nèi)核并進(jìn)行頂級(jí)性能模擬。加載后，您將擁有輸入，其中包括設(shè)計(jì)參數(shù)、測(cè)試臺(tái)架，并且您擁有包含日志文件的整個(gè)會(huì)話。如果我查詢?nèi)魏涡盘?hào)，它會(huì)給你該特定會(huì)話的答案。有了人工智能代理，事情可以走得更遠(yuǎn)。他們可以訪問整個(gè)內(nèi)存進(jìn)行驗(yàn)證。也許有人請(qǐng)求在此特定模式下以 1GHz 的速度執(zhí)行特定運(yùn)行。我可以輕松地再次運(yùn)行它?；蛘呶铱赡苤浪皣L試過，但由于架構(gòu)不夠好而存在一些問題。

推理
：人類和人工智能希望研究不同的表示形式?！拔也淮_定人工智能是否應(yīng)該在圖形數(shù)據(jù)上運(yùn)行，”弗勞恩霍夫 IIS 自適應(yīng)系統(tǒng)工程部門小芯片卓越中心負(fù)責(zé)人安迪·海尼格 （Andy Heinig） 說。“人類通常需要圖形解釋才能看到模式。但人工智能可以非常有效地處理底層數(shù)據(jù)，也許我們只是通過這種圖形表示丟失了一些信息。人工智能還可以學(xué)習(xí)底層數(shù)據(jù)并找出底層數(shù)據(jù)（例如波形）上的模式。他們沒有理由繪制波形，因?yàn)槿斯ぶ悄芸梢灾苯邮褂脭?shù)據(jù)點(diǎn)并對(duì)這些數(shù)據(jù)點(diǎn)進(jìn)行推理。對(duì)于布局，一切都由點(diǎn)表示，這是人工智能真正可以在底層數(shù)據(jù)結(jié)構(gòu)上學(xué)習(xí)的東西。

不過，這些模型確實(shí)必須與它們?cè)噲D解決的問題保持一致?！癓LM 是廣義推理引擎，”Hegde 說?！叭绻阋赃@種方式使用它們并解決任何復(fù)雜的問題，你可以將其分解成更細(xì)粒的部分。將有一個(gè)抽象層，廣義的法學(xué)碩士非常擅長(zhǎng)做某事。現(xiàn)在讓我們舉一個(gè)波形的例子。您必須了解給定波形中發(fā)生的情況。法學(xué)碩士尚未接受過高質(zhì)量波形的培訓(xùn)。他們沒有看到這些數(shù)據(jù)。但你可以以一種問題和子問題是法學(xué)碩士可以解決的方式構(gòu)建這個(gè)問題。

這導(dǎo)致了幾種方法?！皵?shù)據(jù)訪問對(duì)于 LLM 推理至關(guān)重要，”AllSpice 首席技術(shù)官兼創(chuàng)始人 Kyle Dumont 說?！暗牵绻▽W(xué)碩士無法理解它所呈現(xiàn)的數(shù)據(jù)，那么用途就會(huì)受到限制。這個(gè)問題有兩種解決方案：

• 構(gòu)建一個(gè)轉(zhuǎn)換器以轉(zhuǎn)換為易于理解的模式（更容易），以及

• 微調(diào)模型以在特定編碼（硬）上訓(xùn)練它。

一些法學(xué)碩士對(duì)常見格式（例如 PDF 解析）采用了上述解決方案。然而，特定于硬件的推理需要翻譯人員來獲取必要的數(shù)據(jù)。圖像解析非常昂貴，并且可能會(huì)提供有缺陷的推理。輸入層的錯(cuò)誤會(huì)對(duì)輸出響應(yīng)的質(zhì)量產(chǎn)生放大的影響，因此最好在通用模式（例如 XML 或 CSV）中提供文本接口。

工作仍有待完成。“在芯片設(shè)計(jì)和驗(yàn)證過程中，除了文本之外，我們還會(huì)遇到許多不同類型的數(shù)據(jù)——原理圖、門級(jí)網(wǎng)表、布局和圖表，”Normal 的 Kim 說?！八鼈兺ǔＲ云湓几袷骄哂姓Z義意義，并且可以表示為文本。如果我們想出一種好的文本表示，可以很好地捕獲其原始語義，類似于化學(xué)中分子的 SMILES 表示，它允許使用基于文本的處理來處理下游任務(wù)，從而減少對(duì)額外、昂貴的計(jì)算層的需求。

培訓(xùn)和專業(yè)化
在半導(dǎo)體行業(yè)之外，通過最大限度地使用數(shù)據(jù)量來改進(jìn)培訓(xùn)?！懊總€(gè)設(shè)計(jì)團(tuán)隊(duì)，甚至公司內(nèi)的設(shè)計(jì)團(tuán)隊(duì)，都有自己的設(shè)計(jì)風(fēng)格和設(shè)計(jì)指南，而這些通常與他們想要設(shè)計(jì)的產(chǎn)品有關(guān)，”弗勞恩霍夫的海尼格說。“我預(yù)計(jì)我們?cè)谶@里需要不同的風(fēng)格，而這只能根據(jù)公司內(nèi)部數(shù)據(jù)進(jìn)行訓(xùn)練?；旌虾推ヅ鋪碜圆煌镜臄?shù)據(jù)不是一個(gè)好方法，因?yàn)檫@不是公司真正想要的。我預(yù)計(jì)每家公司都希望有自己的風(fēng)格。例如，如果您正在設(shè)計(jì)一個(gè)高能效的邊緣處理器，這與高性能 CPU 有很大不同。如果將所有訓(xùn)練數(shù)據(jù)混合在一起，就會(huì)得到混合數(shù)據(jù)。但不是很具體。

對(duì)此有不同的方法?！坝袃煞N方法可以制定這種指導(dǎo)，”Balasubramanian 說?！耙环N本質(zhì)上是通過微調(diào)使其成為法學(xué)碩士的一部分。試圖讓 LLM 更多地了解特定架構(gòu)，例如 RISC-V。第二種方法是創(chuàng)建一個(gè)復(fù)雜的 RAG 框架。當(dāng)你輸入一個(gè)標(biāo)識(shí)符說我正在使用 AMBA 總線協(xié)議進(jìn)行 RISC-V 驗(yàn)證時(shí)，它應(yīng)該能夠返回并查看，“它是否有任何關(guān)于 RISC-V 的先驗(yàn)信息，以及 RISC-V 的 AMBA 總線協(xié)議？我們制定所有規(guī)則并不斷添加到知識(shí)數(shù)據(jù)庫中。

在驗(yàn)證中，可以創(chuàng)建大量數(shù)據(jù)集?！拔覀冇袧摿ι升嫶蟮暮铣蓴?shù)據(jù)集，”Normal 的人工智能工程師 Hrolfur Eyjolfsson 說?！膀?yàn)證中的大部分視覺信息，如時(shí)序圖和狀態(tài)空間，實(shí)際上都是從一些代碼開始生成的。這意味著我們可以創(chuàng)建自己的訓(xùn)練數(shù)據(jù)，而不是依賴稀缺的現(xiàn)實(shí)世界示例。

“可以訓(xùn)練模型以獨(dú)立于代碼來理解文本信息、圖表和波形，”Normal 的 Ahle 補(bǔ)充道?！斑@對(duì)代碼數(shù)據(jù)的需求更小。但是，代碼數(shù)據(jù)非常稀疏。這也意味著我們必須采取強(qiáng)化學(xué)習(xí)方法，系統(tǒng)可以通過與現(xiàn)有工具和系統(tǒng)的交互來學(xué)習(xí)，而不僅僅是直接對(duì)代碼進(jìn)行微調(diào)。

進(jìn)步
該行業(yè)發(fā)展迅速，但并非所有行業(yè)都在同步發(fā)展。這可能會(huì)產(chǎn)生一些問題。“最新的前沿模型可以非常擅長(zhǎng)多種模式，但此類模型可能無法在安全的設(shè)計(jì)環(huán)境中使用，”Cadence 的 Penrose 說。“這是我們從研發(fā)原型到生產(chǎn)所面臨的挑戰(zhàn)之一?！?/p>

它還需要 EDA 行業(yè)內(nèi)不同的思維方式?！拔覀冞^去看到的非常閉環(huán)系統(tǒng)的日子已經(jīng)一去不復(fù)返了，”Balasubramanian 說?！八枰屿`活，更能適應(yīng)用戶的需求。如果你在三個(gè)月后和我談?wù)?，我?huì)有一套不同的問題，一套不同的意見，因?yàn)槲覀內(nèi)栽趯W(xué)習(xí)。我們都在學(xué)習(xí)，包括我們作為供應(yīng)商或客戶。當(dāng)我們嘗試部署它時(shí)，我們每天都在學(xué)習(xí)。