國(guó)內(nèi)廠(chǎng)商,去搞AI ISP芯片了
最近,有消息稱(chēng)字節(jié)在研某款 AI 智能眼鏡正在考慮采用恒玄 2800 + 研極微的 ISP 芯片方案(但這不代表是最終方案)。
本文引用地址:http://www.bjwjmy.cn/article/202503/468490.htm對(duì)于 AI 眼鏡來(lái)說(shuō),SoC 的選擇往往決定了產(chǎn)品的體驗(yàn)上限,比如 Meta-Rayban 采用的是高通 AR1 的芯片方案。但實(shí)際上,為了滿(mǎn)足 AI 智能眼鏡拍攝的功能需求,則還需要外掛一塊 ISP 芯片。
其實(shí),越來(lái)越多的廠(chǎng)商在開(kāi)卷 ISP 芯片,并且在 AI 的需求下,很多芯片企業(yè)開(kāi)始推出 AI ISP 芯片。
ISP 芯片,開(kāi)始被重視
ISP 芯片不是一個(gè)新鮮事物。
ISP 是 Image Signal Processor 的簡(jiǎn)稱(chēng),即圖像信號(hào)處理器。主要用于對(duì)圖像傳感器采集到的原始圖像信號(hào)進(jìn)行處理。
在圖像處理這塊,大家更熟知的是 CMOS 圖像傳感器。CIS 芯片功能相當(dāng)于人類(lèi)的視網(wǎng)膜,用來(lái)捕捉光線(xiàn)。而 ISP,相當(dāng)于大腦皮層中對(duì)應(yīng)視覺(jué)處理的那一部分,用于處理圖像。CIS 和 ISP 湊在一起完成視覺(jué)感知的任務(wù)。
2021 年有一陣手機(jī)廠(chǎng)商自研芯片潮,都不約而同的選擇了 ISP 芯片。
vivo 在 2021 年 9 月推出了自研獨(dú)立 ISP 芯片 V1,到目前已經(jīng)推出了三代 ISP 芯片;小米推出了 ISP 澎湃 C1,與小米 MIX FOLD 折疊屏手機(jī)同時(shí)發(fā)布。
都選擇自研 ISP 芯片,正是因?yàn)?ISP 對(duì)于圖像改善的影響非常大。在同等 CMOS 的條件下,好的 ISP 芯片對(duì)圖像質(zhì)量的改善空間可達(dá) 10%~15%。
ISP 芯片越來(lái)越被重視,與 AI 硬件的發(fā)展,尤其是 AI 眼鏡離不開(kāi)關(guān)系。
需要了解的是,ISP 芯片分為集成和獨(dú)立兩種。集成 ISP 是指將 ISP 集成在 SoC 處理器中,比如高通驍龍系列、英偉達(dá) Tegra 系列處理器內(nèi)部都集成有 ISP 芯片。
獨(dú)立 ISP 芯片則是獨(dú)立于 SoC 處理器而存在的,也就是外掛形式。雖然成本更高,但優(yōu)勢(shì)明顯。除了運(yùn)算能力、成像質(zhì)量更優(yōu)秀外,因 ISP 帶有可編程性,一般的獨(dú)立 ISP 芯片都是手機(jī)商向 ISP 提供商定制的,所以與相機(jī)其他組件的契合度更佳,成像也有屬于自己的特色。
前文提到 AI 眼鏡中,使用最多的是高通 AR1 芯片,其早就已經(jīng)實(shí)現(xiàn)手機(jī)級(jí)別的 ISP。從已經(jīng)流出的產(chǎn)品配置信息來(lái)看,小米 AI 眼鏡也是采用驍龍 AR1 雙 ISP 芯片+索尼 IMX681 傳感器的組合。
但高通 AR1 芯片的價(jià)格還是太高了?,F(xiàn)在,廠(chǎng)商在評(píng)估 AI 眼鏡時(shí),以恒玄為代表的 MCU 外加 MTK 或 ISP 也是一個(gè)不錯(cuò)的方案。外掛 ISP 芯片的方案,相比于高通 AR1 芯片具備高性?xún)r(jià)比,低功耗長(zhǎng)續(xù)航的特點(diǎn)。
并且,XR Vision Pro 報(bào)道,調(diào)校 ISP 芯片也可以達(dá)到接近于高通 AR1 實(shí)現(xiàn)的拍攝效果,該方案的成本是高通 AR1 芯片方案的幾分之一,整體 AI 智能眼鏡的 BOM 成本可以控制在千元以?xún)?nèi),產(chǎn)品零售價(jià)可以做到 1500 以?xún)?nèi)。
影目科技 X 系列和閃極 AI「拍拍鏡」AI 眼鏡都搭載了紫光展銳 W517 芯片;雷神科技的 AI 眼鏡采用了多種技術(shù)路線(xiàn),其中也包括 MCU 級(jí) SoC+ISP 方案等。整體來(lái)看,MCU 級(jí) SoC+ISP 方案可能更受到一些新興廠(chǎng)商青睞。
一位熟悉產(chǎn)業(yè)鏈上下游的投資人透露,預(yù)計(jì)今年年底恒玄會(huì)推出主控芯片加上 ISP 集成的 SoC,這套方案的價(jià)格更便宜,功耗也能控制得更好,會(huì)比 AR1 更適合用在 AI 眼鏡上,華為就在等這套方案。
都有誰(shuí)在做 ISP 芯片?
帶上鏡頭的 AI 眼鏡,需要大量的圖片計(jì)算,所有這也是 ISP 暴漲的主要原因。
我們細(xì)數(shù)國(guó)內(nèi) ISP 企業(yè),各家有各家的看點(diǎn)。
先看海思,海思的芯片實(shí)力很強(qiáng),一般做的是集成 ISP。從麒麟 950 開(kāi)始,海思的 SoC 芯片中開(kāi)始集成自研的 ISP 模塊。以 Hi3559A 為例,我們可以看一下其 ISP 整體的結(jié)構(gòu)。
3559A 是一個(gè)通用 ISP,所以功能很全,如果用 FPGA 去實(shí)現(xiàn)這些,估計(jì)沒(méi)有幾個(gè)能做出來(lái),ISP 的特殊點(diǎn)就是針對(duì)不同的鏡頭、環(huán)境、Sensor 等不同去調(diào)整需要實(shí)現(xiàn)的算法。
在 ISP 芯片方面,因?yàn)橹悄苁謾C(jī)對(duì)于成像要求越來(lái)越高,高通和聯(lián)發(fā)科的 ISP 實(shí)力也是很強(qiáng)的。國(guó)內(nèi)有一家企業(yè)與聯(lián)發(fā)科關(guān)系匪淺,專(zhuān)門(mén)做的是 ISP 芯片,那就是星宸科技。
星宸科技的 ISP 芯片廣泛應(yīng)用于智能安防、智能車(chē)載、視頻對(duì)講等領(lǐng)域,其產(chǎn)品線(xiàn)豐富,涵蓋了 IPC SoC(網(wǎng)絡(luò)攝像機(jī)芯片)、NVR SoC(網(wǎng)絡(luò)視頻錄像機(jī)芯片)以及 USB 視頻會(huì)議攝像頭芯片等。
星宸科技的第一大股東是 SigmaStar,而 SigmaStar 由聯(lián)發(fā)科間接持股 100%。因此,星宸科技的控股股東是聯(lián)發(fā)科。雖然聯(lián)發(fā)科已明確表示不謀求星宸科技的控制權(quán),但是星宸科技的多名管理層及核心技術(shù)人員出自聯(lián)發(fā)科系統(tǒng),例如董事陳恒真、監(jiān)事蔡秉憲等曾在聯(lián)發(fā)科任職。
現(xiàn)在星宸科技在智能眼鏡里的進(jìn)展也很快,據(jù)了解,其智能眼鏡芯片 SSC309QL 正與多家品牌客戶(hù)對(duì)接測(cè)試,集成了自研的 ISP 4.0 及 NPU,在視覺(jué)處理和各類(lèi)多態(tài)大模型的適配上提升比較大。
富瀚微的 ISP 產(chǎn)品主要應(yīng)用在安防監(jiān)控、車(chē)載攝像頭等。CES2025 上發(fā)布了智能眼鏡芯片 MC6350。其中集成了富瀚微自研的 AI ISP,在暗光下表現(xiàn)不錯(cuò),解決目前主流智能眼鏡產(chǎn)品在暗光下拍攝效果不佳的問(wèn)題。
當(dāng)然也有前文提到的恒玄科技,恒玄科技ISP 芯片主要特點(diǎn)是能夠與音頻處理技術(shù)緊密結(jié)合,其在研智能眼鏡專(zhuān)用 SoC 項(xiàng)目,主打單芯片集成低功耗 ISP 技術(shù)。
擅長(zhǎng)暗光環(huán)境的 AI ISP 興起
AI ISP 的核心在于,將人工智能算法與 ISP 技術(shù)深度融合。
通過(guò)集成深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等 AI 算法,AI ISP 能夠?qū)崿F(xiàn)對(duì)圖像內(nèi)容的智能分析和處理,如物體識(shí)別、人臉檢測(cè)、場(chǎng)景分類(lèi)等。
AI ISP 的市場(chǎng)還是很大的。據(jù)市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè),全球 ISP 芯片市場(chǎng)銷(xiāo)售額將從 2023 年的 6.65 億美元增長(zhǎng)至 2030 年的 10.2 億美元,年復(fù)合增長(zhǎng)率達(dá)到 6.4%。
目前來(lái)看,AI ISP 的應(yīng)用更多的是在低光成像(AINR)方面。AI ISP 能夠?qū)崿F(xiàn)在信噪比(SNR)上 6~12dB 的顯著提升。當(dāng)同等硬件條件下,AI-ISP 與傳統(tǒng) ISP 的比較顯示,AI-ISP 不僅提高了畫(huà)質(zhì)性能,而且在成本效益上也表現(xiàn)出巨大的優(yōu)勢(shì)。
AI ISP 的結(jié)合是有企業(yè)走在前面的,華為海思 2021 年就推出了「越影 AI ISP」,把傳統(tǒng) ISP 技術(shù)與 AI 深度學(xué)習(xí)相結(jié)合,相比上一代旗艦 ISP,低照?qǐng)鼍跋碌膱D像信噪比提升了 4 倍。
全志科技在財(cái)報(bào)中表示,在視覺(jué)類(lèi)應(yīng)用的低光場(chǎng)景下,為解決低光拍攝和錄制問(wèn)題,研發(fā)了全新一代 AI-ISP 降噪算法,配合深度優(yōu)化的軟件,實(shí)現(xiàn) AI 降噪功能的高效運(yùn)行,并在相同信噪比情況下,實(shí)現(xiàn) 2~4 倍感光度提升,同時(shí)搭配了人臉檢測(cè)、人形偵測(cè)、人臉識(shí)別、人形追蹤等檢測(cè)類(lèi)和識(shí)別算法應(yīng)用,在客戶(hù)的產(chǎn)品上實(shí)現(xiàn)了量產(chǎn)落地。
全志科技的 AI ISP 技術(shù)已經(jīng)應(yīng)用于其多款芯片產(chǎn)品中,如高集成視覺(jué) SoC、智慧視覺(jué)處理器等。這些產(chǎn)品廣泛應(yīng)用于智能電視、智能安防、智能車(chē)載等多個(gè)領(lǐng)域,為用戶(hù)提供高質(zhì)量的圖像處理體驗(yàn)。
國(guó)科微新一代 4K AI 視覺(jué)處理芯片 GK7606V1 系列,也是搭載的自研 AI ISP。測(cè)試結(jié)果顯示,國(guó)科微 AI ISP 技術(shù)能夠極低照度的黑光場(chǎng)景下,對(duì)圖像進(jìn)行全方位的優(yōu)化和增強(qiáng),使得圖像更加清晰、細(xì)膩,色彩更加生動(dòng)飽和。
愛(ài)芯元智此前也公布了其 AI-ISP 技術(shù),并將其命名為「愛(ài)芯智眸」。愛(ài)芯元智公司的 AI ISP 采用了混合精度、存算一體的架構(gòu)設(shè)計(jì),使得在有限的功耗下仍能達(dá)到高算力。與傳統(tǒng)圖像處理相比,AI ISP 能夠?qū)崿F(xiàn)多種算法并行工作,尤其在去噪、差值和銳化等方面的表現(xiàn)更加自然、問(wèn)題更少。
飛凌微(思特威子公司)發(fā)布的 AIoT 應(yīng)用系列首款高性能端側(cè)視覺(jué)AI SoC 芯片 A1,其中也集成自研的 AI ISP 部分,覆蓋 0.3MP 至 8MP 分辨率。其優(yōu)點(diǎn)在于:高性能暗光降噪和圖像增強(qiáng)算法、最多 3 幀 HDR 合成、高分辨率 RGB-IR 圖像處理等。
結(jié)語(yǔ)
隨著人工智能技術(shù)的飛速發(fā)展,AI ISP 芯片正逐漸成為國(guó)內(nèi)芯片廠(chǎng)商的新焦點(diǎn)。
從華為海思的「越影 AI ISP」到愛(ài)芯元智的「愛(ài)芯智眸」,再到國(guó)科微的 4K AI 視覺(jué)處理芯片。AI ISP 芯片在智能手機(jī)、安防監(jiān)控、智能駕駛等領(lǐng)域展現(xiàn)出強(qiáng)大的性能和應(yīng)用潛力。
雖然當(dāng)前的 AI-ISP 技術(shù)已經(jīng)實(shí)現(xiàn)了顯著的進(jìn)步,不斷推高了畫(huà)質(zhì)處理的邊界,但用戶(hù)對(duì)畫(huà)質(zhì)的渴望似乎總是無(wú)窮無(wú)盡的。特別是在經(jīng)濟(jì)因素的影響下,基于卷積網(wǎng)絡(luò)的 AI-ISP 技術(shù)仍未能完全滿(mǎn)足所有客戶(hù)的多樣化需求。
特別是那些非技術(shù)領(lǐng)域的消費(fèi)者,他們對(duì) AI 技術(shù)抱有更高的期望,希望它能帶來(lái)質(zhì)的飛躍和更為顯著的畫(huà)質(zhì)提升,這也反映了大眾對(duì)于新技術(shù)盛大承諾的渴望和好奇心。
展望未來(lái),AI-ISP 技術(shù)發(fā)展面臨三點(diǎn)潛在的機(jī)遇:第一,用戶(hù)對(duì)畫(huà)質(zhì)的不斷追求,意味著對(duì)更高標(biāo)準(zhǔn)的 AI-ISP 解決方案有持續(xù)的需求。第二,隨著相關(guān)技術(shù)領(lǐng)域的進(jìn)步,比如 AR,VR,顯示技術(shù),自動(dòng)駕駛等,將會(huì)帶來(lái)新的畫(huà)質(zhì)上限提升需求,促進(jìn) AI-ISP 技術(shù)的進(jìn)一步革新。第三,AI-ISP 所引領(lǐng)的技術(shù)難度降低和成本的下降,可能為更廣泛的應(yīng)用提供了可能性,從而開(kāi)拓新的市場(chǎng)和應(yīng)用場(chǎng)景。
評(píng)論