Arm平臺(tái)成功適配阿里開源模型Qwen3
近日,阿里巴巴開源了新一代通義千問模型Qwen3,Arm成為首批適配該模型的計(jì)算平臺(tái)廠商。雙方的合作不僅推動(dòng)了AI技術(shù)在端側(cè)設(shè)備上的應(yīng)用,還為開發(fā)者提供了更高效的解決方案。
本文引用地址:http://www.bjwjmy.cn/article/202505/470308.htm
據(jù)官方消息,Arm面向AI框架開發(fā)者的開源計(jì)算內(nèi)核KleidiAI已與阿里巴巴的輕量級(jí)深度學(xué)習(xí)框架MNN深度集成。得益于此,Qwen3系列中的三款模型(Qwen3-0.6B、Qwen3-1.7B及Qwen3-4B)能夠在搭載Arm架構(gòu)CPU的移動(dòng)設(shè)備上無縫運(yùn)行,展現(xiàn)出卓越的端側(cè)AI推理能力。
作為阿里巴巴最新發(fā)布的混合推理模型,Qwen3在AIME、LiveCodeBench等權(quán)威評(píng)測(cè)中表現(xiàn)出色,成為同尺寸開源模型中的領(lǐng)先者。其中,Qwen3-0.6B、Qwen3-1.7B和Qwen3-4B三款模型以低功耗和高性能的優(yōu)勢(shì),特別適合在移動(dòng)端部署。
為滿足AI模型快速迭代的需求,Arm提供了具備可擴(kuò)展性的通用技術(shù)底座,幫助開發(fā)者高效利用新模型的優(yōu)勢(shì)。其CPU架構(gòu)以卓越的性能、能效和靈活性著稱,不僅能快速適配新模型,還能通過異構(gòu)計(jì)算策略與GPU、加速器等技術(shù)協(xié)作,實(shí)現(xiàn)AI系統(tǒng)的最佳優(yōu)化。測(cè)試結(jié)果顯示,Qwen3系列模型在基于Arm架構(gòu)CPU的設(shè)備上運(yùn)行時(shí),響應(yīng)速度和推理能力均有顯著提升。
評(píng)論