Arm 公司7月10日發(fā)布博文,為了滿足未來生成式 AI 的需求,擴展提供更多先進智能功能,推出了可以加速 AI 工作負載的可擴展矩陣擴展 2(SME2)技術,開發(fā)者無需修改代碼,即可集成至現(xiàn)有模型和應用中。
該公司指出,在移動設備上的生成式 AI 應用不再局限于傳統(tǒng)的聊天機器人和虛擬助手,而是逐漸發(fā)展到生成文本、聲音、圖像和視頻,執(zhí)行數(shù)學推理、以及群聊摘要等諸多高級智能功能。
SME 最初出現(xiàn)在 Armv9 架構中,是一組可選的高級 CPU 架構擴展,專門設計用于加速矩陣數(shù)學運算。
SME2 在 2022 年底首次亮相,在此基礎上增加了新功能,據(jù) Arm 稱,它能夠實現(xiàn)實時的移動端推理任務,涵蓋生成圖片、自然語言處理任務等。
Arm 還分享了一些數(shù)據(jù),這些數(shù)據(jù)確實讓 SME2 看起來非??煽?。根據(jù) Arm 的說法,Google 的 Gemma 3 模型在 SME2 增強的硬件上,比沒有 SME2 的硬件快 6 倍。
它可以在單個 CPU 核心上不到一秒鐘內運行 800 字的文本摘要,IT之家注:這里 Arm 所指的 CPU 型號尚不清楚。
對于消費者來說,公告中的關鍵部分是,未來安卓手機即將具備 SME2 硬件能力。
到目前為止,SME 主要保留給服務器和工作站級處理器,因為其要求較高。然而,SME2 被設計為更加可擴展,能夠部署在筆記本電腦、平板電腦,以及高端智能手機上。
重要的是,安卓已經(jīng)準備好支持 SME2。SME2 在 Google 的 XNNPACK 庫中啟用,并支持 llama.cpp、阿里巴巴的 MNN 和微軟的 ONNX 等框架。(故淵)
轉自:C114通信網(wǎng)
【版權及免責聲明】凡本網(wǎng)所屬版權作品,轉載時須獲得授權并注明來源“中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)”,違者本網(wǎng)將保留追究其相關法律責任的權力。凡轉載文章及企業(yè)宣傳資訊,僅代表作者個人觀點,不代表本網(wǎng)觀點和立場。版權事宜請聯(lián)系:010-65363056。
延伸閱讀