矽智財大廠 Arm 控股 26 日發(fā)布全球首個 Armv9 邊緣 AI 運(yùn)算平臺，以全新 Arm Cortex-A320 CPU 和領(lǐng)先的邊緣 AI 加速器 Arm Ethos-U85 NPU 為核心，支援運(yùn)行超過 10 億個參數(shù)的邊緣端 AI 模型，將 AI、ML 處理技術(shù)及安全功能擴(kuò)展至邊緣端，涵蓋高效能設(shè)計到電源效率最佳化的裝置，吸引AWS、西門子和瑞薩電子等多家企業(yè)合作。

看準(zhǔn)邊緣端的 AI 運(yùn)算需求，Arm 資深副總裁暨物聯(lián)網(wǎng)事業(yè)部總經(jīng)理 Paul Williamson 表示，AI 的革新已不再侷限於雲(yún)端。隨著世界的互聯(lián)和智慧化水準(zhǔn)的日益提升，從智慧城市到工業(yè)自動化，在邊緣端處理 AI 工作負(fù)載不僅帶來顯著的優(yōu)勢，其必要性更是不可或缺。專為 IoT 打造的 Armv9 邊緣 AI 運(yùn)算平臺，代表此發(fā)展進(jìn)入重要的里程碑。

隨著 IoT 愈來愈普及，帶動運(yùn)算需求上升，例如自動駕駛汽車精準(zhǔn)導(dǎo)航、智慧相機(jī)功能升級，以及更自然的 AI 人機(jī)界面。

此次發(fā)佈的運(yùn)算平臺整合了全新高效率 Armv9 CPU—Cortex-A320 和支援 Transformer 運(yùn)算子網(wǎng)路的 ?Ethos-U85 NPU。相較於去年推出的基於 Cortex-M85 的平臺，新平臺的 ML 效能提高了 8 倍。適用於工業(yè)自動化、智慧相機(jī)等領(lǐng)域。Arm Kleidi 也擴(kuò)展至 IoT 領(lǐng)域，效能提升 70%，協(xié)助2,000 多萬名開發(fā)人員簡化邊緣 AI 開發(fā)流程。

為下一代智慧 IoT 裝置提供安全基礎(chǔ)

Cortex-A320 擁有 Armv9 架構(gòu)的優(yōu)勢，例如針對 ML 效能的 SVE2，與前代 ?Cortex-A35 相比，Cortex-A320 的 ML 效能提升十倍，純量效能提升 30%。

該平臺所採用的 Armv9.2 架構(gòu)為最小的 Cortex-A 裝置，引入了指標(biāo)驗證 （PAC）、分支目標(biāo)識別（BTI）和記憶體標(biāo)籤擴(kuò)充（MTE）等安全功能，有助於在暴露環(huán)境中保護(hù)邊緣裝置處理的敏感資料。

邊緣 AI 普及面臨的最主要障礙之一就是軟體發(fā)展和部署的複雜性。Arm 將 Arm Kleidi 擴(kuò)展到IoT，簡化 AI 和 ML 工作負(fù)載的部署，無需開發(fā)人員額外操作。KleidiAI 已整合至 Llama.cpp、ExecuTorch 和 LiteRT 等 AI 框架中，提升Meta Llama 3 和 Phi-3 模型效能達(dá) 70%。

該平臺能夠支援在基於代理人的 AI 應(yīng)用上運(yùn)行經(jīng)過調(diào)校的 LLM 和 SLM，開闢全新的邊緣應(yīng)用場景。在未來的場景中，智慧決策將更接近資料獲取源頭，可減少延遲時間，解提升隱私保護(hù)水準(zhǔn)。

Arm 亞太區(qū) IoT 市場資深經(jīng)理黃晏祥表示，邊緣 AI 目前主要應(yīng)用於非 LLM 領(lǐng)域，例如影像辨識或線性模型，但預(yù)估 1 年半到 2 年內(nèi)，基於 LLM 的邊緣 AI 會越來越普及，能夠以文字或語音指令操作邊緣 AI 裝置，或透過聲音辨識進(jìn)行安全監(jiān)控。

Arm 應(yīng)用工程總監(jiān)徐達(dá)勇表示，A320 定位於邊緣 AIoT 市場，適用於智慧零售、智慧工廠、智慧城市及智慧家庭等多種場景，A320 的推出助於加速邊緣 AI 的普及。

亞馬遜網(wǎng)路服務(wù)公司 IoT 技術(shù)負(fù)責(zé)人 Yasser Alsaied 表示，新平臺為 AWS 的客戶實現(xiàn)在 Armv9 技術(shù)上運(yùn)行 AWS IoT Greengrass 的輕量裝置運(yùn)作環(huán)境— Nucleus Lite，幫助邊緣裝置以較低記憶體需求運(yùn)行，適用於精準(zhǔn)農(nóng)業(yè)、智慧製造和自動駕駛的異常檢測等應(yīng)用場景。