智能時(shí)代的一大特點(diǎn)，是過(guò)去需要憑人的意識(shí)和指揮產(chǎn)生的動(dòng)作，在必要時(shí)可以由機(jī)器完成，并因此誕生規(guī)模可觀的創(chuàng)新應(yīng)用。智能視覺(jué)，就是新時(shí)代創(chuàng)新應(yīng)用的一大典型。

例如在家庭住宅領(lǐng)域，除了基礎(chǔ)安防功能的升級(jí)，智能攝像頭“看護(hù)”功能正在逐步提升，對(duì)老人、嬰兒、寵物等群體的必要監(jiān)測(cè)和異常情況告警成為用戶新的需求；又例如在商超零售領(lǐng)域，通過(guò)攝像頭和視覺(jué)分析技術(shù)可以進(jìn)行人流統(tǒng)計(jì)和行為分析，進(jìn)而優(yōu)化商店布局或推廣策略；在城市管理領(lǐng)域，中國(guó)將視覺(jué)技術(shù)應(yīng)用于城市安全監(jiān)控和智能交通管理的水平已經(jīng)處于世界前列；另外在工業(yè)制造領(lǐng)域，智能視覺(jué)在自動(dòng)化導(dǎo)航和定位、產(chǎn)品質(zhì)檢等方面的應(yīng)用正逐步鋪開(kāi)……

而在這些需求背后，對(duì)智能視覺(jué)技術(shù)及其系統(tǒng)提出的要求包括：

1）云、邊、端能力的協(xié)同，方便快速、高效、低延時(shí)處理海量視頻數(shù)據(jù)；2）AI技術(shù)的賦能加持，用以提高圖像的分析和識(shí)別能力；3）提升算力水平，用以應(yīng)對(duì)高精度、高并發(fā)的大規(guī)模圖像數(shù)據(jù)；4）隱私和安全防護(hù)能力，用以抵御惡意攻擊和信息盜用。

站在Arm的角度，作為全球領(lǐng)先的半導(dǎo)體IP供應(yīng)商，目前在智能攝像頭市場(chǎng)擁有9成以上的市場(chǎng)份額，同樣接收著來(lái)自不同客戶新的需求反饋，包括對(duì)邊緣計(jì)算、產(chǎn)品設(shè)計(jì)差異化等方面。

基于此，近日Arm正式宣布推出針對(duì)視覺(jué)應(yīng)用設(shè)備的Arm智能視覺(jué)參考設(shè)計(jì)。

全新參考設(shè)計(jì)選用Arm廣泛應(yīng)用于智能視覺(jué)領(lǐng)域的處理器和系統(tǒng)IP，并首次將Arm現(xiàn)有子系統(tǒng)IP與安謀科技IP整合，一改過(guò)去僅提供生產(chǎn)原材料（即處理器和系統(tǒng)IP）的方式，進(jìn)一步向行業(yè)客戶提供預(yù)先經(jīng)過(guò)集成和驗(yàn)證的子系統(tǒng)，最終促成縮短研發(fā)周期，使開(kāi)發(fā)者專注于產(chǎn)品的差異化。

Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健表示：“中國(guó)視覺(jué)市場(chǎng)在世界上擁有領(lǐng)先地位及較高的創(chuàng)新活躍度，Arm智能視覺(jué)參考設(shè)計(jì)將服務(wù)于中國(guó)市場(chǎng)?！?/p>

關(guān)于Arm智能視覺(jué)參考設(shè)計(jì)的核心內(nèi)容

本次Arm智能視覺(jué)參考設(shè)計(jì)包括CPU、ISP、NPU和VPU處理器選項(xiàng)以及將這些元件粘合在一起的子系統(tǒng)IP，具體內(nèi)容包括：

1）Arm Corstone-1000：首先，Corstone是一套預(yù)先經(jīng)過(guò)集成并驗(yàn)證的子系統(tǒng)，是Arm物聯(lián)網(wǎng)解決方案的根基，旨在加速芯片產(chǎn)品流片和量產(chǎn)，使設(shè)計(jì)者可以專注于增強(qiáng)自己的差異化。而Corstone-1000是首款為Cortex-A設(shè)計(jì)的子系統(tǒng)，該方案基本配置是經(jīng)過(guò)量產(chǎn)考驗(yàn)的Cortex-A35或Cortex-A53，并取得了Arm SystemReady IR 認(rèn)證，確保Linux等操作系統(tǒng)的開(kāi)機(jī)即用，并簡(jiǎn)化軟件開(kāi)發(fā)。

2） Arm Corstone-300：作為低功耗待機(jī)子系統(tǒng)，旨在降低邊緣設(shè)備的功耗，提高系統(tǒng)效率。

3） Arm Mali-C55 圖像信號(hào)處理器 (ISP)：是Arm至今為止面積最小、功耗最低、且可配置最高的ISP產(chǎn)品，負(fù)責(zé)提供升級(jí)的圖像質(zhì)量功能，且擁有全方面的軟件工具支持。

4）來(lái)自安謀科技的第三方IP，包括“玲瓏”VPU和“周易”NPU。“玲瓏”VPU支持緊湊的、多格式且高效能的視頻編解碼處理，提供靈活的組合和選擇；“周易”NPU同樣靈活可配置，根據(jù)需求可配置出1-30 TOPS 的處理性能，且可以支持多種典型的深度學(xué)習(xí)框架，如Tensorflow、Caffe、Pytorch等，加速客戶應(yīng)用的部署。

基于Arm視覺(jué)參考設(shè)計(jì)，開(kāi)發(fā)者不再需要從0開(kāi)始工作，而是可以專注產(chǎn)品的差異化，使用工具快速將想法轉(zhuǎn)化為產(chǎn)品推向市場(chǎng)，顯著降低芯片開(kāi)發(fā)的成本和風(fēng)險(xiǎn)，并縮短研發(fā)周期。另外，該參考設(shè)計(jì)具備可信任的底層IP技術(shù)，在增強(qiáng)安全、可移植性與兼容性方面，已取得 Arm SystemReady IR 與 PSA Certified Level 2 等重要的業(yè)界標(biāo)準(zhǔn)認(rèn)證。

目前，智能視覺(jué)參考設(shè)計(jì)的目標(biāo)受眾，包括了邊緣AI領(lǐng)域的初創(chuàng)公司、跨界創(chuàng)新公司或是希望進(jìn)行垂直整合的系統(tǒng)公司等。

Arm正式推出智能視覺(jué)合作伙伴計(jì)劃

在本次發(fā)布中，“Arm智能視覺(jué)合作伙伴計(jì)劃”得到正式公開(kāi)。Arm將攜手AI視覺(jué)、芯片設(shè)計(jì)、軟件、算法、系統(tǒng)集成等伙伴共同打造基于Arm架構(gòu)智能視覺(jué)應(yīng)用的強(qiáng)大生態(tài)，以進(jìn)一步加速視覺(jué)硬件、軟件和系統(tǒng)的開(kāi)發(fā)。

目前，已有十多家來(lái)自智能物聯(lián)網(wǎng)不同領(lǐng)域的國(guó)內(nèi)領(lǐng)先企業(yè)加入該計(jì)劃。

其中百度飛槳已經(jīng)實(shí)現(xiàn)了基于飛槳的視覺(jué)模型庫(kù)和 Arm 虛擬硬件的整合適配；誠(chéng)邁科技作為軟件設(shè)計(jì)合作伙伴加盟，更在日前成為中國(guó)第一個(gè)Arm批準(zhǔn)的ISP調(diào)優(yōu)伙伴；另外廈門(mén)星宸科技在月初通過(guò)了PSA安全認(rèn)證，展示了智能視覺(jué)界領(lǐng)軍者對(duì)安全和隱私保護(hù)重視程度的提高。

總的來(lái)說(shuō)，因?yàn)榇蠖鄶?shù)公司并不擁有涵蓋所有芯片架構(gòu)前端、后端設(shè)計(jì)的龐大團(tuán)隊(duì)，他們的研發(fā)工作需要借力芯片設(shè)計(jì)公司。那么通過(guò)這項(xiàng)生態(tài)計(jì)劃，Arm希望推動(dòng)生態(tài)伙伴們熟悉Arm的參考設(shè)計(jì)，并在參考設(shè)計(jì)的基礎(chǔ)上快速流片，最終幫助他們的客戶推出滿意的芯片。在這個(gè)過(guò)程中，Arm的關(guān)鍵作用是形成預(yù)先集成、預(yù)先驗(yàn)證的標(biāo)準(zhǔn)化子系統(tǒng)，生態(tài)伙伴在它的基礎(chǔ)上設(shè)計(jì)出更多創(chuàng)新的應(yīng)用。

Arm物聯(lián)網(wǎng)全面解決方案，擴(kuò)充進(jìn)行時(shí)

2021年，Arm首次發(fā)布物聯(lián)網(wǎng)全面解決方案，核心主要由三部分構(gòu)成：

1）面向硬件設(shè)計(jì)的Arm Corstone：在前文中已有敘述，是一套預(yù)先集成且經(jīng)過(guò)驗(yàn)證的子系統(tǒng)，專為特定用例而設(shè)計(jì)。對(duì)于芯片伙伴而言，Arm Corstone極大地加快了芯片流片和量產(chǎn)進(jìn)程。

2）賦能軟件開(kāi)發(fā)的Arm虛擬硬件設(shè)計(jì)庫(kù)：Arm虛擬硬件創(chuàng)建了Corstone芯片參考設(shè)計(jì)的虛擬拷貝，并通過(guò)云服務(wù)的方式普及給開(kāi)發(fā)者們。它支持基于云的現(xiàn)代開(kāi)發(fā)，無(wú)需設(shè)置和維護(hù)硬件集群，Arm 虛擬硬件可以輕松擴(kuò)展到數(shù)千個(gè)設(shè)備，并且由于Arm虛擬硬件與底層IP和Corstone設(shè)計(jì)同時(shí)可用，開(kāi)發(fā)者和OEM廠商可以遠(yuǎn)在芯片可用前就開(kāi)始工作，這將大幅節(jié)省設(shè)計(jì)時(shí)間和成本。

3）可實(shí)現(xiàn)更簡(jiǎn)單的軟件復(fù)用的Project Centauri生態(tài)系統(tǒng)計(jì)劃：Project Centauri擴(kuò)展了物聯(lián)網(wǎng)軟件的創(chuàng)新，通過(guò)已定義的標(biāo)準(zhǔn)、安全框架以及RTOS復(fù)雜度的抽象化，重點(diǎn)實(shí)現(xiàn)軟件重復(fù)使用，支持開(kāi)發(fā)者在更多設(shè)備上分?jǐn)偼度?，降低成本?/p>

在擁有不斷增多的用戶案例的基礎(chǔ)上，為了滿足日益變化的物聯(lián)網(wǎng)客戶需求，Arm持續(xù)對(duì)以上物聯(lián)網(wǎng)全面解決方案進(jìn)行擴(kuò)充，逐步在安全、云原生、邊緣計(jì)算、語(yǔ)音識(shí)別，以及包括本次的智能視覺(jué)方面開(kāi)發(fā)新的產(chǎn)品或功能。未來(lái)，Arm物聯(lián)網(wǎng)全面解決方案也將為行業(yè)帶來(lái)持續(xù)性改變。