導(dǎo)讀:近日,美格智能研發(fā)團(tuán)隊(duì)成功在自研高算力模組上運(yùn)行文生圖大模型Stable Diffusion,而這僅僅是我們將思索變?yōu)閷?shí)際行動的第一步,AIGC的大時(shí)代,才剛剛開始!
我們在上一篇文章的導(dǎo)語中提到:”AI人工智能這個(gè)已經(jīng)存在了數(shù)十年的概念,已然成為未來幾十年人類社會發(fā)展的核心變量。面對變革,每個(gè)人、每個(gè)企業(yè)都需要思索,如何與時(shí)代的潮流,一同躍進(jìn)“。近日,美格智能研發(fā)團(tuán)隊(duì)成功在自研高算力模組上運(yùn)行文生圖大模型Stable Diffusion,而這僅僅是我們將思索變?yōu)閷?shí)際行動的第一步,AIGC的大時(shí)代,才剛剛開始!
▌不局限云端,邊緣計(jì)算+終端側(cè)AI的技術(shù)路徑已經(jīng)成熟
2022年以來,AIGC作為一項(xiàng)變革性的技術(shù),正在逐步顛覆人類原有的工作、生活、創(chuàng)作及娛樂方式。以ChatGPT、Midjourney、Stable Diffusion、文心一言等為代表的各類生成式大模型,能在數(shù)秒之內(nèi)完成包括搜索、繪畫、創(chuàng)作、表格編輯、代碼編寫等各項(xiàng)任務(wù),并且各項(xiàng)能力正在不斷進(jìn)化中。數(shù)據(jù)顯示,目前至少已有上千個(gè)可用的生成式 AI 應(yīng)用,這一切都表明,AIGC正迎來史無前例的爆發(fā)期。
擁有數(shù)十億參數(shù)的眾多生成式 AI 模型對計(jì)算架構(gòu)及算力強(qiáng)度提出了極高的需求。之前的情況是,無論是優(yōu)化參數(shù)的AI訓(xùn)練,還是執(zhí)行模型的AI推理,都一直受限于大型復(fù)雜模型及端側(cè)算力部署不足,而與云端綁定。
初步估計(jì)顯示,生成式AI市場規(guī)模潛力巨大,將廣泛覆蓋生態(tài)鏈上的各個(gè)參與方。這一巨大市場機(jī)遇,勢必驅(qū)動不同類型的計(jì)算架構(gòu)及算力基礎(chǔ)來源同時(shí)演進(jìn),從而滿足大規(guī)模生成式 AI 日益增長的算力需求。
全球頭部玩家的近期動作也表明,算力建設(shè)和算力競爭的趨勢才剛剛開始,所有人都在起跑。高通于不久前宣布完成了全球首個(gè)運(yùn)行在Android手機(jī)上的Stable Diffusion終端側(cè)演示,這是首次由第二代驍龍8移動平臺支持的大型語言生成式AI模型在端側(cè)運(yùn)行的實(shí)例,充分說明了隨著端側(cè)算力加強(qiáng)及模型優(yōu)化技術(shù)結(jié)合,各類高算力終端支持大模型運(yùn)行只是時(shí)間問題。
其后,高通官方關(guān)于轉(zhuǎn)型邊緣計(jì)算公司的表態(tài),以及大力推動混合式AI的舉措,都表明邊緣計(jì)算+終端側(cè)AI的技術(shù)和產(chǎn)品路徑正在迅速變?yōu)楝F(xiàn)實(shí)。
▌高算力AI模組能力再進(jìn)化,成功運(yùn)行Stable Diffusion大模型
美格智能作為業(yè)界最早提出智能模組概念的企業(yè),持續(xù)關(guān)注算力發(fā)展對模組產(chǎn)業(yè)帶來的深刻變革,也最早提出:隨著各行各業(yè)對于算力需求及應(yīng)用的爆發(fā)式增長,高算力AI模組將成為智能模組發(fā)展的一個(gè)子集,“無算力不智能”正在成為模組3.0時(shí)代的重要發(fā)展趨勢,并將高算力AI模組產(chǎn)品獨(dú)立組建產(chǎn)品團(tuán)隊(duì),聚集資源不斷投入。
近日,美格智能高算力AI模組產(chǎn)品團(tuán)隊(duì),充分發(fā)揮軟硬件一體協(xié)同開發(fā)的能力,在基于高通驍龍800平臺的自研算力模組上成功運(yùn)行文生圖大模型Stable Diffusion,或許是行業(yè)內(nèi)首個(gè)在算力模組上運(yùn)行推理大模型的實(shí)例。
Stable Diffusion是一個(gè)非常出色的從文本到圖像的生成式AI大模型,能夠基于任何文本輸入,在數(shù)十秒內(nèi)創(chuàng)作出逼真圖像。Stable Diffusion的參數(shù)超過10億,迄今為止主要限于在云端運(yùn)行。
▲美格智能高算力AI模組SNM970 EVB開發(fā)板
美格高算力AI模組團(tuán)隊(duì)很早就前瞻性地開展了大模型在算力模組端側(cè)運(yùn)行的相關(guān)研究工作。運(yùn)行Stable Diffusion大模型的高算力模組,在硬件上選用了高通驍龍800系列的高算力SoC處理器,在軟件上使用了高通AI模型增效工具包(AIMET)實(shí)現(xiàn)模型轉(zhuǎn)換,在無需重新訓(xùn)練的情況下,克服了模型參數(shù)從FP32壓縮到INT8所產(chǎn)生的精度損失,從而讓大模型在算力模組上始終保持高效運(yùn)行。
美格智能研發(fā)團(tuán)隊(duì)在硬件和軟件層面的進(jìn)一步優(yōu)化,保證大模型運(yùn)行精度的同時(shí),有效降低了內(nèi)存帶寬消耗,充分發(fā)揮了高算力模組AI硬件的最大效能,最終順利在算力模組端側(cè)跑通了Stable Diffusion大模型。
▲大模型生成圖片實(shí)例,提示詞為:a dog wearing a spacesuit, running in space
▌創(chuàng)領(lǐng)高算力AI模組發(fā)展,以產(chǎn)品力驅(qū)動生成式AI在端側(cè)部署
美格智能持續(xù)深耕高算力AI模組產(chǎn)品線,至今已經(jīng)歷經(jīng)三代產(chǎn)品演進(jìn)。依靠強(qiáng)大的軟硬件一體研發(fā)能力,美格智能持續(xù)推進(jìn)高算力AI模組的AI硬件不斷升級。美格研發(fā)團(tuán)隊(duì)在AI應(yīng)用場景開發(fā)、AI性能優(yōu)化和AI低功耗程序研發(fā)等領(lǐng)域的設(shè)計(jì)研發(fā)能力處于行業(yè)領(lǐng)先水平,相關(guān)算力產(chǎn)品在各類核心場景大規(guī)模應(yīng)用。
在云計(jì)算服務(wù)器領(lǐng)域,美格智能推出的高算力AI模組基于強(qiáng)算力、低功耗芯片及美格智能特有的定制化解決方案,完美應(yīng)用于領(lǐng)先型的arm架構(gòu)陣列服務(wù)器集群,在完成同等計(jì)算任務(wù)下,性耗提升2倍以上。
在智能機(jī)器人領(lǐng)域,高算力AI模組能輕松匹配智能機(jī)器人及下一代具身智能機(jī)器人在算力方面的高要求,同時(shí)配備豐富的外圍接口,以AI模組的形式將語音識別、機(jī)器視覺、導(dǎo)航、定位、避障和多模態(tài)技術(shù)通過各種傳感器植入到終端側(cè),真正實(shí)現(xiàn)機(jī)器人的AI覺醒。
在工業(yè)視覺、AI零售等領(lǐng)域,美格智能推出的標(biāo)準(zhǔn)化AI套件,在AI加速方面,可支持變革性INT4 Al精度格式,在持續(xù)AI推理方面實(shí)現(xiàn)與前代相比60%的能效提升。同時(shí)可對多路攝像頭進(jìn)行視頻結(jié)構(gòu)化分析,快捷實(shí)現(xiàn)人、事、物等智能感知、數(shù)據(jù)分析、安全管理等性能,快速實(shí)現(xiàn)對眾多傳統(tǒng)產(chǎn)業(yè)的AI嵌入。
作為在行業(yè)內(nèi)最早布局算力模組產(chǎn)品的企業(yè),美格智能高算力AI模組產(chǎn)品實(shí)現(xiàn)了從1.2T到近48T產(chǎn)品全覆蓋,充分滿足不同行業(yè)算力需求。研發(fā)團(tuán)隊(duì)在大算力平臺與不同行業(yè)算法對接、AI運(yùn)行低功耗控制、5G+AI融合開發(fā)等領(lǐng)域有眾多積累。
隨著AI大模型首次在自研算力模組產(chǎn)品上成功運(yùn)行,極大拓展了算力模組的能力邊界,積累了大模型在端側(cè)部署和應(yīng)用的前瞻經(jīng)驗(yàn),將真正驅(qū)動生成式AI在端側(cè)和邊緣側(cè)的大規(guī)模部署,也讓邊緣計(jì)算+終端側(cè)AI的技術(shù)圖景越來越清晰!
物聯(lián)網(wǎng)連接數(shù)量在過去的十年間呈指數(shù)級增長的發(fā)展態(tài)勢,曾經(jīng)寫在書上的“萬物互聯(lián)”已然成為現(xiàn)實(shí)。無處不在的連接為人類社會的數(shù)字化和智能化已經(jīng)筑下了堅(jiān)實(shí)基礎(chǔ),而當(dāng)連接與算力融合的時(shí)候,億萬個(gè)IoT節(jié)點(diǎn)的算力匯聚,將構(gòu)建最為龐大的算力網(wǎng)絡(luò),與云端算力互聯(lián)互通,共同構(gòu)建AIGC等跨時(shí)代技術(shù)的算力底座。