應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

亞馬遜與 AI 公司 Hugging Face 合作:定制芯片低成本運行 AI 模型

2024-05-24 08:55 IT之家
關(guān)鍵詞:亞馬遜AI芯片

導(dǎo)讀:亞馬遜公司的云部門宣布,已與人工智能初創(chuàng)公司 Hugging Face 合作,將在亞馬遜的定制計算芯片上更低成本地運行數(shù)千個 AI 模型。

  5 月 23 日消息,亞馬遜公司的云部門宣布,已與人工智能初創(chuàng)公司 Hugging Face 合作,將在亞馬遜的定制計算芯片上更低成本地運行數(shù)千個 AI 模型。

  估值 45 億美元(IT之家備注:當(dāng)前約 326.25 億元人民幣)的 Hugging Face 已成為 AI 研究人員和開發(fā)者分享聊天機器人或其他 AI 軟件的中心,并得到了亞馬遜、Alphabet 旗下的谷歌和英偉達等公司的支持,它是開發(fā)者獲取和調(diào)整開源 AI 模型(如 Meta Platforms 的 Llama 3)的主要平臺。

  當(dāng)開發(fā)人員調(diào)整了開源的 AI 模型后,他們通常希望使用該模型來驅(qū)動軟件。亞馬遜和 Hugging Face 周三宣布,他們已經(jīng)合作在一個名為 Inferentia2 的定制亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)芯片上實現(xiàn)這一目標(biāo)。

  “對我們來說,效率非常重要 —— 確保盡可能多的人能夠運行模型,并且能夠以最具成本效益的方式運行,”Hugging Face 的產(chǎn)品和增長負責(zé)人 Jeff Boudier 說。

  AWS 希望吸引更多的 AI 開發(fā)者使用其云服務(wù)來交付 AI。雖然英偉達在訓(xùn)練模型的市場上占據(jù)主導(dǎo)地位,但 AWS 認為其芯片可以以較低成本運行那些經(jīng)過訓(xùn)練的模型。

  負責(zé) AWS 人工智能產(chǎn)品的 Matt Wood 表示,你可能每個月訓(xùn)練這些模型一次,但可能每小時對它們進行成千上萬次推理,這是 Inferentia2 真正閃光的地方。