導讀：智源研究院發(fā)布原生多模態(tài)世界模型 Emu3。該模型只基于下一個 token 預測，無需擴散模型或組合方法，即可完成文本、圖像、視頻三種模態(tài)數據的理解和生成。官方宣稱實現(xiàn)圖像、文本、視頻大一統(tǒng)。
10 月 21 日消息，智源研究院發(fā)布原生多模態(tài)世界模型 Emu3。該模型只基于下一個 token 預測，無需擴散模型或組合方法，即可完成文本、圖像、視頻三種模態(tài)數據的理解和生成。官方宣稱實現(xiàn)圖像、文本、視頻大一統(tǒng)。
在圖像生成任務中，基于人類偏好評測，Emu3 優(yōu)于 SD-1.5 與 SDXL 模型。在視覺語言理解任務中，對于 12 項基準測試的平均得分，Emu3 優(yōu)于 LlaVA-1.6。在視頻生成任務中，對于 VBench 基準測試得分，Emu3 優(yōu)于 OpenSora 1.2。
據介紹，Emu3 提供了一個強大的視覺 tokenizer，能夠將視頻和圖像轉換為離散 token。這些視覺離散 token 可以與文本 tokenizer 輸出的離散 token 一起送入模型中。與此同時，該模型輸出的離散 token 可以被轉換為文本、圖像和視頻，為 Any-to-Any 的任務提供了更加統(tǒng)一的研究范式。
▲Emu3 生成的圖像
Emu3 研究結果證明，下一個 token 預測可以作為多模態(tài)模型的一個強大范式，實現(xiàn)超越語言本身的大規(guī)模多模態(tài)學習，并在多模態(tài)任務中實現(xiàn)先進的性能。通過將復雜的多模態(tài)設計收斂到 token 本身，能在大規(guī)模訓練和推理中釋放巨大的潛力。
目前 Emu3 已開源了關鍵技術和模型，附鏈接如下：
代碼：https://github.com/baaivision/Emu3
項目頁面：https://emu.baai.ac.cn/
模型：https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f
