(資料圖片僅供參考)

湖北日報訊（記者張真真、通訊員詹欣芮）透過《月光曲》就可以暢談貝多芬的故事，在三維場景里實現(xiàn)精準(zhǔn)定位，通過圖像與聲音結(jié)合完成場景分析……6月16日，在人工智能框架生態(tài)峰會2023上，中國科學(xué)院自動化研究所聯(lián)合武漢人工智能研究院正式發(fā)布“紫東太初”全模態(tài)大模型，種種新奇表現(xiàn)贏得現(xiàn)場觀眾熱烈反響。

“紫東太初”全模態(tài)大模型，是在千億參數(shù)多模態(tài)大模型“紫東太初”1.0基礎(chǔ)上升級打造的2.0版本。

2021年9月，中國科學(xué)院自動化研究所成功打造了“紫東太初”1.0多模態(tài)大模型，貫通語音、圖像、文字等信息。比如，AI（人工智能）在學(xué)習(xí)時，“看到”貓的圖像或者聽到貓的叫聲，就能準(zhǔn)確識別出是貓。

除“圖-音-文”外，“紫東太初”2.0加入了視頻、傳感信號、3D點云等更多模態(tài)，完成了音樂、圖片和視頻等數(shù)據(jù)之間的跨模態(tài)對齊，能夠處理音樂視頻分析、三維導(dǎo)航等多模態(tài)關(guān)聯(lián)應(yīng)用需求，并可實現(xiàn)音樂、視頻等多模態(tài)內(nèi)容理解和生成。

中國科學(xué)院自動化研究所相關(guān)負(fù)責(zé)人表示，從1.0到2.0，“紫東太初”大模型打通了感知、認(rèn)知乃至決策的交互屏障，使人工智能進(jìn)一步感知世界、認(rèn)知世界，從而延伸出更加強(qiáng)大的通用能力。

“紫東太初”2.0以自動化所自研算法為核心，以國產(chǎn)化基礎(chǔ)軟硬件平臺昇騰AI為基礎(chǔ)，依托武漢人工智能計算中心算力支持，著力打造全棧國產(chǎn)化通用人工智能底座，協(xié)同構(gòu)建我國通用人工智能自主可控發(fā)展生態(tài)。

目前，“紫東太初”大模型已展現(xiàn)出廣闊的產(chǎn)業(yè)應(yīng)用前景，在神經(jīng)外科手術(shù)導(dǎo)航、短視頻內(nèi)容審核、法律咨詢、醫(yī)療多模態(tài)鑒別診斷、交通違規(guī)圖像研讀等領(lǐng)域開始了一系列引領(lǐng)性、示范性應(yīng)用。

在醫(yī)療場景，“紫東太初”大模型部署于神經(jīng)外科機(jī)器人，可實現(xiàn)在術(shù)中實時融合視覺、觸覺等多模態(tài)信息，協(xié)助醫(yī)生對手術(shù)場景進(jìn)行實時推理判斷，并嘗試在人類罕見病診療這個挑戰(zhàn)性醫(yī)學(xué)領(lǐng)域有所突破。

關(guān)鍵詞：