近日，來(lái)自劍橋、NAIST 和騰訊 AI Lab 的研究者推出了一款名為 PandaGPT 的跨模態(tài)語(yǔ)言模型，展示了在人工智能領(lǐng)域的創(chuàng)新嘗試。通過(guò)結(jié)合 ImageBind 的模態(tài)對(duì)齊能力和 Vicuna 的生成能力，同時(shí)實(shí)現(xiàn)了六種模態(tài)下的指令理解與跟隨能力。雖然 PandaGPT 的效果尚有提升空間，但展示了跨模態(tài) AGI 智能的發(fā)展?jié)摿Α?/span>

• 項(xiàng)目主頁(yè): https://panda-gpt./

• 代碼: https://github.com/yxuansu/PandaGPT

• 論文: http:///abs/2305.16355

• 線(xiàn)上 Demo 展示: https:///spaces/GMFTBY/PandaGPT

1. 在 ImageBind 的編碼結(jié)果上新增一個(gè)線(xiàn)性投影矩陣，將 ImageBind 生成的表示轉(zhuǎn)換后插入到 Vicuna 的輸入序列中；

2. 在 Vicuna 的注意力模塊上添加了額外的 LoRA 權(quán)重。兩者參數(shù)總數(shù)約占 Vicuna 參數(shù)的 0.4%。訓(xùn)練函數(shù)為傳統(tǒng)的語(yǔ)言建模目標(biāo)。值得注意的是，訓(xùn)練過(guò)程中僅對(duì)模型輸出對(duì)應(yīng)部分進(jìn)行權(quán)重更新，不對(duì)用戶(hù)輸入部分進(jìn)行計(jì)算。整個(gè)訓(xùn)練過(guò)程在 8×A100 (40G) GPUs 上完成訓(xùn)練需要約 7 小時(shí)。
   

1. PandaGPT 可以通過(guò)使用其他模態(tài)對(duì)齊數(shù)據(jù)來(lái)進(jìn)一步提升圖像以外模態(tài)的理解能力，例如利用 ASR 和 TTS 數(shù)據(jù)來(lái)進(jìn)行音頻 - 文本模態(tài)的模態(tài)理解和指令跟隨能力。

2. 文本以外的其他模態(tài)僅僅使用了一個(gè) embedding 向量進(jìn)行表示，導(dǎo)致語(yǔ)言模型無(wú)法理解文本之外模型的細(xì)粒度信息。更多關(guān)于細(xì)粒度特征提取的研究，如跨模態(tài)注意力機(jī)制，可能有助于提高性能。

3. PandaGPT 目前僅允許將文本之外的模態(tài)信息用作輸入。未來(lái)該模型有潛力將整個(gè) AIGC 統(tǒng)一到同一個(gè)模型之中，即一個(gè)模型同時(shí)完成圖像 & 視頻生成、語(yǔ)音合成、文本生成等任務(wù)。

4. 需要新的基準(zhǔn)測(cè)試來(lái)評(píng)估多模態(tài)輸入的組合能力。

5. PandaGPT 還可能表現(xiàn)出現(xiàn)有語(yǔ)言模型的一些常見(jiàn)缺陷，包括幻覺(jué)、毒性和刻板印象。