復旦MOSS模型今日開源 展望語言大模型生態

新華財經上海4月21日電（記者 宋薇萍 實習生 譚镕）4月21日，復旦大學自然語言處理實驗室開發的新版MOSS模型正式上線，成為國內首個插件增強的開源對話語言模型。

復旦大學計算機科學技術學院教授MOSS系統負責人邱錫鵬表示：“對于下一階段的大型語言模型來講，我們目前重點需要去做的事情，就是讓模型和現實世界以及人類的價值觀進行“對齊”，成為一個真正的智能體。”

MOSS：對話式大型語言模型今日開源

【資料圖】

近期，關于語言模型的關注持續高漲。相比之前的生成式對話產品，ChatGPT在大范圍連續對話能力、生成內容質量、語言理解能力和邏輯推理能力上都得到大幅提升，超出了大眾對于一款聊天機器人的預期，是生成式AI（AIGC）極為關鍵的發展節點。

MOSS是國內第一個發布的對話式大型語言模型。它可以執行對話生成、編程、事實問答等一系列任務，打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術路徑。

目前，MOSS模型已上線開源，相關代碼、數據、模型參數已在Github和Hugging Face等平臺開放，供科研人員下載，促進人工智能模型研究和開源社區的生態繁榮。開源代碼涵蓋模型訓練和推理代碼，開源數據包括超100萬條對話訓練數據，開源模型包括160億參數中英雙語基座語言模型、對話模型以及插件增強的對話模型。

MOSS基于公開的中英文數據訓練，目前已經擁有200億參數，具有和人類對話的能力，并可以通過與人類交互實現迭代優化。

其中隱含著三個非常重要的技術。“第一是情景學習，大型語言模型可以直接和人交互，這從產品角度來說也是一個很大的創新，還可以大幅降低下游開發成本；第二是思維鏈，不僅給出答案，也給出邏輯推導；第三是自然指令學習，要讓機器明白我們的情感和真實意圖，以前是從大數據中學，現在可以直接從指令中學。”邱錫鵬說道。

MOSS開源 改善行業生態

在業內看來，自研通用預訓練大語言模型具有必要性角度，在目前國際形勢下，自主可控是保障網絡安全、信息安全的前提，自研基石模型具有高度戰略意義。

邱錫鵬說，人們之所以很容易有“卡脖子”問題，是因為缺乏一個好的行業生態。就拿ChatGPT來說，OpenAI公司只需專注做好模型，算力、數據和系統則交給其他公司。反觀國內，很多公司在做大型語言模型時所有環節都需要自己做，每家的數據和算力也有限，結果是每家都做不大。在發展過程中，大型語言模型訓練與在線推理成本過高也是一個重大問題。

“我們考慮把MOSS開源而不是商業化，就是希望改善這種生態，有了這樣一個基座，大家就不用重復開發底層技術，可以在上面接不同的細分領域。”復旦大學計算機科學技術學院教授、MOSS系統負責人邱錫鵬說。

相關人士表示，目前中國巨頭廠商深耕通用基礎大模型研發布局產業生態布局，肩部廠商基于開源模型或海量數據打造垂直基礎大模型，建立垂直行業的平臺生態。語言大模型及下游應用產業對于國家數字經濟發展具有戰略性意義。

編輯：翟卓

關鍵詞：