環球即時看！中國工業互聯網研究院發布通用人工智能大模型工業測試結果

新華財經北京6月29日電 在工業和信息化部科技司的指導下，由中國工業互聯網研究院牽頭成立的通用人工智能與工業融合創新中心6月28日發布大模型工業知識問答測試結果，旨在助力人工智能深度賦能制造業，推動工業經濟高質量發展。

圖：6月2日，中國工業互聯網研究院牽頭成立通用人工智能與工業融合創新中心，以上為相關領導、專家、企業家代表出席通用人工智能與工業融合創新中心成立儀式。

(相關資料圖)

參與報告論證的包括：中國工程院院士唐立新、王國棟，外籍院士焦禮成、張大慶、劉江川，ACM\IEEE Fellow 劉云浩、劉劼、張燕詠、楊錚等，共13位業界頂級專家。該報告針對包括電子設備制造、裝備制造、鋼鐵等八個細分行業，通過設置主觀、客觀、自主認知和悖論等多方面問題，進行大模型測試。

圖：五位中外院士、八位ACM\IEEE Fellow、13位業界頂級專家聯合論證。

報告總體顯示，通用大模型在工業知識問答領域整體處于探索階段，GPT4表現最為優異。頭部國產大模型表現亮眼，整體水平與GPT3.5持平，多措并舉或可實現趕超。

圖：大模型工業領域知識問答測評綜合結果

大模型對八個細分行業的知識問答能力呈現出明顯差異性，其中，電子、裝備、鋼鐵和石化相對較好，采礦、電力、建材和紡織相對不足。

圖：大模型在電子、裝備、鋼鐵、采礦行業表現。

具體到國產大模型，文心一言、ChatGLM、360智腦在電子行業中表現優異；文心一言、360智腦、ChatGLM在裝備行業評分領先；文心一言、ChatGLM、星火大模型在鋼鐵行業成績突出；文心一言、360智腦、星火大模型在采礦行業名列前茅。

圖： 大模型電力、石化、建材、紡織行業表現。

在電力行業，文心一言、ChatGLM、天工大模型居于前列；在石化行業文心一言、360智腦、從容大模型處于領先；在建材行業，文心一言、星火、ChatGLM評分較高；紡織行業ChatGLM、文心一言、360智腦優勢明顯。

圖： 大模型自我知識盲區鑒別能力

圖： 大模型對輸入內容的合理性判斷能力

報告顯示，在模型自我知識盲區鑒別能力與抗污染問題分析能力方面，GPT4表現出較高的水平，能夠自己主動承認不理解的問題以及識別出大部分的邏輯謬誤。相較而言，國產大模型提升空間較大。

下一步，通用人工智能與工業融合創新中心將在工業與信息化部科技司的指導下，周期性圍繞大模型知識能力、魯棒性、安全性等專題開展后續評估工作，為政府提供決策依據，為產業提供賦能導向，為企業提供轉型方法，為用戶提供應用參考，助力構建通用人工智能賦能制造業新優勢。

編輯：羅浩

關鍵詞：