(資料圖片)
·高文表示，開發(fā)大模型不是拍腦袋、喊口號那么容易，而是必須擁有算力，只有投入幾十億元甚至上百億元才能做出“像樣的東西”，但這筆資金對于高校和初創(chuàng)企業(yè)而言是一個門檻。“我們基本的想法就是用鵬城實驗室的算力、公開渠道的數(shù)據(jù)，訓練出大模型底座面向全社會開放，供研究人員、創(chuàng)業(yè)者使用?！?/em>
5月22日，中國工程院院士、鵬城實驗室主任高文在2023大灣區(qū)人工智能分論壇上表示，要利用鵬城實驗室的算力、公開渠道的數(shù)據(jù)，訓練出大模型底座面向全社會開放，供研究人員和創(chuàng)業(yè)者使用。
鵬城實驗室是中央批準成立的突破型、引領型、平臺型一體化的網(wǎng)絡通信領域新型科研機構，聚焦寬帶通信、新型網(wǎng)絡、網(wǎng)絡智能等國家重大戰(zhàn)略任務開展重大科學問題和關鍵核心技術研究。
高文表示，目前的人工智能是新一輪浪潮，ChatGPT對技術和社會發(fā)展帶來了巨大沖擊。“我們必須要應對，企業(yè)有企業(yè)的應對方案，國家也有國家的應對方案。企業(yè)動作比較快，國內(nèi)有很多頭部企業(yè)都在做自己的大模型。當然能否做得比ChatGPT好那是另外一回事，至少要做。不做就什么都不會發(fā)生，做了至少有些事情會發(fā)生?！?/p>
他表示，開發(fā)大模型不是拍腦袋、喊口號那么容易，而是必須擁有算力，只有投入幾十億元甚至上百億元才能做出“像樣的東西”，但這筆資金對于高校和初創(chuàng)企業(yè)而言是一個門檻。目前鵬城實驗室給出的方案是投入40億元開發(fā)了E級智算平臺“鵬城云腦II”，具有100億億次的半浮點運算操作能力。他表示，“鵬城云腦II”一個月之內(nèi)可以訓練出GPT-3、GPT-3.5。“我們正在啟動做下一臺機器，大概會用60億元左右做16000P這么大算力的機器。這兩臺機器加在一起，解決目前為止所有大模型的訓練都是綽綽有余的?！?/p>
解決了算力問題，剩下的就是數(shù)據(jù)和算法?！八惴ìF(xiàn)在幾乎屬于公開知識，數(shù)據(jù)方面，我們準備首先用最大的能力去獲取盡可能多的數(shù)據(jù)，從公開渠道或者從購買的渠道獲取數(shù)據(jù)來訓練模型。我們基本的想法就是用鵬城實驗室的算力、公開渠道的數(shù)據(jù)，訓練出大模型底座面向全社會開放，供研究人員、創(chuàng)業(yè)者使用?！?/p>
高文同時提到了增強大模型技術平臺計劃，利用個人數(shù)據(jù)增強訓練出更好的模型，推動國內(nèi)尤其是粵港澳大灣區(qū)新一代人工智能的發(fā)展。他表示，所謂“增強”就是數(shù)據(jù)方在保證隱私和數(shù)據(jù)安全的情況下將個人數(shù)據(jù)貢獻出來進行訓練，增強模型可能比標準模型更好更強，并且增強模型只向數(shù)據(jù)提供方提供?！爱斎晃覀冇泻芏嗉毠?jié)機制，后續(xù)只要大家加入這個聯(lián)盟，就會慢慢了解到這些細節(jié)機制。當然也可以提出意見、建議，讓聯(lián)盟做得更好?！?/p>
（原標題：高文：將訓練大模型底座面向全社會開放，供研究者創(chuàng)業(yè)者使用）
標簽：
