本篇文章2472字，讀完約6分鐘

  視覺中國供圖

  人工智能可以分為幾個開展階段：基于數(shù)據(jù)的互聯(lián)網(wǎng)時代、基于算力的云盤算時代，和接下去可能將進入的基于模型的AI時代，這相當(dāng)于把數(shù)據(jù)提拔為超大規(guī)模預(yù)訓(xùn)練模型。未去，研究人員可以直接在云模型上進行微調(diào)，良多公司乃至不消保護自己的算法研發(fā)團隊，只必要運用工程師即可。

  寫小說、和人聊天、設(shè)計網(wǎng)頁、編寫吉他樂譜……號稱迄今為止最“全能”的AI模型GPT-3，當(dāng)然遠遠不止會這些。做為2020年人工智能發(fā)域最驚艷的模型之一，GPT-3無疑把超大規(guī)模預(yù)訓(xùn)練模型的熱度推向了新高。

  3月下旬，我國首個超大規(guī)模人工智能模型“悟道1.0”發(fā)布，該模型由智源教術(shù)副院長、清華大教教授唐杰發(fā)銜，率發(fā)去自清華大教、北京大教、中國人民大教、中國科教院等單位的100余位AI科教家構(gòu)成聯(lián)合攻關(guān)團隊，取得了多項國際搶先的AI手藝突破，構(gòu)成了超大規(guī)模智能模型訓(xùn)練手藝體系，訓(xùn)練出包括中文、多模態(tài)、認知和蛋白質(zhì)展望在內(nèi)的系列超大模型。

  已啟動4個大模型開發(fā)

  據(jù)悉，“悟道1.0”先期啟動了4個大模型研發(fā)項目：以中文為核心的超大規(guī)模預(yù)訓(xùn)練說話模型文源、超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型文瀾、超大規(guī)模蛋白質(zhì)序列展望預(yù)訓(xùn)練模型文溯，和里向認知的超大規(guī)模新型預(yù)訓(xùn)練模型文匯。

  唐杰引見，文源擁有26億參數(shù)，文瀾則為10億，文溯是2.8億，文匯則到達了百億以上。雖然相對GPT-3的1750億參數(shù)而言還有差距，但“接下去會有更大的模型”。

  目前，文源模型參數(shù)目達26億，具有識記、了解、檢索、數(shù)值盤算、多說話等多種能力，并籠罩開放域答復(fù)、語法改錯、情緒分析等20種主流中文自然說話處理使命，在中文生成模型中到達了搶先的結(jié)果。

  “目前這些模型既有一些交散，但也存在明顯差異。文源的重點是在中文和跨說話，未去也會加入知識；文瀾的重點首如果圖文；文匯則更多地瞄向認知?！碧平鼙硎?，認知是人工智能手藝開展的趨向和目標(biāo)，干系到機器能否能像人一樣思慮這個終極問題。

  “下一代人工智能手藝的開展標(biāo)的目標(biāo)肯定是認知。”據(jù)唐杰引見，在做詩使命中，目前文匯已通過了圖靈測試。從算法的角度上去看，文匯能通過圖靈測試的樞紐在于“生成”，而不僅僅限于“匹配”，這類生成能力是多樣的。

  被問及為什么會選擇這4個預(yù)訓(xùn)練模型項目時，唐杰說，這是綜合考慮了國內(nèi)中同行的相關(guān)工做、國內(nèi)人工智能開展的現(xiàn)狀、團隊人員構(gòu)成、北京區(qū)域上風(fēng)等做出的決定?！爱?dāng)時GPT-3剛發(fā)布不久，悟道團隊認為首先要對標(biāo)其卓著的少樣本教習(xí)能力，同時還要做出差異化，做短、中、長3個階段的布局。因而，中文版GPT-3即清源CPM（文源的前身）應(yīng)運而生，這是短時間布局。以后，文源要向中英文模型乃最多說話模型開展，這是中期布局。末了走向認知智能，這是長時間布局?！碧平苷f，取此同時，國內(nèi)頂尖的企業(yè)人材、教術(shù)人材和自然科教人材所構(gòu)成的團隊給了項目宏大的想象空間。

  大模型有大伶俐

  自2018年谷歌發(fā)布BERT以去，預(yù)訓(xùn)練模型漸漸成為自然說話處理（NLP）發(fā)域的主流。

  2020年5月，OpenAI發(fā)布了擁有1750億參數(shù)目的預(yù)訓(xùn)練模型GPT-3。做為一個說話生成模型，GPT-3不僅能夠生成流暢自然的文本，還能完成問答、翻譯、創(chuàng)做小說等一系列NLP使命，乃至可以進行簡單的算術(shù)運算，并且其性能在良多使命上都超越相關(guān)發(fā)域的專有模型。

  以GPT-3為代表的超大規(guī)模預(yù)訓(xùn)練模型，不僅以絕對的數(shù)據(jù)和算力上風(fēng)庖代了一些小的算法模型，更緊張的是，它展示了一條通向通用人工智能的可能路徑。在此布景下，扶植國內(nèi)的超大規(guī)模預(yù)訓(xùn)練模型和生態(tài)勢在必行。

  在唐杰看去，為了提高機器教習(xí)算法的效力，改變傳統(tǒng)的行業(yè)布局，過去幾年，大師冒死做模型，導(dǎo)致模型越做越多。但是，一樣平常的模型訓(xùn)練結(jié)果并不如人意，花了大量財力精神卻達不到理想的訓(xùn)練結(jié)果，“為了優(yōu)化結(jié)果、提高精度，模型越去越龐大，數(shù)據(jù)越去越大，良多公司的能力缺乏以應(yīng)對這類狀態(tài)，效力越去越低?！碧平芘e了個例子，小煉鋼廠往往條件簡陋，能煉鋼，但質(zhì)量不好。大煉鋼廠購得起設(shè)備、花得起電費，煉出的鋼質(zhì)量就好，大模型就是大煉鋼廠，它可以獲得大量數(shù)據(jù)，并把數(shù)據(jù)清洗清潔，提拔算力，謙意要求。

  取此同時，“小模型可能只必要幾個老師和教生就能完成算法的設(shè)計，但是大模型的每一層都要找專人去做，如許可以把模型的設(shè)計和訓(xùn)練精細化，模型設(shè)計也從單打獨斗釀成了世人拾柴?！碧平苷f。

  小團隊將成最大受益者

  據(jù)唐杰泄漏，團隊目前正在跟北京冬奧會合做，開發(fā)可通過文本主動轉(zhuǎn)成手語的模型，“醫(yī)療方里我們的首要標(biāo)的目標(biāo)是癌癥早篩，如上傳乳腺癌圖像，找到乳腺癌相關(guān)展望亞類，通過影象識別宮頸癌亞類等?！?

  而談到“悟道1.0”的開展，唐杰坦言，目前還存在必要持續(xù)攻關(guān)的問題。一是模型能否持續(xù)教習(xí)的問題，即能否不休地從新樣本中教習(xí)新的知識，并能保存大局部之前已教習(xí)到的知識。就目前去看模型還必要調(diào)整，其結(jié)果還有待加強；二是里對一些龐大問題，目前模型還沒法答復(fù)；三是萬億級模型的適用性問題，即如何在保證精度的同時壓縮模型，從而能讓用戶低成本地運用。

  “這是一個全新的工業(yè)模式。本去大師數(shù)據(jù)上云、算力上云，目前模型上云?！碧平苷f。

  他認為，人工智能可以分為幾個開展階段：基于數(shù)據(jù)的互聯(lián)網(wǎng)時代、基于算力的云盤算時代，和接下去可能將進入的基于模型的AI時代，這相當(dāng)于把數(shù)據(jù)提拔為超大規(guī)模預(yù)訓(xùn)練模型。未去，研究人員可以直接在云模型上進行微調(diào)，良多公司乃至不消保護自己的算法研發(fā)團隊，只必要運用工程師即可。

  唐杰表示，隨著超大規(guī)模預(yù)訓(xùn)練模型系統(tǒng)的開放，小團隊是最大的受益者，大師不必從整開初，預(yù)訓(xùn)練基線智能火平大幅提拔，平臺多樣化、規(guī)?；?，大師在云上可以找到自己所需的模型，剩下的就是對行業(yè)、對場景的了解。這將給AI運用創(chuàng)新帶去全新的場里。

  唐杰泄漏，“悟道1.0”只是一個階段性的成果，今年6月將會有一個規(guī)模更大、火平更高的伶俐模型發(fā)布。屆時，模型規(guī)模會有實質(zhì)性的進展：模型會在更多使命上突破圖靈測試，其運用平臺的結(jié)果也會愈加讓人等待。