這段時間,，一款名叫ChatGPT的人工智能聊天系統(tǒng)就像平地起春雷,，突然刷爆網(wǎng)絡。
“從目前普遍的對話感受來看,，ChatGPT的最大亮點就在于其優(yōu)秀的意圖識別與語言理解能力，這令人意識到人工智能的交互能力已經(jīng)實現(xiàn)了跨越式進展,?！币子^智慧院高級分析師陳晨評價。
有問必答,，侃侃應對。這種神奇的人機互動體驗,，勾起人們絞盡腦汁向ChatGPT提問的熱情，并為其帶來驚人的用戶量：該系統(tǒng)在兩個多月前由美國人工智能研究公司OpenAI推出,，今年1月便已達到1億月活躍用戶,，用戶增長速度堪稱史無前例,。
這款產(chǎn)品大受歡迎，其重要幕后功臣是被業(yè)內(nèi)稱為預訓練模型的技術,。面對ChatGPT的爆火,，國內(nèi)科技機構和企業(yè)紛紛“亮劍”,。據(jù)最新消息，中國版ChatGPT將于下個月與公眾見面,。
參數(shù)規(guī)模從幾百萬狂飆至幾千億
“目前，預訓練技術是人工智能研究的重要突破口,?！卑⒗镅芯吭何磥砑夹g中心負責人蘇中解讀,，傳統(tǒng)的研究方法中，標注成本一直是阻礙人工智能算法推向更大數(shù)據(jù)集合的障礙,，而預訓練技術不依賴數(shù)據(jù)標注，就可以訓練出一個大規(guī)模深度學習模型,。
科技日報記者了解到,，由于不需要數(shù)據(jù)標注,，預訓練模型往往可以使用更大的數(shù)據(jù)集，因而可以選擇更大的模型規(guī)?！@就催生了預訓練大模型。
“與以往的人工神經(jīng)網(wǎng)絡相比,，預訓練大模型最大的不同在于它規(guī)模足夠大,，深度學習網(wǎng)絡的層數(shù)多,、連接多,、參數(shù)多?！?/span>IDEA研究院（粵港澳大灣區(qū)數(shù)字經(jīng)濟研究院）認知計算與自然語言研究中心講席科學家張家興接受記者采訪時介紹,，2012年前后的深度學習網(wǎng)絡只有幾百萬參數(shù)；2018年前后主流的預訓練模型達到1億參數(shù),；目前被證明非常有效的大規(guī)模預訓練模型已有幾千億參數(shù)，短短幾年時間提升了幾千倍,。
量變引起質(zhì)變,。蘇中分析，在對預訓練模型各種不同的技術評測中,，算法性能展示了一個規(guī)律：數(shù)據(jù)規(guī)模越大,、預訓練模型參數(shù)越多，算法輸出精度往往也越高,。
除了規(guī)模大以外，張家興談到,，目前的預訓練大模型由于采用了新的結構模型，非常適合并行訓練,。同時，在訓練方式上,，人工神經(jīng)網(wǎng)絡的預訓練任務類似“解題”，比如把一句話的某個詞或前半句去掉,，讓預訓練模型利用海量大數(shù)據(jù)對句子進行恢復，這樣訓練下去,，預訓練模型的“解題”能力就會越來越好,。而且，在大語言模型的基礎上,，引入指令學習，可以遠超模型微調(diào)帶來的收益,。在此基礎上,，人類的反饋可以幫助模型更好地理解人類意圖和接收信息,，人機對話也就越來越流暢,。
“ChatGPT在底層數(shù)據(jù),、核心技術,、用戶體驗等各方面都可以說是里程碑式的人工智能產(chǎn)品,。”曠視研究院基礎科研負責人張祥雨表示,，ChatGPT的核心技術是人工智能語言大模型,，其關鍵是如何讓人工智能模型具備邏輯推理能力,，以及如何讓人工智能學習全互聯(lián)網(wǎng)的知識,。這些ChatGPT基本都做到了，因此在決策和知識環(huán)節(jié)有了很大的突破,。
國內(nèi)多家科技機構已布局相關領域
據(jù)外媒報道,，多家國外科技巨頭正重金投入預訓練模型和人工智能生成內(nèi)容（AIGC）賽道,。記者了解到，國內(nèi)已有不少科技機構和企業(yè)布局相關領域,。
張家興告訴記者,，IDEA研究院認知計算與自然語言研究中心在此方向上布局已久，該中心擁有國內(nèi)最大的開源模型體系——封神榜,，已開源的98個模型正在全力支持中國AIGC的發(fā)展,，探索研發(fā)適配各個領域的個性化可定制模型,，支持全部自然語言處理（NLP）任務,。
“很高興能在深度學習高速發(fā)展的第十年節(jié)點上，看到AIGC和ChatGPT的出現(xiàn),，今天所有這些自然語言處理任務正在被統(tǒng)一到ChatGPT模式下,，我們也正在整合之前的模型和技術,，推出我們的類ChatGPT模型,?！睆埣遗d說,。
記者從百度獲悉，百度已投入開發(fā)類似ChatGPT的相關技術,，該項目名字確定為文心一言，英文名ERNIE Bot,，3月份完成內(nèi)測后面向公眾開放。目前,，文心一言在做上線前的沖刺。
“ChatGPT主要涉及自然語言處理相關技術,，屬于認知智能領域的應用之一，科大訊飛在該方向的技術和應用方面具備長期深厚的積累,。”2月8日晚,，科大訊飛在投資者互動平臺回應稱,，公司已面向認知智能領域陸續(xù)開源了6大類、超過40個通用領域的系列中文預訓練語言模型,，并于去年12月啟動生成式預訓練大模型任務攻關，人工智能學習機將成為該項技術率先落地的產(chǎn)品,，今年5月將進行產(chǎn)品級發(fā)布,。
此外，360公司2月7日在投資者互動平臺表示,，該公司也計劃盡快推出類ChatGPT技術的原型版產(chǎn)品?！?/span>AIGC技術除了在搜索引擎的應用之外,，還可以輔助數(shù)字安全能力的提升?！?/span>360公司稱,。
（本報記者操秀英,、劉艷對此文亦有貢獻） |