3月16日,百度正式發(fā)布大語言模型、生成式AI產(chǎn)品“文心一言”。百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏及百度首席技術(shù)官王海峰出席發(fā)布會。李彥宏展示了文心一言在文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理推算、中文理解、多模態(tài)生成五個使用場景中的綜合能力。
“生成式AI代表著新的技術(shù)范式,是任何企業(yè)都不應(yīng)錯過的大機會?!崩顝┖暾f,“這段時間不斷有人問我,為什么現(xiàn)在發(fā)布,你們是不是真的ready了?其實,百度在過去十幾年中持續(xù)在AI研發(fā)上堅持投入,文心大模型第一個版本2019年就發(fā)布了,此后的每一年都發(fā)布一個新版本,從這個意義上說,文心一言的發(fā)布只是我們過去多年努力的一個自然延續(xù)?!?
李彥宏表示,大家的期望值是要對標(biāo)ChatGPT,甚至要對標(biāo)GPT-4,這個門檻還是很高的。全球的大廠當(dāng)中,百度是第一個“發(fā)布”的。他說,內(nèi)測中“文心一言”并不完美,之所以現(xiàn)在要發(fā)布,原因在于市場有強烈需求。其定位是通用大模型。
李彥宏認為,多模態(tài)是生成式AI一個明確的發(fā)展趨勢。未來,隨著百度多模態(tài)統(tǒng)一大模型的能力增強,文心一言的多模態(tài)生成能力也會不斷提升。而大模型會帶來三大產(chǎn)業(yè)機會:新型云計算、行業(yè)模型精調(diào)、應(yīng)用開發(fā)。
發(fā)布會舉行時,截至14時22分,百度集團(09888.HK)股價跌幅擴大至近10%,報120.5港元/股。
演示五個場景下的能力
發(fā)布會上,百度播放了“文心一言”的演示視頻,以下為演示實錄。
文學(xué)創(chuàng)作

問題:
· 《三體》的作者是哪里人?
· 可以總結(jié)一下《三體》的核心內(nèi)容嗎?如果要續(xù)寫的話,可以從哪些角度出發(fā)?
· 如何從哲學(xué)的角度續(xù)寫?
· 電視劇《三體》演員都有誰?
· 于和偉和張魯一有哪些共同點?
· 于和偉和張魯一誰更高?
李彥宏:剛才的演示中,“總結(jié)三體的核心內(nèi)容”,體現(xiàn)的是文心一言的總結(jié)、分析能力。續(xù)寫《三體》,體現(xiàn)的是內(nèi)容創(chuàng)作生成能力。
《三體》的作者是誰?他是哪里人?電視劇三體演員都有誰?文心一言回答是正確的。大家可能知道,生成式AI這類產(chǎn)品,在回答事實性問題時,有時候會出錯。文心一言延續(xù)了百度知識增強的大模型理念,大幅度提升了事實性問題的準(zhǔn)確率。
于和偉和張魯一有哪些共同點、于和偉和張魯一誰更高?這類問題背后,則體現(xiàn)的是文心一言的推理能力。比如,它得先知道兩人的準(zhǔn)確身高,才能得出正確答案。
商業(yè)文案創(chuàng)作

問題:
· 如果要成立一個用大模型服務(wù)中小企業(yè)數(shù)字化升級的科技服務(wù)公司,可以起個什么公司名?
· 數(shù)智云圖這個名稱不錯,給我起一個公司的服務(wù)Slogan,表達共贏的概念。
· 幫我生成一篇公司成立的新聞稿,數(shù)智云圖以共贏的服務(wù)理念用大模型服務(wù)中小企業(yè)數(shù)字化升級。字數(shù)600字。
李彥宏:剛才的演示,展現(xiàn)了文心一言連續(xù)三次內(nèi)容創(chuàng)作生成。
AI要寫好一篇稿子,除了需要準(zhǔn)確理解我們的意圖,還要有清晰的表達能力。
這背后有一個基礎(chǔ),就是龐大的數(shù)據(jù)規(guī)模。人類常說“讀萬卷書”,而AI可以說是 “讀書破千億卷”。文心一言大模型的訓(xùn)練數(shù)據(jù)就包括,萬億級網(wǎng)頁數(shù)據(jù),數(shù)十億的搜索數(shù)據(jù)和圖片數(shù)據(jù),百億級的語音日均調(diào)用數(shù)據(jù),以及5500億事實的知識圖譜等,這讓百度在中文語言的處理上,能夠處于獨一無二的位置。
有研究表明,數(shù)據(jù)規(guī)模足夠大,參數(shù)達到千億級,大模型就可能發(fā)生“智能涌現(xiàn)”,即使在沒有專門訓(xùn)練過的領(lǐng)域,也能涌現(xiàn)出知識理解和邏輯推理能力。
數(shù)理邏輯推算任務(wù)

問題:
· 下面我們來玩一個雞兔同籠的游戲。1只雞有2只腳1個頭,1只兔子有4只腳1個頭。那么,如果有一個籠子里有9個頭,40只腳,應(yīng)該有多少只雞,多少只兔子?
· 下面我們來玩一個雞兔同籠的游戲。1只雞有2只腳1個頭,1只兔子有4只腳1個頭。那么,如果有一個籠子里有9個頭,30只腳,應(yīng)該有多少只雞,多少只兔子?
李彥宏:對于第一道題,文心一言經(jīng)過演算,認為可能是題出錯了。對于第二道,文心一言不但給出了正確結(jié)果,還詳細給出解題步驟??梢钥闯?,文心一言能理解題意,并有正確的解題思路,進而像學(xué)生做題一樣,按正確的步驟,一步步算出正確答案。
文心一言已具備了一定的思維能力,能夠?qū)W會數(shù)學(xué)推演及邏輯推理這類相對復(fù)雜任務(wù)。當(dāng)然,現(xiàn)階段準(zhǔn)確率還不是100%,我們還需要給它更多的時間來學(xué)習(xí)和成長。
中文理解能力

問題:
· “洛陽紙貴”是什么意思?
· 當(dāng)時洛陽的紙到底有多貴?
· 這個成語在現(xiàn)在的經(jīng)濟學(xué)原理里,對應(yīng)的理論是什么?
· 用洛陽紙貴四個字寫一首藏頭詩。
李彥宏:“洛陽紙貴”,“藏頭詩”,這很考驗AI對中文和中國文化的理解。
作為扎根于中國市場的大語言模型,文心一言具備中文領(lǐng)域最先進的自然語言處理能力。這個例子就比較清楚地展示了我們在中文上的優(yōu)勢。
相對應(yīng)的,文心一言目前對英文語種、代碼場景的訓(xùn)練還不夠多,表現(xiàn)還不夠好,接下來我們還要加緊訓(xùn)練,不斷完善這些能力。
多模態(tài)生成

問題:
· 請為2023世界智能交通大會創(chuàng)作一張海報。
· 你認為智能交通最適合哪個城市發(fā)展?
· 請用四川話將以上內(nèi)容講出來。
· 請將以上內(nèi)容生成視頻。
李彥宏:剛才這一段演示,文心一言生成了文本、圖片、音頻和視頻,展示了多模態(tài)生成能力。目前的版本,已經(jīng)能夠生成文字、圖片和語音。生成視頻因為成本比較高,還沒有對所有用戶開放,未來我們會逐步接入。但是熟悉百家號創(chuàng)作的朋友,應(yīng)該都體驗過這個功能了,每天有幾萬篇文章通過這個能力轉(zhuǎn)成視頻內(nèi)容在百度分發(fā)。
多模態(tài)是生成式AI一個明確的發(fā)展趨勢。未來,隨著百度多模態(tài)統(tǒng)一大模型的能力增強,文心一言的多模態(tài)生成能力,也會不斷提升。
“四層架構(gòu)的每一層都有領(lǐng)先產(chǎn)品”
在結(jié)束演示后,李彥宏總結(jié)道:“從文心一言的表現(xiàn)看,某種程度上它具有了對人類意圖的理解能力,回答的準(zhǔn)確性、邏輯性、流暢性,都逐漸接近人類水平。但整體而言,這類大語言模型還遠未到發(fā)展完善的階段,它們有時候會有很驚艷的表現(xiàn),但不少場景下,細究起來還有明顯的bug,進步空間很大。未來這段時間它一定會飛速發(fā)展,日新月異?!?
李彥宏表示,通過定向微調(diào),可以在百度內(nèi)外部各類產(chǎn)品上逐步展示出驚人的親和力,讓每一個產(chǎn)品離自己的用戶和客戶更近。文心一言這樣的大語言模型,會成為每個人必不可少的生產(chǎn)力工具。不過,無論是哪家公司,都不可能靠突擊幾個月就能做出這樣的大語言模型。深度學(xué)習(xí)、自然語言處理,需要多年的堅持和積累,沒法速成。
“人類進入人工智能時代,IT技術(shù)的技術(shù)棧發(fā)生了根本性變化。過去基本分為三層:芯片層,操作系統(tǒng)層和應(yīng)用層?,F(xiàn)在可以分為四層:芯片層、框架層、模型層和應(yīng)用層。”他介紹說,“今天,百度是全球為數(shù)不多、在這四層進行全棧布局的人工智能公司,從高端芯片昆侖芯,到飛槳深度學(xué)習(xí)框架,再到文心預(yù)訓(xùn)練大模型,到搜索、智能云、自動駕駛、小度等應(yīng)用,各個層面都有領(lǐng)先業(yè)界的自研技術(shù)?!?
文心一言位于模型層。2019年,百度推出了文心大模型ERNIE 1.0。目前,ERNIE 3.0每天接受數(shù)十億次用戶的搜索請求。這讓文心一言能夠基于一個龐大的、高效的數(shù)據(jù)池,快速地學(xué)習(xí)和改進。
“大模型訓(xùn)練堪稱暴力美學(xué),需要有大算力、大數(shù)據(jù)和大模型,每一次訓(xùn)練任務(wù)都耗資巨大。全棧布局的優(yōu)勢在于,可以在技術(shù)棧的四層架構(gòu)中,實現(xiàn)端到端優(yōu)化,大幅提升效率。尤其是,框架層和模型層之間,有很強的協(xié)同作用,可以幫助構(gòu)建更高效的模型,并顯著降低成本。事實上,超大規(guī)模模型的訓(xùn)練和推理,給深度學(xué)習(xí)框架帶來了很大考驗。比如,為了支持千億參數(shù)模型的高效分布式訓(xùn)練,百度飛槳專門研發(fā)了 4D 混合并行技術(shù)?!崩顝┖杲榻B道。
“另外,芯片、框架、大模型和終端應(yīng)用場景,可以形成一個高效的反饋閉環(huán),幫助大模型不斷去調(diào)優(yōu)迭代,越做越好。更好的大模型,會讓用戶體驗不斷升級。”
最后,李彥宏強調(diào):“在全球范圍內(nèi),在四層架構(gòu)的每一層都有領(lǐng)先產(chǎn)品的公司幾乎沒有,百度的優(yōu)勢非常獨特,相信大家會在后續(xù)文心的迭代速度上有明顯感受?!?