QQ在線
企業(yè)微信
資訊
494語(yǔ)音交互是機(jī)器人用來(lái)表達(dá)的出口，大數(shù)據(jù)是機(jī)器人用來(lái)更加準(zhǔn)確判！
金融行業(yè)是大數(shù)據(jù)與人工智能落地最具潛力的行業(yè)之一。金融行業(yè)是數(shù)據(jù)密集型行業(yè)，金融數(shù)據(jù)具有更高的實(shí)時(shí)性、安全性和穩(wěn)定性的要求，結(jié)構(gòu)化數(shù)據(jù)占比高，應(yīng)用場(chǎng)景廣泛。但與此同時(shí)，金融行業(yè)還有賴于利用第三方數(shù)據(jù)來(lái)為客戶提供更好的服務(wù)，自身業(yè)務(wù)特點(diǎn)也對(duì)金融數(shù)據(jù)的數(shù)據(jù)安全和個(gè)人隱私保護(hù)帶來(lái)了極大的困難，數(shù)據(jù)孤島現(xiàn)象嚴(yán)重，這也是為何聯(lián)邦學(xué)習(xí)首先在微眾銀行這樣的創(chuàng)新金融企業(yè)落地和開(kāi)花結(jié)果的原因。
隨著深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的提出、算法改善和算力的提升、以及大數(shù)據(jù)的廣泛應(yīng)用，人工智能迎來(lái)了一波新的高峰。2016 年的「人機(jī)大戰(zhàn)」AlphaGo 戰(zhàn)勝圍棋世界冠軍李世石，不僅展示了以大數(shù)據(jù)驅(qū)動(dòng)的人工智能的巨大潛力，也讓人們更加期待一個(gè)人工智能在各行各業(yè)中得以實(shí)現(xiàn)的新時(shí)代的到來(lái)。
然而理想很豐滿，現(xiàn)實(shí)很骨感——在實(shí)際應(yīng)用中，大多數(shù)應(yīng)用領(lǐng)域均存在數(shù)據(jù)有限且質(zhì)量較差的問(wèn)題，在某些專(zhuān)業(yè)性很強(qiáng)的細(xì)分領(lǐng)域（如醫(yī)療診斷）更是難以獲得足以支撐人工智能技術(shù)實(shí)現(xiàn)的標(biāo)注數(shù)據(jù)。同時(shí)在不同數(shù)據(jù)源之間存在難以打破的壁壘，「大數(shù)據(jù)」往往只是越來(lái)越多的「數(shù)據(jù)孤島」的總稱(chēng)。
語(yǔ)言建模成功是有原因的！它是一項(xiàng)非常困難的工作，為了有機(jī)會(huì)解決這個(gè)難題，模型需要學(xué)習(xí)語(yǔ)法，語(yǔ)義以及某些世界常識(shí)。給定足夠的數(shù)據(jù)，大量參數(shù)和足夠的計(jì)算能力，模型就可以有不錯(cuò)的學(xué)習(xí)成果。根據(jù)過(guò)往的實(shí)驗(yàn)來(lái)看，語(yǔ)言建模比翻譯或自動(dòng)編碼等其它預(yù)訓(xùn)練工作更有效。
最近對(duì)人類(lèi)語(yǔ)言的預(yù)測(cè)率失真 (PRD) 的分析 (Hahn and Futrell, 2019) 研究表明，人類(lèi)語(yǔ)言和語(yǔ)言建模都具有無(wú)窮高的統(tǒng)計(jì)復(fù)雜性，但語(yǔ)言建?？梢栽谳^低層次上模仿逼近人類(lèi)語(yǔ)言。這一觀察結(jié)果有兩個(gè)啟示：1）我們可以用相對(duì)較小的模型以獲得較為精準(zhǔn)的結(jié)果；2）我們的模型有很大的拓展?jié)摿?。?duì)于這兩種啟示，我們都有充足證據(jù)，我們可以在下一節(jié)中看到。
簡(jiǎn)單的做法可以是在預(yù)訓(xùn)練的模型之上添加一個(gè)或多個(gè)線性層，通常是在 Bert 基礎(chǔ)上增加?；蛘呶覀円部梢允褂媚Ｐ洼敵鲎鳛榱硪粋€(gè)模型的輸入。當(dāng)目標(biāo)任務(wù)需要預(yù)訓(xùn)練的嵌入有一些交互作用但目前的預(yù)訓(xùn)練模型執(zhí)行不了時(shí)，這通常是有幫助的，例如以 BERT 為預(yù)訓(xùn)練模型但需要詞匯表征或建立跨句子關(guān)系模型。
我們希望這樣做的原因之一可能是為了適應(yīng)結(jié)構(gòu)不同的設(shè)定目標(biāo)，例如一個(gè)具有多個(gè)輸入序列的任務(wù)。在這種情況下，我們可以使用預(yù)訓(xùn)練的模型盡可能初始化結(jié)構(gòu)不同的設(shè)定模型。我們還可以應(yīng)用于特定項(xiàng)目的修改，例如添加、跳過(guò)或連接或警示。最后，修改目標(biāo)任務(wù)的參數(shù)可以通過(guò)在預(yù)訓(xùn)練的模型層之間添加瓶頸模塊 （適配器）來(lái)減少需要精細(xì)調(diào)整的參數(shù)數(shù)量。
同時(shí)隨著大數(shù)據(jù)的發(fā)展，重視數(shù)據(jù)隱私和安全已經(jīng)成為一種世界性的趨勢(shì)，而歐盟「數(shù)據(jù)隱私保護(hù)條例」（General Data Protection RegulaTIon，GDPR）等一系列條例的出臺(tái)更是加劇了數(shù)據(jù)獲取的難度，這也給人工智能的落地應(yīng)用帶來(lái)了前所未有的挑戰(zhàn)。
