中關(guān)村科金張杰：央國企落地大模型的關(guān)鍵考量及應(yīng)用探索實(shí)踐

6月20日，中關(guān)村科金成功舉辦“AI 賦能·產(chǎn)業(yè)煥新，打造央國企新質(zhì)生產(chǎn)力”央國企大模型（北京站）閉門研討沙龍。圍繞大模型在央國企領(lǐng)域的應(yīng)用范式、典型實(shí)踐等話題，與來自電力、能源、航天、紡織、煤炭等行業(yè)的60余位央國企專家，共探央國企數(shù)字化轉(zhuǎn)型戰(zhàn)略機(jī)遇。

中關(guān)村科金技術(shù)副總裁張杰博士現(xiàn)場分享了《領(lǐng)域大模型在央國企的應(yīng)用探索》主題演講。

本文對張杰博士的演講內(nèi)容進(jìn)行了編輯整理。

領(lǐng)域大模型的解讀思考

不同的人對大模型有不同的理解，我認(rèn)為大模型是一個(gè)用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)化方式表達(dá)的知識庫。

這個(gè)知識庫里面儲存的是什么呢？是我們的日常語言和世界常識。和傳統(tǒng)對話引擎不太一樣的地方是，大模型腦量特別大、記性很好，可以記住很多常識性的知識。這也是為什么我們在和大模型交流的過程中，發(fā)現(xiàn)它比以前的人工智能，能夠?qū)崿F(xiàn)更好的語言理解的原因。

過去AI對世界常識的理解不是特別清晰，有時(shí)前后跨度比較長，AI就會(huì)忘了你這句話里面說的“他”是指張三還是指李四，容易出現(xiàn)指代消解和世界常識的錯(cuò)誤。

現(xiàn)在的大語言模型腦量足夠豐富，能夠理解人類語言和世界常識，甚至能夠舉一反三，這種涌現(xiàn)的能力得益于兩個(gè)方面的技術(shù)創(chuàng)新，一是Transformer網(wǎng)絡(luò)結(jié)構(gòu)，能夠解決長距離語義關(guān)聯(lián)的問題。

簡單地解釋一下什么是Transformer，它分左右兩個(gè)部分，左邊是編碼器，右邊是解碼器。編碼器用于壓縮，比如有一個(gè)人用半小時(shí)描述一件事情，這些內(nèi)容一個(gè)字一個(gè)字地進(jìn)入我的耳朵，我的大腦就是一個(gè)編碼器，把這些字和語義一層一層地壓縮，壓縮到最頂端的時(shí)候，半小時(shí)描述的事件只占了很小的一個(gè)片段，是極度壓縮的一個(gè)意識流。解碼器再按照我的語言風(fēng)格把它重新組織描述出來，按照時(shí)間、地點(diǎn)、人物、起因、結(jié)果、來龍去脈等，在大腦極度壓縮后，對意識流進(jìn)行解碼，這就是Transformer網(wǎng)絡(luò)結(jié)構(gòu)。

另一方面是得益于Scaling Law，即規(guī)模法則。通過大量的算力，把海量的知識一點(diǎn)一點(diǎn)放到大模型參數(shù)的網(wǎng)絡(luò)結(jié)構(gòu)里?，F(xiàn)在的大規(guī)模語言模型比原來小模型智能程度更高、記性更好、理解能力更強(qiáng)，讓我們看到了強(qiáng)人工智能的可能性。

我覺得大模型并不等于強(qiáng)人工智能，更像是AGI的一個(gè)里程碑。整個(gè)強(qiáng)人工智能大致可以分為四個(gè)階段，大語言模型只是解決了第一個(gè)階段語言能力的問題，語言理解能力和語言生成能力逼近人類，甚至是個(gè)別場景下超過人類。

接下來還有三個(gè)階段的問題需要去解決。一個(gè)是事實(shí)判斷，大模型容易產(chǎn)生幻覺問題，經(jīng)常一本正經(jīng)地胡說八道，或者只能解答高頻問題，對長尾的碎片事實(shí)知識比較缺乏，這是第二階段需要解決的問題。現(xiàn)在我們通過外掛向量知識庫，可以解決部分事實(shí)判斷的問題。

目前學(xué)術(shù)界研究的另一個(gè)熱點(diǎn)，是使用大模型或者Agent技術(shù)進(jìn)行過程判斷，輸入一個(gè)目標(biāo)或事件，大模型反饋應(yīng)該分成哪幾步去完成，每一個(gè)步驟的因果推斷是怎樣的，使大模型具備問題自主拆解能力，從而進(jìn)行過程生成。小學(xué)加減乘除的算術(shù)題大模型可以一步一步給出解答，但稍微再復(fù)雜一些就難以完成。

未來若想讓大模型具備獨(dú)立自主的心智，或者是應(yīng)用于更多泛化場景，就需要讓大模型能夠進(jìn)行價(jià)值判斷。不可避免的一個(gè)步驟是要對大模型進(jìn)行規(guī)范約束，在現(xiàn)實(shí)世界當(dāng)中不斷地和人類或者環(huán)境做交互。如同要允許小孩犯錯(cuò)，才能夠在成長過程中不斷通過人類反饋具備價(jià)值判斷能力。

企業(yè)落地大模型潛在的應(yīng)用場景也非常多，按照兩個(gè)維度、四個(gè)象限，橫軸以專業(yè)性強(qiáng)、弱，縱軸以場景容錯(cuò)性高低進(jìn)行劃分，可以發(fā)現(xiàn)ChatGPT選擇了一個(gè)通用性與容錯(cuò)性都很強(qiáng)的閑聊場景。除非是違反公序良俗拒絕回答的問題，ChatGPT在閑聊中基本上沒有接不住的話題，有時(shí)候碰到一些長尾的、碎片的事實(shí)知識，即便給出一個(gè)錯(cuò)誤答案，也沒有什么太大影響。

因?yàn)殚e聊的容錯(cuò)性是非常高的，但是在企業(yè)應(yīng)用時(shí)，或多或少的都會(huì)有一些企業(yè)特性知識，在一些嚴(yán)肅的應(yīng)用場景下，大模型的專業(yè)性、安全性、經(jīng)濟(jì)性都面臨著巨大挑戰(zhàn)。

現(xiàn)階段大模型仍然面臨一個(gè)“鐵律”，通用的不好用，好用的不通用。要讓大模型技術(shù)在企業(yè)里落地，第一個(gè)要解決的問題是使其具備領(lǐng)域?qū)I(yè)性。

最好的破冰點(diǎn)是讓大模型形成企業(yè)內(nèi)部的統(tǒng)一知識庫，不管是原來已經(jīng)加工好的結(jié)構(gòu)化知識，或者是半結(jié)構(gòu)化放在大數(shù)據(jù)平臺里的數(shù)據(jù)，甚至是其他沒有被喚醒和激活的非結(jié)構(gòu)化數(shù)據(jù)，比如各種各樣的產(chǎn)品介紹材料、PPT、PDF、音視頻等都可以灌入大模型，分門別類設(shè)置不同的權(quán)限，形成一個(gè)企業(yè)內(nèi)部統(tǒng)一的企業(yè)知識中臺。

企業(yè)知識中臺不是一個(gè)孤立的場景，可以和企業(yè)業(yè)務(wù)系統(tǒng)構(gòu)建各類基于知識的應(yīng)用場景。過去一年多時(shí)間，我們走訪、服務(wù)了很多央國企客戶，發(fā)現(xiàn)大家都面臨著一些共性問題，除了大模型技術(shù)的安全合規(guī)、技術(shù)可行性之外，還有一方面是我們應(yīng)該選擇什么樣的大模型？

現(xiàn)在大模型迭代速度快，需根據(jù)場景需求，兼容多個(gè)廠家、多個(gè)版本、多種參數(shù)規(guī)模的基礎(chǔ)大模型。我們建議企業(yè)不要只綁定于某一款大模型，要考慮到底層基礎(chǔ)大模型的靈活性，將來可以根據(jù)不同場景、需求，或者不同的預(yù)算規(guī)模，靈活地替換底座。

第二個(gè)問題是不要認(rèn)為大模型什么都能干、上來就能干得很好。我們在解決具體應(yīng)用場景時(shí)，不只需要一款大模型解決所有問題，有時(shí)還需要疊加小模型或非AI技術(shù)手段，形成組合創(chuàng)新。

第三是在應(yīng)用過程中，新場景下冷啟動(dòng)階段需以人機(jī)協(xié)同的方式保障準(zhǔn)確度，使用過程中形成模型自迭代的反饋機(jī)制。隨著應(yīng)用不斷迭代，從日志里挖掘正確樣本，讓大模型越用越聰明。

第四是在實(shí)際應(yīng)用中根據(jù)不同場景需求，選擇不同參數(shù)規(guī)模的模型，降低算力資源消耗，可以平衡響應(yīng)時(shí)延，提升投入產(chǎn)出比。

還有一點(diǎn)是安全可信，我們接觸過的企業(yè)基本上都會(huì)考慮怎么實(shí)現(xiàn)安全可控，避免生成涉黃、涉黑的答案。這需要對模型注入合法合規(guī)與安全隱私能力，遵守內(nèi)外部規(guī)則制定，提升拒絕能力。

最后一點(diǎn)也是非常重要的一點(diǎn)，大模型技術(shù)不是一蹴而就的，需要不斷地迭代、更新，廠商需要具備大模型自主運(yùn)維能力，可以通過微調(diào)提示詞大幅提升基礎(chǔ)大模型的特定場景準(zhǔn)確度，數(shù)據(jù)是其中關(guān)鍵。只要數(shù)據(jù)量足夠多，質(zhì)量足夠好，便可以靈活替換、定制化開發(fā)底層大模型。

基于過往多個(gè)大模型項(xiàng)目的實(shí)施經(jīng)驗(yàn)，中關(guān)村科金形成了一套總體技術(shù)框架，概括為三個(gè)步驟、兩個(gè)算法、一個(gè)平臺。

三個(gè)步驟是指學(xué)、用、教。剛開始大模型需要學(xué)習(xí)領(lǐng)域知識，相當(dāng)于一個(gè)智商比較高的高中生，高考完了去學(xué)習(xí)領(lǐng)域或者企業(yè)里面的專業(yè)知識，學(xué)習(xí)完成后由高中生變成了研究生。在實(shí)際應(yīng)用過程中，要通過埋點(diǎn)技術(shù)，或者是大數(shù)據(jù)采集加工技術(shù)，整理企業(yè)內(nèi)部的指令數(shù)據(jù)集教給大模型，讓其越用越聰明。

怎么把通用大模型變成領(lǐng)域大模型，有兩個(gè)關(guān)鍵算法，一是原子任務(wù)定位，打開了大模型黑箱。另一個(gè)是分層微調(diào)技術(shù)，在數(shù)據(jù)有限的狀態(tài)下做性能提升。

一個(gè)平臺是指通過應(yīng)用模板、組件集市、低代碼平臺，幫助運(yùn)維人員借助技術(shù)組件自主應(yīng)用、迭代大模型。

詳細(xì)介紹下三個(gè)步驟?！?span style="color: rgb(26, 66, 193);">學(xué)”主要是學(xué)習(xí)多模態(tài)文檔中的顯性知識，“用”是指業(yè)務(wù)專家的先驗(yàn)知識。在不同應(yīng)用場景，業(yè)務(wù)專家反饋大模型在當(dāng)前場景底下哪些話要說，哪些話不能說，解決某個(gè)問題應(yīng)該按照什么步驟去解決，步驟從哪來?！?span style="color: rgb(26, 66, 193);">教”是指從行為日志或業(yè)務(wù)結(jié)果中整理加工出數(shù)據(jù)集，指令數(shù)據(jù)集對企業(yè)來講是最有價(jià)值的一部分。

另外是怎么把通用大模型變成領(lǐng)域大模型，或者是企業(yè)專屬大模型，不是有了數(shù)據(jù)、有了算力，把數(shù)據(jù)往通用模型里一灌就可以。里邊有很多算法，像人的大腦一樣，有的地方負(fù)責(zé)語言，有些負(fù)責(zé)推理，有些負(fù)責(zé)音樂、繪畫等，或者是抽象或者是情感判斷。

怎么進(jìn)行原子任務(wù)分解，把復(fù)雜的任務(wù)變成簡單的任務(wù)，不同任務(wù)之間有著怎樣的協(xié)同增益關(guān)系？可以通過NLP任務(wù)定位、分層微調(diào)與知識注入兩個(gè)算法打開大模型的黑箱，提升領(lǐng)域?qū)I(yè)性，增強(qiáng)某個(gè)具體場景、任務(wù)里的準(zhǔn)確度。

AI技術(shù)手段怎么變成組合性技術(shù)，降低應(yīng)用開發(fā)運(yùn)維成本？大模型時(shí)代需要一個(gè)Agent平臺降低創(chuàng)新門檻，縮短開發(fā)時(shí)間，營造更廣泛的開發(fā)生態(tài)。中關(guān)村科金將過去十年間積攢的大模型和AI小模型技術(shù)，集中到一站式大模型訓(xùn)推及應(yīng)用開發(fā)平臺PowerAgent。

企業(yè)在應(yīng)用大模型時(shí)也需要考慮的一點(diǎn)是，把以前各種各樣的IT資產(chǎn)和大模型底層能力相結(jié)合，為將來內(nèi)部IT產(chǎn)品或者是業(yè)務(wù)部門快速開發(fā)創(chuàng)新應(yīng)用提供助力。

大家都能意識到，企業(yè)在應(yīng)用大模型過程中需要積累內(nèi)外部的數(shù)據(jù)資產(chǎn)。那么，哪些形式的數(shù)據(jù)可以資產(chǎn)化？我認(rèn)為現(xiàn)階段含金量最高的幾類數(shù)據(jù)是企業(yè)內(nèi)部各種各樣的領(lǐng)域資料庫、指令數(shù)據(jù)集、智能體Agent、應(yīng)用場景下的提示詞、以及Agent組成的工作流。

央國企的應(yīng)用探索實(shí)踐

接下來介紹一下我們針對不同場景發(fā)布的大模型應(yīng)用，分別是知識助手、寫作助手、培訓(xùn)助手、客服助手、營銷機(jī)器人和合規(guī)機(jī)器人。

不管是央國企還是其他企業(yè)，或多或少都有自己的行業(yè)特性、專屬的知識，但沒有開發(fā)出相關(guān)應(yīng)用，現(xiàn)在大模型可以基于統(tǒng)一知識庫進(jìn)度更快、成本更低地開發(fā)應(yīng)用。

知識管理賽道第一階段是文檔管理，每個(gè)文檔打標(biāo)簽，基于標(biāo)簽為內(nèi)部員工提供推薦或者檢索功能。第二階段是利用知識圖譜技術(shù)，把文檔里面的知識分解得更碎，通過標(biāo)注樣本訓(xùn)練小模型來抽取實(shí)體和關(guān)系，用圖數(shù)據(jù)庫做存儲。現(xiàn)階段是利用大模型技術(shù)做句子級別的管理，用向量數(shù)據(jù)庫做存儲。

大模型語言理解能力和知識搜索效果更好、成本更低，不管是結(jié)構(gòu)化數(shù)據(jù)庫，還是文檔、音視頻材料，不同類型的數(shù)據(jù)都能夠進(jìn)行處理，而且不用大量人工標(biāo)注就能夠形成企業(yè)知識庫，面向內(nèi)部員工或者是下游業(yè)務(wù)提供搜索和文檔應(yīng)用功能，且支持助手類的應(yīng)用，展現(xiàn)形式更靈活，可以在OA辦公系統(tǒng)、企業(yè)微信、APP里以H5的方式展現(xiàn)，或者是在企業(yè)內(nèi)部演示大屏中以數(shù)字人形態(tài)展現(xiàn)。

很多行業(yè)也有寫作助手的需求。和通用大模型不一樣的地方，很多企業(yè)在這個(gè)定向、狹窄的場景里，有著非常嚴(yán)格的寫作要求，生成的文章要有專業(yè)性。為了保障效果，我們通過多輪交互提升專業(yè)性。

根據(jù)題目從海量的知識庫里搜索素材，通過多輪交互告訴大模型需要用什么樣的模板或者定制化生成一篇什么結(jié)構(gòu)、語言風(fēng)格的文章，及每個(gè)段落的要點(diǎn)。在文章發(fā)出前，需要大模型進(jìn)行格式和特定領(lǐng)域規(guī)則的審核。這樣大模型就可以短平快生成面向各個(gè)不同社交媒體，生成不同風(fēng)格的文章。

培訓(xùn)也是很多企業(yè)使用大模型技術(shù)應(yīng)用的場景。對于經(jīng)常需要組織線下銷售人員培訓(xùn)或員工流失率高的企業(yè)，現(xiàn)在可以把培訓(xùn)交給大模型完成。

基于不同形式的培訓(xùn)材料和培訓(xùn)要求，利用知識大模型快速抽取培訓(xùn)內(nèi)容，針對學(xué)員能力畫像，生成個(gè)性化陪練腳本，讓學(xué)員隨機(jī)遇到問題并靈活解答；既保證覆蓋當(dāng)前培訓(xùn)場景核心內(nèi)容又能基于學(xué)員短板進(jìn)行提升；通過數(shù)字人交互練習(xí)，在實(shí)際演練中提升學(xué)員的應(yīng)變能力及專業(yè)能力。

很多行業(yè)都需要客服，把潛在的答案實(shí)時(shí)顯示在坐席系統(tǒng)的側(cè)邊欄上，可以供坐席為客戶快速提供解答。在一通電話打完后，原來坐席還要填寫會(huì)話小結(jié)、后續(xù)需要處理工單，現(xiàn)在客服助手只需員工簡單校驗(yàn)，便可形成自動(dòng)化小結(jié)、工單填寫，大量節(jié)約坐席寶貴的人力時(shí)間。

去年我們探索很長時(shí)間、用得比較好的還有使用大模型自動(dòng)撥打外呼營銷電話。以往營銷電話的交互體驗(yàn)比較差，播報(bào)類的內(nèi)容居多而且需要專業(yè)的話術(shù)師提前設(shè)定好話術(shù)流程?，F(xiàn)在，大模型接話應(yīng)對能力比較強(qiáng)，可以靈活應(yīng)對客戶各種場景，交互輪次越多成單概率越高

很多注重消保合規(guī)的企業(yè)，也可以借助大模型語義匹配能力更好地檢查不合規(guī)風(fēng)險(xiǎn)。原來質(zhì)檢合規(guī)是通過設(shè)定關(guān)鍵詞，但是有些時(shí)候用戶或者是企業(yè)態(tài)度不夠友好或者是罵人，不觸發(fā)關(guān)鍵詞的話這個(gè)壞樣本是檢測不到的?，F(xiàn)在大模型語義理解能力更強(qiáng)，檢測出一點(diǎn)點(diǎn)覆蓋目標(biāo)就可以發(fā)現(xiàn)。

中關(guān)村科金領(lǐng)域大模型能力得到很多權(quán)威機(jī)構(gòu)和各界客戶認(rèn)可，我們首批通過了中國信通院可信AI模型能力部分的標(biāo)準(zhǔn)符合性驗(yàn)證，并獲得當(dāng)前最高評級4+級，自研的大模型算法也已通過國家深度合成服務(wù)算法備案，合規(guī)性和安全性獲得國家監(jiān)管部門認(rèn)可。未來，中關(guān)村科金期待能夠攜手更多央國企客戶，圍繞人工智能等戰(zhàn)略性新興產(chǎn)業(yè)，加快發(fā)展新質(zhì)生產(chǎn)力。