對話中關(guān)村科金張杰：讓大模型落地有“技”可循

“2018年，隨著Transformer預(yù)訓(xùn)練模型的興起，自然語言處理(NLP)學(xué)術(shù)圈中形成了一個(gè)主流觀點(diǎn)——NLP領(lǐng)域的不同技術(shù)方向，如文本分類、文本匹配、序列標(biāo)注等，最終都會被歸結(jié)到文本生成這一核心任務(wù)之下?！边@是中關(guān)村科金技術(shù)副總裁張杰在訪談伊始便提到的一項(xiàng)關(guān)鍵洞察。

作為領(lǐng)先的對話式AI技術(shù)解決方案提供商，中關(guān)村科金自2014年成立以來便選擇聚焦生成式AI技術(shù)，專注于企業(yè)服賽道提供對話場景服務(wù)。并在過去數(shù)年中，基于對AI技術(shù)棧的全面布局，先后構(gòu)建了數(shù)字化洞察與營銷、數(shù)字化服務(wù)與運(yùn)營、數(shù)“智”底座三大產(chǎn)品矩陣。

ChatGPT引爆大模型熱潮后，AI技術(shù)積淀深厚的中關(guān)村科金也在第一時(shí)間選擇了全面擁抱大模型，并于2023年11月正式發(fā)布了國內(nèi)首個(gè)企業(yè)知識大模型、AgentGraph應(yīng)用開發(fā)平臺，以及“超級員工”系列AIGC應(yīng)用，成為了國內(nèi)大模型應(yīng)用領(lǐng)域的先行者之一。

本期T·TALK訪談欄目，我們特別邀請到了中關(guān)村科金技術(shù)副總裁張杰，希望能夠通過這場對話，了解到這位經(jīng)驗(yàn)豐富的技術(shù)專家對于AI行業(yè)發(fā)展的認(rèn)知與判斷，以及中關(guān)村科金這家頭部智能科技企業(yè)在大模型技術(shù)與應(yīng)用領(lǐng)域所積累的寶貴經(jīng)驗(yàn)。

大模型落地的切入點(diǎn)

根據(jù)張杰的介紹，此前，行業(yè)內(nèi)普遍會將對話式AI認(rèn)為是企業(yè)與客戶溝通的一座橋梁，尤其是在數(shù)字化轉(zhuǎn)型的背景下，這座橋梁的主要作用通常會被歸結(jié)為提升溝通效率與用戶體驗(yàn)。

然而隨著大模型技術(shù)的火爆，業(yè)內(nèi)開始逐漸意識到了對話式AI的更大潛能——“以中關(guān)村科金為例，現(xiàn)在我們認(rèn)為對話式AI在大模型所提供的理解和生成能力加持下，可以通過在對話過程中對企業(yè)知識的提取，升級成為企業(yè)知識管理甚至是企業(yè)群體智能的入口?！?/p>

因此在張杰看來，當(dāng)前很適合大模型落地破冰的切入點(diǎn)，便是面向企業(yè)的知識問答場景。常規(guī)的企業(yè)知識庫會包含大量的各式文檔，并不利于整理和查詢，如今只需要將這些知識信息交給大模型進(jìn)行處理，便能直接通過對話形式進(jìn)行關(guān)鍵信息檢索。

這不僅能帶來成本上的效益，企業(yè)不再需要大量人員對文檔進(jìn)行標(biāo)注整理。且基于大模型的控制，所生成知識信息在合規(guī)和可控性上的表現(xiàn)也會更好。更重要的一點(diǎn)是，企業(yè)知識中臺并非孤立場景，除了賦能內(nèi)部員工外，對外部客戶的觸達(dá)連接，例如營銷、客服等，也都存在著很大的想象空間。

目前，中關(guān)村科金得助AIGC應(yīng)用知識助手已成功服務(wù)銀行、證券、財(cái)富管理等多個(gè)行業(yè)客戶，包括頭部證券公司。在證券行業(yè)實(shí)踐中，基于大模型內(nèi)容生成能力，為客戶經(jīng)理生成不同對客階段、多樣化的客戶營銷話術(shù)，營銷文案撰寫時(shí)間從10分鐘縮短至10秒，高效輔助客戶經(jīng)理展業(yè)，提升客戶經(jīng)理對客服務(wù)的專業(yè)性。在財(cái)富管理行業(yè)實(shí)踐中，為智能客服產(chǎn)品賦能，大幅提升客服系統(tǒng)問答意圖識別準(zhǔn)確率和回復(fù)準(zhǔn)確率，減少70%以上的系統(tǒng)運(yùn)營工作，幫助企業(yè)實(shí)現(xiàn)更加智能、成本更低的客戶服務(wù)。

“2022年ChatGPT發(fā)布后，大模型實(shí)現(xiàn)了從學(xué)術(shù)圈一直到朋友圈的破圈;2023年則是大模型破冰的階段，無論是基礎(chǔ)大模型還是領(lǐng)域大模型廠商，都在積極尋找試點(diǎn)應(yīng)用場景;而2024年將很有可能會是大模型應(yīng)用涌現(xiàn)的一年，各種業(yè)務(wù)場景都會選擇擁抱大模型?！睆埥苋缡钦f。

模型與知識的有機(jī)結(jié)合

作為國內(nèi)頭部的對話式AI技術(shù)解決方案提供商，中關(guān)村科金在多年的經(jīng)營歷程中積累了豐富的企業(yè)級客戶服務(wù)經(jīng)驗(yàn)。在企業(yè)數(shù)字化轉(zhuǎn)型的過程中，張杰總結(jié)到，無論在大模型火爆前后，客戶對待產(chǎn)品的態(tài)度都無外乎兩種——足夠新穎亦或是足夠?qū)嵱谩?/p>

因此，通用大模型并不能成為當(dāng)下企業(yè)服務(wù)的統(tǒng)一解決方案。通用大模型更強(qiáng)調(diào)泛用性，即便模型綜合能力很強(qiáng)，但依然會面臨一個(gè)法則，便是“通用的不好用，好用的不通用”，所以想要解決企業(yè)不同業(yè)務(wù)場景下的特定問題，還需尋找新的突破口。

中關(guān)村科金基于對大模型技術(shù)的綜合判斷，探索出“大模型+領(lǐng)域知識”的發(fā)展路徑，在領(lǐng)域大模型的基礎(chǔ)上又提出了企業(yè)知識大模型。由于許多知識密集型企業(yè)不允許模型存在幻覺問題，這便需要將特定領(lǐng)域知識和語言模型進(jìn)行有機(jī)結(jié)合。

企業(yè)知識大模型助力構(gòu)建“企業(yè)知識大腦”。例如在制造業(yè)，沒必要訓(xùn)練領(lǐng)域大模型記憶特定企業(yè)每款零件的各種細(xì)節(jié)數(shù)據(jù)，只需要將信息儲存在企業(yè)知識庫，并由企業(yè)知識大模型進(jìn)行信息的挖掘與讀取，并從中篩選出用戶所需的知識點(diǎn)。

張杰表示：“企業(yè)知識大模型不與具體領(lǐng)域綁定，更多用于處理不同結(jié)構(gòu)的數(shù)據(jù)源，并將非結(jié)構(gòu)化的知識轉(zhuǎn)化為大模型能夠快速查找的知識庫，沒有領(lǐng)域特性的特點(diǎn)，也使其能夠被更廣泛的應(yīng)用于不同行業(yè)的不同業(yè)務(wù)場景中?！?/p>

軟件工程新范式

根據(jù)張杰的介紹，隨著企業(yè)AI應(yīng)用場景的不斷豐富，很多應(yīng)用創(chuàng)意將產(chǎn)生在業(yè)務(wù)部門，他們需要更加簡易高效的研發(fā)平臺快速驗(yàn)證idea，而不是將任務(wù)全部交由科技部門慢慢立項(xiàng)研發(fā)。

而對于如中關(guān)村科金這樣具備多樣產(chǎn)品體系及完備產(chǎn)品矩陣的企業(yè)而言，大模型應(yīng)用開發(fā)平臺能夠幫助交付人員提高產(chǎn)品的研發(fā)和迭代效率并降低成本。所以，中關(guān)村科金在推出企業(yè)知識大模型的同期上線了AgentGraph應(yīng)用開發(fā)平臺。

“基于智能體的應(yīng)用開發(fā)平臺將會是一個(gè)大的趨勢，這將可能會帶來軟件工程的新范式?！痹谲浖こ?.0時(shí)代，數(shù)據(jù)格式都需要人為進(jìn)行預(yù)定義，但在大模型時(shí)代，基于模型對多模態(tài)數(shù)據(jù)的理解，預(yù)定義數(shù)據(jù)結(jié)構(gòu)這項(xiàng)沿用許久的傳統(tǒng)勢必將被顛覆。

關(guān)于AgentGraph應(yīng)用開發(fā)平臺的特點(diǎn)，張杰也給出了這樣的介紹，“AgentGraph平臺分為兩層，底層為原子能力，場景組件中封裝了大量行業(yè)KnowHow，上層則采取拖拉拽即可實(shí)現(xiàn)的零代碼流程編排畫布。能夠低成本的鏈接模型能力和應(yīng)用場景，是AgentGraph的核心優(yōu)勢?！?/p>

張杰表示：“我們希望通過AgentGraph構(gòu)建一個(gè)生態(tài)開發(fā)平臺，把應(yīng)用開發(fā)的權(quán)限從算法工程師、IT人員手里開放出來，業(yè)務(wù)專家可以通過低代碼、拖拉拽的方式，快速調(diào)用AI底層能力，實(shí)現(xiàn)場景應(yīng)用落地。”

產(chǎn)品革命

無論技術(shù)亦或是工具的演進(jìn)，最終所影響的都是產(chǎn)品的迭代和創(chuàng)新。相較于此前基礎(chǔ)的AI技術(shù)，大模型所能提供的語言理解能力更強(qiáng)，這意味著在大模型的賦能之下，傳統(tǒng)AI產(chǎn)品的能力覆蓋率將會迎來質(zhì)的飛躍。

例如在一些客服質(zhì)檢場景，傳統(tǒng)方法是利用關(guān)鍵詞識別，去判斷涉及敏感內(nèi)容或辱罵性的詞句。而依托大模型的語言理解能力，基于大模型所構(gòu)建的質(zhì)檢系統(tǒng)，一些不含有敏感詞但句意為辱罵或涉及違法的內(nèi)容也將能夠被準(zhǔn)確識別并抓取。

另外，在我們熟悉的營銷領(lǐng)域亦是如此。原先做營銷外呼需要將產(chǎn)品話術(shù)及對話SOP提前設(shè)定好，然而即便如此SOP也沒法窮舉客戶的不同狀態(tài)，例如客戶在開車亦或開會時(shí)該怎么做，傳統(tǒng)營銷系統(tǒng)都難以應(yīng)付。大模型則只需要通過一些績優(yōu)話術(shù)的訓(xùn)練，便能夠基本達(dá)到人類業(yè)務(wù)員的水準(zhǔn)。

目前中關(guān)村科金主推的一大產(chǎn)品應(yīng)用便是能夠服務(wù)營銷、客服、行政、財(cái)務(wù)等諸多不同業(yè)務(wù)場景的虛擬員工助手。不同業(yè)務(wù)場景的虛擬員工都源于同一套技術(shù)路徑，即底層能力來自大模型及AI原子能力，以支持信息抽取、文本理解及內(nèi)容生成。

對于企業(yè)最關(guān)心的大模型落地成本與安全性問題，張杰也總結(jié)了一些自己的觀點(diǎn)和中關(guān)村科金目前所提出的解決方案。在企業(yè)私有化部署時(shí)，很多場景不需要太大體量的大模型，更沒必要從0到1訓(xùn)練基礎(chǔ)模型。很多時(shí)候幾十億、幾百億參數(shù)的小模型就能解決具體問題，加之應(yīng)用云服務(wù)，部署大模型及訓(xùn)練的整體成本并不會過高。

安全層面，中關(guān)村科金則提出了一套新的安全體系，通過數(shù)據(jù)清洗、隱私脫敏、合規(guī)加訓(xùn)、提示工程約束與傳統(tǒng)合規(guī)質(zhì)檢五層安全防護(hù)的處理，以確保大模型以及基于大模型所構(gòu)建的系列應(yīng)用能夠盡可能擺脫幻覺問題的困擾。

大模型的應(yīng)用高地

“隨著技術(shù)和應(yīng)用的不斷成熟，大模型的應(yīng)用場景將變得非常多，知識密集型行業(yè)將最有可能率先成為大模型落地的高地，例如金融、制造、政務(wù)等。”在回答有關(guān)大模型領(lǐng)域未來發(fā)展趨勢的問題時(shí)，張杰提出了自己這樣的判斷。

金融業(yè)有著許多大模型應(yīng)用落地場景，這是由于金融業(yè)擁有較強(qiáng)的數(shù)字化基礎(chǔ)，且每一點(diǎn)小的突破都能帶來可衡量的收益。在銀行、保險(xiǎn)、證券等行業(yè)的營銷、服務(wù)等業(yè)務(wù)場景中，大模型都能夠?qū)I(yè)務(wù)人員形成很好的賦能。

此外，如制造、政務(wù)等領(lǐng)域，雖然仍在數(shù)字化進(jìn)程中，但它們的共同點(diǎn)便是行業(yè)內(nèi)都存在著海量信息，利用大模型將這些知識碎片收集記憶起來，按需賦能給相關(guān)人員，將能夠顯著提升多種場景下業(yè)務(wù)人員的工作效率。

張杰強(qiáng)調(diào)稱：“任何技術(shù)從前沿的突破，到工程化、產(chǎn)品落地試點(diǎn)，再到大規(guī)模落地，都會有一個(gè)技術(shù)應(yīng)用的生命周期?，F(xiàn)在大模型技術(shù)非常火爆，雖然在應(yīng)用過程中還需要一段的時(shí)間積淀，但在未來三到五年，這一領(lǐng)域?qū)錆M機(jī)遇?！?/p>