券商龍頭案例：PowerAgent大模型訓(xùn)推及應(yīng)用平臺(tái)，實(shí)現(xiàn)大模型落地成本、效率、效果平衡

2022年ChatGPT的誕生被看作是AI大模型技術(shù)的“iPhone時(shí)刻”，也象征著AI普惠時(shí)代的真正到來(lái)。大模型持續(xù)引領(lǐng)全球AI大模型技術(shù)突飛猛進(jìn)，特別是中國(guó)的AI市場(chǎng)。

2023年，我國(guó)AI領(lǐng)域“百模大戰(zhàn)”的硝煙還未完全消散，2024年就馬不停蹄地開(kāi)啟了新一輪大模型應(yīng)用的競(jìng)逐賽，越來(lái)越多的企業(yè)踏上了大模型技術(shù)的落地之路。根據(jù)國(guó)家互聯(lián)網(wǎng)信息辦公室最新公布的生成式人工智能備案信息，截至2024年3月，我國(guó)共有117個(gè)生成式人工智能服務(wù)完成了備案。

應(yīng)用為王

四大難題制約大模型落地

盡管眾多技術(shù)廠商入局，但現(xiàn)實(shí)情況是，企業(yè)在大模型落地過(guò)程中，依然面臨諸多難題待解。

人才短缺，鏈路割裂，是制約大模型落地的關(guān)鍵。受限于專業(yè)人才的稀缺性，企業(yè)難以獨(dú)立開(kāi)發(fā)適應(yīng)業(yè)務(wù)需求的大模型。即使克服人才短缺的問(wèn)題，在傳統(tǒng)的開(kāi)發(fā)模式下，模型訓(xùn)練、部署和應(yīng)用往往分開(kāi)進(jìn)行，這使得企業(yè)在完成模型訓(xùn)練后，還需要投入大量的人力和物力來(lái)進(jìn)行應(yīng)用的開(kāi)發(fā)和部署。

模型訓(xùn)練難，成本投入高，企業(yè)轉(zhuǎn)型力不從心。參數(shù)規(guī)模達(dá)10億級(jí)別的模型訓(xùn)練并非易事，直接訓(xùn)練和部署大模型需要巨大的計(jì)算資源和資金投入。《2024年人工智能指數(shù)報(bào)告》顯示，OpenAI的GPT-4訓(xùn)練成本預(yù)估7800萬(wàn)美元，而谷歌Gemini Ultra計(jì)算成本預(yù)估1.91億美元；相比之下，2017年發(fā)布的Transformer模型訓(xùn)練成本僅為900美元。

業(yè)務(wù)對(duì)接難，復(fù)用性差，大模型走向業(yè)務(wù)的最后一公里面臨多重要求。傳統(tǒng)AI應(yīng)用與企業(yè)系統(tǒng)對(duì)接難度大，往往需要改造現(xiàn)有系統(tǒng)平臺(tái)與之適應(yīng)；應(yīng)用煙囪式開(kāi)發(fā)導(dǎo)致對(duì)接業(yè)務(wù)線多、溝通成本高、流程耦合性高、交付周期長(zhǎng)。如何高效將大模型集成到業(yè)務(wù)系統(tǒng)，如何為業(yè)務(wù)人員提供易用的入口，都是實(shí)施過(guò)程中無(wú)法忽略的問(wèn)題。

數(shù)據(jù)處理難度及數(shù)據(jù)安全隱患，也阻礙著企業(yè)應(yīng)用重塑升級(jí)進(jìn)程。傳統(tǒng)數(shù)據(jù)處理和分析往往難以應(yīng)對(duì)龐大的數(shù)據(jù)，加之?dāng)?shù)據(jù)泄露和攻擊事件頻發(fā)，數(shù)據(jù)安全和隱私保護(hù)成為一大隱患。

如果不解決這些企業(yè)客戶關(guān)注的痛點(diǎn)，大模型就只能是沒(méi)有釘子可砸的錘子，AI普惠也就無(wú)從談起。

技術(shù)驅(qū)動(dòng)

四大核心能力降低大模型落地門(mén)檻

作為領(lǐng)先的對(duì)話式AI技術(shù)解決方案提供商，中關(guān)村科金洞察大模型應(yīng)用痛點(diǎn)，研發(fā)了一站式大模型訓(xùn)推及應(yīng)用開(kāi)發(fā)平臺(tái)PowerAgent，以低門(mén)檻低依賴、低成本高效率、場(chǎng)景化高安全、定制化懂行業(yè)四大核心能力，讓更多企業(yè)更快、更好地用上大模型。

低門(mén)檻低依賴

組合式AI能力與一體化設(shè)計(jì)雙管齊下，降低人才路徑依賴

• PowerAgent提供了一站式的大模型應(yīng)用開(kāi)發(fā)鏈路，涵蓋模型訓(xùn)練、推理和應(yīng)用構(gòu)建。
• 在模型開(kāi)發(fā)階段，提供交互式開(kāi)發(fā)、任務(wù)式開(kāi)發(fā)、大模型自訓(xùn)練能力；
• 模型部署階段，提供模型加速及一鍵部署能力；
• 大模型應(yīng)用構(gòu)建階段，通過(guò)模塊化、組件化、可插拔化的AI原子能力，多模態(tài)大小模型+工具組合+人機(jī)協(xié)作的控制方式，讓企業(yè)用戶在不同場(chǎng)景下選擇最佳的策略組合，達(dá)到最佳應(yīng)用效果，降低對(duì)專業(yè)人才的強(qiáng)依賴。

低成本高效率

訓(xùn)練推理與集群調(diào)度兩相結(jié)合，大幅降低模型開(kāi)發(fā)落地成本

• PowerAgent提供多種模型訓(xùn)練方式（PreTrain、SFT、Rlhf），通過(guò)AIHPC實(shí)現(xiàn)異構(gòu)、高性能集群統(tǒng)一調(diào)度、管理，根據(jù)實(shí)際需求動(dòng)態(tài)調(diào)整資源分配，提高資源利用率。
• 平臺(tái)提供模型量化、加速高性能推理引擎，在資源受限或需要快速響應(yīng)的環(huán)境中，可大幅降低模型訓(xùn)練與推理的成本。

場(chǎng)景化高安全

場(chǎng)景化數(shù)據(jù)處理與安全模型開(kāi)發(fā)框架攜手并進(jìn)，為企業(yè)轉(zhuǎn)型升級(jí)保駕護(hù)航

• PowerAgent支持先驗(yàn)知識(shí)的融入、場(chǎng)景化的數(shù)據(jù)處理，可實(shí)現(xiàn)分場(chǎng)景的SFT、快速定制企業(yè)專屬大模型。
• 平臺(tái)還支持?jǐn)?shù)據(jù)回流與預(yù)處理、數(shù)據(jù)增強(qiáng)、數(shù)據(jù)標(biāo)注，為模型應(yīng)用提供高質(zhì)量數(shù)據(jù)，提升模型處理場(chǎng)景問(wèn)題的準(zhǔn)確率。
• 同時(shí)嚴(yán)格遵守?cái)?shù)據(jù)安全和隱私保護(hù)的規(guī)定，基于安全框架結(jié)合相關(guān)的數(shù)據(jù)審查機(jī)制、后臺(tái)陪跑機(jī)制，實(shí)現(xiàn)整體數(shù)據(jù)安全與應(yīng)用合規(guī)。

定制化懂行業(yè)

行業(yè)Know-How與定制擴(kuò)展互為補(bǔ)充，化解業(yè)務(wù)接入與適應(yīng)難題

• PowerAgent平臺(tái)沉淀了對(duì)話智能、知識(shí)智能、通用智能、決策智能等多場(chǎng)景解決方案，具備專有領(lǐng)域Agent模板，可將行業(yè)最佳實(shí)踐快速傳遞復(fù)用。
• 平臺(tái)提供的大模型自動(dòng)規(guī)劃及流程自動(dòng)化生成能力，極大降低了AI應(yīng)用配置門(mén)檻。
• 平臺(tái)極高的可擴(kuò)展和定制性，支持用戶接入定制化插件；極強(qiáng)的兼容性保障了PowerAgent與現(xiàn)有系統(tǒng)的對(duì)接，保障了PowerAgent在業(yè)務(wù)環(huán)境變化時(shí)的敏捷適應(yīng)能力。

標(biāo)桿引領(lǐng)

某頭部券商大模型投顧助手應(yīng)用案例

客戶服務(wù)痛點(diǎn)局限客戶經(jīng)理高質(zhì)展業(yè)

國(guó)內(nèi)某券商龍頭企業(yè)在客戶經(jīng)理服務(wù)客戶的場(chǎng)景下主要面臨以下痛點(diǎn)：

1、客戶經(jīng)理自身素質(zhì)不同，服務(wù)質(zhì)量存在差異；頭部客戶經(jīng)理的優(yōu)秀話術(shù)難以沉淀。

2、客戶經(jīng)理為客戶推薦資產(chǎn)配置組合，過(guò)程相對(duì)比較生硬，合規(guī)性差且成功率低。

3、希望引入大模型但早期沒(méi)有構(gòu)建獨(dú)立自主的AI中臺(tái)，相關(guān)技術(shù)算法人員儲(chǔ)備不足。

一站構(gòu)建大模型全流程落地技術(shù)方案

1、大模型領(lǐng)域化訓(xùn)練：依托PowerAgent構(gòu)建金融專屬大模型，更好地對(duì)證券術(shù)語(yǔ)、研報(bào)、數(shù)據(jù)做意圖理解、要素抽取和內(nèi)容生成。

2、投顧助手提煉溝通話術(shù)：結(jié)合服務(wù)數(shù)百家金融機(jī)構(gòu)的海量營(yíng)銷話術(shù)積累，大模型訓(xùn)練個(gè)性化溝通話術(shù)，提升投顧場(chǎng)景話術(shù)采用率。

3、話術(shù)質(zhì)量智能質(zhì)檢：通過(guò)小模型+大模型多能力，形成智能質(zhì)檢組合拳。

低門(mén)檻高收益項(xiàng)目技術(shù)亮點(diǎn)真實(shí)顯著

1、開(kāi)發(fā)成本低周期短：通過(guò)PowerAgent平臺(tái)SFT微調(diào)將大模型金融領(lǐng)域化訓(xùn)練時(shí)長(zhǎng)縮短60%，畫(huà)布編排讓開(kāi)發(fā)時(shí)長(zhǎng)縮短50%，項(xiàng)目交付縮短40%。

2、AI能力復(fù)用快：公司多業(yè)務(wù)共用一套平臺(tái)，底層AI能力復(fù)用度高，多業(yè)務(wù)系統(tǒng)共享底層能力，避免重復(fù)開(kāi)發(fā)。

3、變更成本低：PowerAgent場(chǎng)景化配置能力，可快速變更相關(guān)AI應(yīng)用配置，比定制化開(kāi)發(fā)提效40%。

4、支撐信創(chuàng)要求：整個(gè)系統(tǒng)支持國(guó)產(chǎn)信創(chuàng)環(huán)境，滿足GPU+CPU的異構(gòu)計(jì)算需求。

展業(yè)成功率提升20%業(yè)務(wù)應(yīng)用價(jià)值高

1、提升營(yíng)銷話術(shù)質(zhì)量：通過(guò)大模型分析客戶投資偏好，自動(dòng)生成投資組合，結(jié)合研報(bào)生成針對(duì)性的對(duì)客話術(shù)。

2、提高展業(yè)效率：大模型直接生成對(duì)客溝通文案，相對(duì)人工節(jié)約90%時(shí)間，展業(yè)效率顯著提高。

3、展業(yè)合規(guī)性及成功率提升：大模型輔助智能質(zhì)檢產(chǎn)品，輔助提升展業(yè)合規(guī)性，提升20%展業(yè)成功率。

未來(lái)已來(lái)，AI技術(shù)因其智能化、易用性深入社會(huì)各個(gè)方面，“人人皆可成為開(kāi)發(fā)者”也有望照進(jìn)現(xiàn)實(shí)。中關(guān)村科金一站式大模型訓(xùn)推及應(yīng)用開(kāi)發(fā)平臺(tái)PowerAgent將依托多年AI技術(shù)積累，發(fā)揮低成本、低門(mén)檻、強(qiáng)行業(yè)Know-How等核心優(yōu)勢(shì)，為企業(yè)提供更多元化、更高效的解決方案，持續(xù)推動(dòng)大模型在企業(yè)營(yíng)銷、服務(wù)、運(yùn)營(yíng)、管理、工具智能等維度的應(yīng)用落地。