智能填單功能：大模型自動填寫工單準確率達95%

公司新聞

2024-03-28 15:27:42

作者：超能AI

閱讀量：992

文章目錄

文章摘要：目前，中關村科金得助智能填單系統(tǒng)已正式上線得助智能聯(lián)絡中心，并向廣大客戶開放使用，幫助客戶提升坐席的填單效率，并更詳細的記錄通話中的信息。在多個項目應用中，得助智能填單都取得了預期效果，在幫助運營人員提升工作效率、節(jié)省企業(yè)運營成本等方面展現(xiàn)出明顯優(yōu)勢。

**電銷機器人-從線索到成單一步到位** 免費試用

**語音機器人-媲美真人的對話能力** 免費試用

**企業(yè)出海解決方案-支持多語種配置** 免費試用

基于大模型優(yōu)秀的問答、總結和話術生成能力，主流聯(lián)絡中心紛紛接入大模型升級智能知識庫、智能工單、智能陪練等應用。

以智能填單為例，借助大模型能夠輕松從對話中提取出實體信息、判定對話意圖、識別情緒、生成溝通摘要等。通過簡單的Prompt，完成工單字段的提取任務更是輕而易舉。

然而在初期效果測試中，大模型獲取的工單填單結果對比客服的真實填寫結果準確率不足30%，且大模型的處理速度也達不到業(yè)務方提出2秒內返回結果的要求。

大模型并非傳統(tǒng)的NLP技術，無法依靠業(yè)務標注數(shù)據(jù)進行自主優(yōu)化，那么大模型的調用方在業(yè)務應用中，該如何進行使用效果優(yōu)化成為了現(xiàn)實考題。

現(xiàn)實考題，五大因素影響填單可用率

提不準

眾所周知，工單填寫對字段有著明確的格式要求，尤其是選項或統(tǒng)計類的字段，需要大模型嚴格按照格式輸出指定結果。

幻覺問題

例如，若需要判斷客戶的注冊渠道，大模型必須嚴格返回“支付寶”三個字段。而現(xiàn)實情景中，大模型往往返回連篇累牘的描述，導致工單系統(tǒng)無法收到準確的結果。

此外大模型不僅“啰嗦”，還容易“胡編亂造”，返回的結果是經過“理解”、“聯(lián)想”加工的，這在對容錯性有著嚴格要求的現(xiàn)實業(yè)務場景中是不能被接受的。

缺乏業(yè)務背景

在真實業(yè)務場景中，客戶和坐席之間的對話內容往往無法清晰、明確地對照工單中所需記錄、填寫的信息標準發(fā)生。例如，坐席能夠根據(jù)消費者的模糊描述，“使用的是一款能夠進行AI畫臉的產品”精準匹配出對應的產品。而大模型則難以做出正確的判斷，無法勝任絕大多數(shù)的工單填寫任務。

缺乏判斷能力

更大的挑戰(zhàn)是，在退訂業(yè)務等雙方存在復雜拉扯的對話場景中，大模型容易按照任意一方的“片面之詞”判定最終結果，而不是根據(jù)業(yè)務邏輯得出準確結論。例如，客戶申請退回三個月的費用金額，客服表示只能退回一個月。

如果客戶同意，那實際雙方達成一致的退回金額為一個月的費用，而非三個月。如果客戶表示不同意，則實際退回費用為0.如果大模型沒有“理解”這一判定標準，則最終退回的金額會在一個月或三個月中隨機生成。

填太慢

實際業(yè)務中，坐席的工作節(jié)奏非?？?，需要在通話進行中，2秒內完成工單內容的填寫，通話結束后5秒內完成通話小結的填寫。如果大模型不能比坐席的填寫速度更快，那么大模型應用的意義與價值將大打折扣。

實時場景的時延問題

坐席輔助場景要求低時延，而智能填單旨在自動幫助人工填寫工單，如果填單時間超過2秒，便基本失去了幫助坐席提率的可能。坐席不可能在對話過程中，等待大模型輸出結果后再詢問客戶下一個問題。但即使只調用一次大模型進行小結，平均時延也在5秒左右。

而通話會話小結的評價指標為：要素完備性、要素準確率、業(yè)務接受率。若對會話小結中的細分場景、業(yè)務細則、專有名詞等方面有更高的要求，便需要在通用格式的會話小結中再補充業(yè)務要素。這就需要多次調用大模型，智能小結的時延將會達到10秒左右。

連接調用不穩(wěn)定產生漏損

大模型調用會有失敗的情況，就像有時會遇到偶發(fā)的不響應情況，這在C端應用中用戶尚可容忍，但是在企業(yè)服務應用中，尤其是嵌入核心作業(yè)流程的場景下，業(yè)務對于偶發(fā)的漏損情況則較為敏感，小結的漏損率會在5%左右。

四大路徑，巧妙解決準確率與時效性問題

作為領先的對話式AI解決方案提供商，中關村科金【會話洞察產研組】始終致力于打破技術應用瓶頸，為用戶帶來更加卓越、智能的體驗。經過一年的研究和內部測試，我們有了一些新的解決方案，或許正是眾多企業(yè)苦苦找尋的答案。

考題一大模型應用的準確率與延時如何改善？

路徑一：小模型對輸出結果進行驗證以解決幻覺問題

最初，大多技術專家通過JSON對大模型的輸出進行限制，以確保大模型每次輸出的結果都盡可能滿足業(yè)務要求，但仍存在一定概率的幻覺問題。為此，中關村科金另辟蹊徑，在大模型輸出結果后，疊加一層相似度判定模型，讓大模型的輸出結果對齊到預設的選項中。

在此基礎上，中關村科金還增加了對大模型輸出結果的各類格式轉化，以滿足將大模型輸出內容轉化為工單所需的數(shù)值、百分比、日期、時間等各類字段類型的需求。

路徑二：讓運營人員便捷地將業(yè)務背景“錄入”大模型

中關村科金利用不同行業(yè)的客戶數(shù)據(jù)，對Prompt進行了針對性的優(yōu)化，并在自研的模型上進行了微調，以確保大模型在不同行業(yè)、不同場景中，擁有通用的“領域知識”。與此同時，我們還通過對常見的智能填單場景進行抽象，讓用戶可以便捷地輸入企業(yè)專屬知識。通過將運營人員輸入的信息與經過驗證的Prompt進行拼接后，大模型的數(shù)據(jù)準確率最高提升到了95%以上。

在復雜的對話場景中，通過對每一輪的分析結果進行修正，大模型不僅能夠從對話中區(qū)分出渠道，還能夠準確判斷出前述舉例中，最終需要退還給客戶的正確金額。此類需要一定邏輯推理的場景，大模型智能填單的準確率也能穩(wěn)定在85%。

此外，借助預設的字段，不僅能夠準確判定返回退款的金額，還能夠根據(jù)實際對話內容確定返回退款的比例、退回多少個月的費用等，覆蓋對話總結、業(yè)務辦理情況收集、用戶反饋問題收集、用戶需求收集、用戶信息收集5大類型的智能填單需求。

考題二大模型應用時效性怎么保障？

路徑一：分布式分析實現(xiàn)“搶跑”

面對通話結束后才填寫的會話小結，中關村科金進行分步拆解，在通話開始后先執(zhí)行不依賴全部通話內容分析的任務，每進行幾輪對話，就進行一次分析，從而將分析拆解到對話進行中“悄悄”完成。通話結束后，只需執(zhí)行剩余需要依賴全部通話內容的分析任務，從而將會話小結的智能填單時間從10秒縮減到了平均3秒內。

路徑二：更小的領域大模型帶來更快的速度

在時效性要求更高的工單場景，中關村科金使用了自研的得助大模型，針對電銷、客服等更聚焦的場景訓練的領域大模型，實現(xiàn)了更小的參數(shù)、更高的準確率。同時，由于訓練時已具備了對領域的通用知識，無需多次調用大模型完成業(yè)務錄入，便可實現(xiàn)1~2秒內穩(wěn)定返回結果的應用成效。