基于道客云原生知識庫平臺的金融合規助手-為銀行創新發展注入新動力

本項目旨在基于道客云原生知識庫平臺快速構建金融合規助手，為銀行員工提供高效、便捷的合規查詢服務。面對行內GPU資源利用率低、模型人才短缺及數據合規的嚴格挑戰，采用道客云原生知識庫平臺實現大模型快速落地，全圖形化配置管理讓業務人員能自助維護知識庫。同時，私有大模型部署確保數據隱私與合規，分布式云原生架構提升資源利用率與復用性。多租戶自服務能力為用戶帶來安全、隔離的私有大模型體驗，顯著增強IT業務響應能力。本案例成功展示了道客云原生知識庫平臺智能合規助手應用潛力，為銀行創新發展注入新動力。

• 希望基于大模型構建面向合規場景的智能合規助手，能夠基于行內的各種合規規范流程，為員工提供合規查詢。

• 行內現有 GPU 卡都被各個業務應用獨占，資源利用率需要提升，并希望能夠實現算力資源的復用。

• 當前銀行缺乏模型人才和能力積累，希望能夠讓業務人員自己設計和管理企業知識庫的構建。

由于數據合規的要求，必須使用大模型私有化部署的方式，所有數據和模型必須在行內。

基于道客云原生知識庫平臺的金融合規助手，具備強大的合規信息查詢與智能分析能力。

道客云原生知識庫平臺是一款基于云原生和分布式計算框架的智能問答解決方案，支持多種大語言模型，可構建智能問答應用，配置個性化語料庫，提供準確的問答能力；同時，它還提供可擴展的GPU能力和向量數據庫，實現高效的文本向量化與存儲，并采用相似度匹配提升查詢準確性；另外，通過基于Ray的分布式推理，實現與用戶的快速互動，使應用與用戶交互更加迅捷，圖1為道客知識庫平臺的業務框架。

云原生平臺：承載了所有運行時的容器環境。

算力服務層：算力統一納管平臺，提供了一站式管理。

基礎設施：主要體現底層物理資源的能力，包括 AI 場景中很重要的 GPU資源，以及依賴的存儲和網絡等物理資源。

知識庫UI：提供用戶訪問所需的客戶端；

業務層：包括有 AIGC-App、AIGC-Fast、AIGC-Manage等自研組件和Nacos、Gateway、Mysql、Redis等外部組件；

接口層：通過 AIGC knowledge Engine 來提供統一的接口。

核心層：提供 Embedding Ray Service 和QA Ray Service 兩大服務，都基于Ray的分布式計算框架，多組服務并行。

框架層：由KubeRay和容器集群組成。

基于道客云原生知識庫平臺的金融合規助手，快速實現了大模型在銀行的落地應用，全圖形化的配置管理使得業務人員可以自助維護知識庫，并基于私有通用大模型與向量化知識庫結合快速構建合規助手應用，提供高效的知識檢索和問答服務。同時，對資源利用情況進行優化，提高了業務效率，為銀行創造了更多的商業價值。在商業模式方面，該項目采用私有化部署方式，確保了數據的安全與合規，滿足了銀行對隱私保護的需求。通過提供智能化的合規助手服務，項目為銀行提供了穩定的收入來源，并建立了長期穩定的客戶關系。隨著金融行業的不斷發展，該項目的應用前景廣闊，有望在未來實現更廣泛的推廣與應用。