2024大模型安全研究報告-將引領安全工作模式的變革

當前，由 ChatGPT 引發的全球大模型技術競賽正推動人工智能由專用弱智能向通用強智能邁進， 這不僅標志著智能水平的顯著提升，也預示著人機交互方式和應用研發模式的重大變革。大模型在 各行各業的廣泛應用，為第四次工業革命的爆發提供了蓬勃動力和創新潛力。

然而，隨著大模型商業化應用和產業化落地加速，大模型技術局限和惡意使用不僅加劇了原有人工 智能安全風險，也引入了模型“幻覺”、指令注入攻擊、網絡攻擊平民化等新型風險。面對這些挑 戰，國際組織和世界主要國家正通過制定治理原則、完善法律法規、研制技術標準等方式，積極開 展大模型安全治理。同時，大模型在邏輯推理、任務編排等方面的卓越能力，為解決網絡空間安全 瓶頸問題帶來了新的機遇。

隨著各類大模型與經濟社會的深度融合，其技術局限和潛在惡意使用不僅威脅大模型系統自身的安全穩定運行， 也可能為使用大模型的各行各業帶來非預期安全影響。

為盡可能全面應對大模型領域的基礎共性安全挑戰，本報告優先對語言、多模態等各類基礎大模型系統的安全 風險進行系統梳理。與此同時，參考 ISO/IEC 5338-2023 《人工智能系統生命周期過程》國際標準，將基礎大 模型系統抽象為訓練數據、算法模型、系統平臺和業務應用四個重要組成部分，并通過描繪這四個組成部分面 臨的重要和一般安全風險，形成大模型安全風險地圖，如圖 1 所示。其中，重要風險是發生概率高和影響程度 大的風險，一般風險則反之。

短期來看，大模型將顯著提升現有安全技術的性能和智能化水平。得益于大模型在數據理解、意圖識別、任務 編排等方面的能力，在安全問答、安全運營、數據分類分級、違規處理個人信息檢測、音視圖文內容安全檢測 等關鍵網絡安全場景中，大模型能夠在大幅減少人工參與的同時，有效提升安全事件處理的效率和準確性。

長期來看，大模型有潛力成為安全防護的核心，從而改變安全的工作模式。當前，大模型主要扮演安全從業人 員的輔助工具，用于提高他們的工作效率和效能。未來，隨著大模型在自主研判和決策能力方面的提升，它們 預期將進化為安全從業人員的合作伙伴，共同應對安全風險的識別、防御、檢測、響應和恢復等一系列復雜工作。 此外，大模型在數據安全、內容安全等領域也將發揮關鍵作用。大模型預計將引領安全工作模式的變革，從依賴安全人員調度和使用安全工具，轉變為以大模型為核心調度并智能化使用安全工具。

附件：2024大模型安全研究報告-將引領安全工作模式的變革