變電站中存在諸多潛在異常風險，其一是來自外界的不可預測的異物威脅，容易引發短路、電弧甚至火災事故，需要采取措施預防。由于異物未知且采集異物圖像成本非常高，需要算法實現在僅擁有正常圖像樣本的條件下實現對未知異物的檢測。

項目利用大模型檢測并提取場景中物體的特征，并使用特征融合和存儲庫技術讓算法“記住”正常場景，再通過融合特征比對的方式分辨出異常物體。該算法充分發揮了大模型跨模態、預訓練、開放性等眾多優勢，以很小的代價就能完成傳統深度學習算法無法完成的任務。

在算法落地過程中，獲取稀缺圖像一直是一大挑戰。在本項目中，正樣本檢測技術巧妙地避開這一難題，運用先進技術，避免了困難的負樣本采集工作的同時，還具有更好的精度和泛化能力。本項目的正樣本檢測算法不僅能在電力變電行業表現出色，同時也適用于其他工業或生活場景。

變電站作為電力系統的關鍵設施，承擔著輸電、變壓、配電等重要任務，是電力供應的核心節點。然而，由于其特殊的地理位置和功能屬性，變電站存在著諸多潛在的異常風險。其中，最為突出的問題之一是來自外界的不可預測異物的威脅。風箏、塑料袋等物體，一旦進入變電站區域，可能與高壓設備接觸，引發短路、電弧甚至火災等嚴重安全事故，威脅到變電站設備的安全運行和周邊地區的人身財產安全。

這些不可知的異物對變電站的安全穩定造成了潛在威脅，因此需要采取有效的措施來應對。由于異物未知且采集異物圖像成本高，客戶要求僅利用易獲得的正常樣本進行訓練，實現場景中異物的準確檢測，以降低成本并提高效率。

基于大模型的方法與傳統工業視覺檢測的區別：以往的工業視覺檢測大多需要采集大量所需類別的圖像樣本并訓練一個針對性的小模型，這樣的模型容量小，能力有限，也難以運用到已有的海量預訓練數據集的知識。而大模型發展至今，僅預訓練的模型在很多視覺任務的精度上已經碾壓傳統小模型，再經過行業數據微調后可以更加適合于特定的工業視覺檢測任務。

基于大模型的正樣本檢測技術：通過檢測大模型的開放詞匯識別出物體，然后用特征提取大模型的編碼物體的深度特征，結合存儲庫技術，能夠實現在僅見過正常場景圖片的有限條件下，精準檢測出場景中出現的任何未知的異常物體，精度相較于傳統深度學習方法大幅提升。

正樣本在線增量訓練技術：通過對存儲庫和交互方式的設計，并結合大模型的特性，實現用戶簡單點擊即可將識別為異物的物體定義為正常物體。這一技術實現了模型和存儲庫的在線更新，有效解決了模型部署后更新難、反饋慢的問題。

多點位模型通用技術：實際項目中需要部署的點位可達成百上千，本項目利用大模型的通用性和特征存儲庫技術打破了一個點位對應一個模型的限制，實現在不改變主網絡的結構和參數的條件下，快速訓練出各個點位的特征存儲庫，并且能夠在不同點位間快速切換。

樣本生成技術：對圖像生成大模型進行微調訓練后，通過對邊緣、文字提示和正常圖像的結合來實現在變電站圖像中任意位置（許多位置工人難以到達但又容易出現異物）生成任意形態的異物，用于測試算法的能力并進行迭代提升。

實施效果

項目目前已在國家電網某變電站進行了超300個攝像頭點位的部署運行，綜合漏報率低于3%，誤報率低于5%。

正樣本巡視系統采用定時排查和人工下任務兩種方式，全面檢測所有點位。工作人員在系統中復核告警圖像并清理異物，實現了異常檢測的自動化和智能化。相較于純人工不定期巡視，該系統能全天候定時檢測所有場景，顯著減少人力成本，且算法速度快、資源消耗低。每增加一個點位只需額外3MB內存和磁盤存儲空間，適用于大規模部署應用。

該項目的應用極大地減少了變電站的潛在異常風險，得到了國家電網上海練塘站領導的一致好評，并已開始向全國范圍內其他變電站推廣。此外，這種正樣本技術不僅局限于變電站場景，還可以應用于其他工業和生活場景。

本方案基于攝像頭等國產硬件感知設備，配合自主研發基于大模型的正樣本檢測關鍵技術，形成整套的解決方案產品；相比于傳統深度學習模型只能檢測固定類別的異常，本項目靈活使用視覺大模型，可以有效檢測出未知的缺陷種類。本產品最早應用于變電站異常識別領域，可以檢測出變電站中出現的異�，F象，有效保障電力穩定安全運行。從經濟的角度為傳統行業提質增效智能化升級、減低人力成本；從社會角度，對各行業的智能巡檢場景實現“機器代人眼”，對釋放數字經濟潛力、形成新的經濟增長點具有重要意義。同時，其應用場景除電力外，仍可覆蓋石油、化工、煙草、園區等需要智能巡視的領域，可提高各個應用場景系統運維工作效率與質量。