被譽(yù)為人工智能“教父”之一的 Yoshua Bengio 將如今無處不在的技術(shù)比作一只熊。當(dāng)我們教會熊變得足夠聰明以逃出籠子時，我們就不再控制它了。之后我們所能做的就是努力建造一個更好的籠子。

這應(yīng)該是我們的目標(biāo)，因為如今生成式人工智能工具正在迅速進(jìn)入市場，既可以作為獨立服務(wù)，也可以與現(xiàn)有產(chǎn)品進(jìn)行無數(shù)次集成。雖然這種光速采用似乎是不可避免的，但減輕與之相關(guān)的日益增加的風(fēng)險還為時不晚——但我們需要迅速采取行動。

理解 Rogue AI

雖然當(dāng)今大多數(shù)占據(jù)頭條新聞的與人工智能相關(guān)的網(wǎng)絡(luò)威脅都是由欺詐者和有組織的犯罪分子實施的，但流氓人工智能 (Rogue AI) 是安全專家長期關(guān)注的焦點。

“流氓人工智能”是指那些違背其創(chuàng)造者、用戶或全人類利益的人工智能系統(tǒng)。雖然當(dāng)今的欺詐和深度偽造等攻擊令人擔(dān)憂，但它們并不是我們應(yīng)該做好準(zhǔn)備的唯一類型的人工智能威脅。它們將繼續(xù)處于檢測和逃避的貓捉老鼠游戲中。流氓人工智能是一種新的風(fēng)險，它使用的資源與目標(biāo)不一致。

流氓人工智能分為三類：惡意、意外或顛覆。每種類型都有不同的原因和潛在結(jié)果；了解這些區(qū)別有助于減輕流氓人工智能帶來的威脅。

攻擊者部署惡意 Rogue來利用他人的計算資源。攻擊者將 AI 安裝在另一個系統(tǒng)中以實現(xiàn)自己的目標(biāo)。AI 正在執(zhí)行其設(shè)計目的，旨在實現(xiàn)惡意目的。

意外流氓行為是由人為錯誤或固有技術(shù)限制造成的。配置錯誤、未能正確測試模型以及權(quán)限控制不佳可能會導(dǎo)致 AI 程序返回錯誤響應(yīng)（如幻覺）、擁有超出預(yù)期的系統(tǒng)權(quán)限以及錯誤處理敏感數(shù)據(jù)。

顛覆型惡意攻擊者利用現(xiàn)有的 AI 部署和資源。攻擊者顛覆現(xiàn)有的 AI 系統(tǒng)，濫用它并實現(xiàn)自己的目標(biāo)。即時注入和越獄是顛覆 LLM 的新興技術(shù)。AI 系統(tǒng)的運(yùn)行方式與設(shè)計時不同。

建造籠子

流氓人工智能帶來的威脅非常復(fù)雜，需要一種考慮所有相關(guān)因素的安全理念：身份、應(yīng)用程序、工作負(fù)載、數(shù)據(jù)、設(shè)備、網(wǎng)絡(luò)等。Trend 很早就以系統(tǒng)性視角看待這個問題。為這只人工智能熊建造一個新的籠子不僅僅是為了發(fā)現(xiàn)什么時候出了問題——而是利用安全性來確保人工智能模型使用的每一層數(shù)據(jù)和計算都是安全的。這是零信任安全的核心原則，對于這項新技術(shù)來說至關(guān)重要。

通過全面解決人工智能安全問題，我們可以為惡意程序帶來的下一代威脅和漏洞做好準(zhǔn)備。安全措施應(yīng)包括加密、認(rèn)證和監(jiān)控數(shù)據(jù)、人工智能服務(wù)使用的基礎(chǔ)設(shè)施和通信。

縱深防御是防范流氓人工智能的關(guān)鍵。嚴(yán)格的政策和控制可防止資源使用失控。檢查正在使用的人工智能系統(tǒng)可檢測人工智能數(shù)據(jù)或資源使用的錯位。在處理完全出乎意料的情況時，檢測人工智能使用中的異常仍然是最后一道防線。

人工智能時代的前景只有在安全的情況下才會光明。流氓人工智能已經(jīng)出現(xiàn)，但隨著我們轉(zhuǎn)向普遍的人工智能代理，它還沒有像將來那樣普遍存在。通過采用全面而主動的安全方法，我們可以減少流氓人工智能的實例。