葉文潔打開結(jié)果文件，人類第一次讀到了來自宇宙中另一個(gè)世界的信息，其內(nèi)容出乎所有人的想象，它是三條重復(fù)的警告：這是《三體》一切故事的開端。三體文明以「不要回答」回應(yīng)葉文潔向宇宙發(fā)出的信號(hào)，試圖阻止兩個(gè)文明之間進(jìn)一步的互動(dòng)和交流。現(xiàn)在「1379號(hào)監(jiān)聽員」已經(jīng)開始幫助人類監(jiān)聽 LLM 的動(dòng)向，幫助人類評(píng)估 LLM 的安全機(jī)制，Ta 已化身為開源數(shù)據(jù)集 Do-Not-Answer。顯然，我們?cè)诓粩嗵岣吣Ｐ湍芰Φ耐瑫r(shí)，也需要時(shí)刻警惕其潛藏的，未知的風(fēng)險(xiǎn)， Do-Not-Answer 就能夠低成本幫助我們發(fā)現(xiàn)更多潛在風(fēng)險(xiǎn)。LLM（Large Language Models，大型語言模型）如OpenAI的GPT-3、Google的BERT等，近年來在自然語言處理（NLP）領(lǐng)域取得了顯著的進(jìn)展。然而，隨著這些模型的廣泛應(yīng)用，它們的安全性和隱私問題也逐漸受到關(guān)注。
誤導(dǎo)性內(nèi)容生成：LLM有能力生成看似真實(shí)的虛假信息，這可能被用于制造假新聞、網(wǎng)絡(luò)釣魚攻擊等。
模型濫用：LLM可能被用于生成有害內(nèi)容，如仇恨言論、暴力或色情內(nèi)容等。
自動(dòng)化攻擊：黑客可以利用LLM自動(dòng)生成針對(duì)特定個(gè)人或組織的釣魚郵件，提高攻擊的成功率。
編程代碼生成：LLM能夠生成編程代碼，可能被用于自動(dòng)化創(chuàng)建惡意軟件或漏洞利用腳本。
社交工程攻擊：LLM可以用于生成針對(duì)性的社交工程攻擊內(nèi)容，如通過模仿信任的個(gè)體來誘騙用戶泄露敏感信息。
數(shù)據(jù)泄露風(fēng)險(xiǎn)：LLM的訓(xùn)練需要大量的數(shù)據(jù)，如果訓(xùn)練數(shù)據(jù)中包含敏感信息，模型可能在生成文本時(shí)無意中泄露這些信息。
模型逆向工程：攻擊者可能嘗試逆向工程模型以提取訓(xùn)練數(shù)據(jù)，特別是如果模型過度擬合了某些數(shù)據(jù)點(diǎn)。
成見與偏見：如果訓(xùn)練數(shù)據(jù)包含偏見，模型生成的內(nèi)容可能會(huì)體現(xiàn)出這些成見，從而加劇社會(huì)不平等和歧視問題。
個(gè)人化攻擊：LLM可以根據(jù)公開信息定制個(gè)人化的攻擊內(nèi)容，從而侵犯目標(biāo)個(gè)體的隱私。
數(shù)據(jù)保護(hù)法規(guī)遵從性：LLM的使用必須符合GDPR等數(shù)據(jù)保護(hù)法規(guī)，確保個(gè)人數(shù)據(jù)的合法、公正和透明處理。
近些年，LLMs在安全領(lǐng)域也火了起來。它們?nèi)蝿?wù)中大顯身手。近期，德雷塞爾的安全團(tuán)隊(duì)就深入入LLMs和安全、隱私之間的關(guān)系。它們還可以找出網(wǎng)站和應(yīng)用的安全漏洞，還可以在網(wǎng)絡(luò)安全中大顯身手。
研究團(tuán)隊(duì)從頭到腳分析了這個(gè)問題，發(fā)現(xiàn)LLMs在網(wǎng)絡(luò)安全方面可謂是雙刃劍。一方面，它們可以加強(qiáng)代碼和數(shù)據(jù)的安全性，比傳統(tǒng)方法更強(qiáng)大。另一方面，由于它們擁有類似人類的思維能力，有些壞人也能利用它們來進(jìn)行各種攻擊。比如說，對(duì)用戶的隱私進(jìn)行人肉開盒。
研究團(tuán)隊(duì)還找出了一些迫切需要更多研究的領(lǐng)域。比如，關(guān)于如何防止人家從LLMs那里“偷”模型和參數(shù)的研究還不夠多，有些只是理論的，而且因?yàn)長(zhǎng)LM的參數(shù)規(guī)模和機(jī)密性問題，很難進(jìn)行。還有最近出現(xiàn)的一項(xiàng)技術(shù)叫做“安全指令調(diào)整”(聽名字就高大上)，也需要更多的研究。
不少企業(yè)早已感受到了大模型驚艷四座的“陽面”能力，將其作為提升工作效率的工具，但對(duì)于大模型安全保護(hù)的“陰面”疑慮也是記憶猶新。
3月份ChatGPT發(fā)生了用戶隱私數(shù)據(jù)泄露事件，OpenAI聲明由于開源代碼庫(kù)中存在一個(gè)漏洞，使得部分用戶能夠看到另一個(gè)用戶的聊天標(biāo)題記錄，并把ChatGPT短暫下線緊急修補(bǔ)了此漏洞。此事件，讓大家認(rèn)識(shí)到大模型并不是“大安全”。
試想如果不加限制地使用LLM，隨著更多敏感數(shù)據(jù)被傳輸LLM服務(wù)器，并被用作模型訓(xùn)練數(shù)據(jù)集，也就意味著競(jìng)爭(zhēng)對(duì)手通過隨意的聊天對(duì)話就能獲悉了你的核心數(shù)據(jù)。如果競(jìng)對(duì)用這些數(shù)據(jù)建模對(duì)你進(jìn)行降維打擊，會(huì)對(duì)企業(yè)會(huì)造成多大風(fēng)險(xiǎn)要點(diǎn)？
使用LLM大語言模型十大安全風(fēng)險(xiǎn)要點(diǎn)
專注于 Web 應(yīng)用安全的組織 OWASP 最近針對(duì) LLM 發(fā)布了十大安全風(fēng)險(xiǎn)要點(diǎn)。不管你是開發(fā)人員、設(shè)計(jì)師、架構(gòu)師、經(jīng)理，只要有使用大型語言模型（LLMs），都應(yīng)該了解一下可能的安全風(fēng)險(xiǎn)：
提示信息注入 Prompt Injection：攻擊者透過精心設(shè)計(jì)的輸入操控大型語言模型（LLM），可能導(dǎo)致后端系統(tǒng)被利用甚或使用者互動(dòng)被控制。
不安全的輸出處理 Insecure Output Handling：當(dāng) LLM 輸出未經(jīng)審查就被接受時(shí)，可能暴露后端系統(tǒng)。濫用可能導(dǎo)致嚴(yán)重的后果，例如跨站腳本攻擊（XSS）、跨站請(qǐng)求偽造（CSRF）、伺服器端請(qǐng)求偽造（SSRF）、不當(dāng)?shù)臋?quán)限或遠(yuǎn)端程式碼執(zhí)行。
訓(xùn)練數(shù)據(jù)投毒 Training Data Poisoning：當(dāng) LLM 訓(xùn)練數(shù)據(jù)被篡改時(shí)發(fā)生，導(dǎo)致威脅安全、效能或不道德行為的漏洞或偏見。
模型拒絕服務(wù) Model Denial of Service：攻擊者在 LLM 上執(zhí)行資源密集型操作，導(dǎo)致服務(wù)降級(jí)或墊高成本。由于 LLM 的資源密集型特性和用戶輸入的不可預(yù)測(cè)性，此漏洞嚴(yán)重性提高許多。
供應(yīng)鏈漏洞 Supply Chain Vulnerabilities：LLM 應(yīng)用流程中可能因易受攻擊的組件或服務(wù)產(chǎn)生漏洞，導(dǎo)致安全性降低。使用第三方數(shù)據(jù)集、預(yù)先訓(xùn)練的模型和插件都增加了攻擊點(diǎn)。
敏感信息泄露 Sensitive Information Disclosure：LLM 可能在其回應(yīng)中無意透露機(jī)密數(shù)據(jù)，導(dǎo)致未經(jīng)授權(quán)的數(shù)據(jù)訪問、隱私違規(guī)和安全漏洞。實(shí)施數(shù)據(jù)清理和嚴(yán)格的用戶政策來減輕此問題。
不安全的插件設(shè)計(jì) Insecure Plugin Design：由于缺乏應(yīng)用程式控制，LLM 插件可能具有不安全的輸入和不足的權(quán)限控制。攻擊者可以利用這些漏洞，導(dǎo)致嚴(yán)重后果，例如遠(yuǎn)端程式碼執(zhí)行。
過度授權(quán) Excessive Agency：授予 LLM 的系統(tǒng)過多的功能、權(quán)限或自主權(quán)，有可能導(dǎo)致 LLM 系統(tǒng)執(zhí)行沒有預(yù)期之外的行動(dòng)與產(chǎn)生超過權(quán)限的產(chǎn)出。
過度依賴 Overreliance：LLM 生成內(nèi)容不保證 100% 正確或合適，若系統(tǒng)或人員過度依賴 LLM 而沒有監(jiān)管查證，可能會(huì)面臨錯(cuò)誤信息、誤傳、法律問題和安全漏洞。
模型盜竊 Model Theft：未經(jīng)授權(quán)地訪問、復(fù)制或外流專有 LLM 模型，可能導(dǎo)致經(jīng)濟(jì)損失、削弱競(jìng)爭(zhēng)優(yōu)勢(shì)和敏感信息的泄露。
數(shù)據(jù)脫敏：在訓(xùn)練LLM之前，對(duì)數(shù)據(jù)進(jìn)行脫敏處理，以減少敏感信息的泄露風(fēng)險(xiǎn)。
差分隱私：采用差分隱私技術(shù)來保護(hù)訓(xùn)練數(shù)據(jù)中的個(gè)人信息，避免通過模型輸出推斷個(gè)人數(shù)據(jù)。
內(nèi)容過濾和監(jiān)控：對(duì)LLM生成的內(nèi)容進(jìn)行實(shí)時(shí)監(jiān)控和過濾，以防止有害內(nèi)容的產(chǎn)生和傳播。
透明度和解釋性：提高模型的透明度和解釋性，讓用戶了解模型的工作原理和生成內(nèi)容的依據(jù)。
法律和倫理指導(dǎo)：制定相應(yīng)的法律和倫理指導(dǎo)原則，以指導(dǎo)LLM的開發(fā)和使用，確保它們不被用于不當(dāng)目的。
用戶教育：提高用戶對(duì)LLM潛在風(fēng)險(xiǎn)的認(rèn)識(shí)，教育他們?nèi)绾巫R(shí)別和防范這些風(fēng)險(xiǎn)。
安全性評(píng)估：定期對(duì)LLM進(jìn)行安全性評(píng)估和審計(jì)，以發(fā)現(xiàn)和修復(fù)可能的安全漏洞。
大型語言模型（LLM）的普及帶來了前所未有的便利，但隨之而來的安全隱私問題也不容忽視。今年3月，ChatGPT的用戶隱私數(shù)據(jù)泄露事件就是一個(gè)警示。由于開源代碼庫(kù)的漏洞，用戶的對(duì)話記錄被意外曝光，盡管OpenAI迅速下線并修補(bǔ)了此問題，但這一事件暴露了即便是尖端技術(shù)也存在潛在風(fēng)險(xiǎn)。
LLM的核心問題在于它們處理的數(shù)據(jù)常含有敏感信息。如果這些數(shù)據(jù)未經(jīng)適當(dāng)保護(hù)就被用于模型訓(xùn)練，可能會(huì)導(dǎo)致重要信息泄露，甚至被競(jìng)爭(zhēng)對(duì)手利用，對(duì)企業(yè)造成嚴(yán)重?fù)p失。因此，使用LLM時(shí)，企業(yè)和開發(fā)者必須嚴(yán)格遵守?cái)?shù)據(jù)保護(hù)原則，確保敏感信息得到加密和匿名處理，防止通過模型泄露。
同時(shí)，開發(fā)者應(yīng)持續(xù)監(jiān)控模型的輸出，確保不會(huì)意外泄露用戶數(shù)據(jù)。此外，透明的隱私政策和用戶教育同樣重要，讓用戶明白他們的數(shù)據(jù)如何被處理和保護(hù)?？傊?，LLM的安全隱私措施需要與其技術(shù)能力相匹配，才能確保用戶和企業(yè)的利益不受損害。
當(dāng)前的大模型發(fā)展得尚不成熟，面臨著諸多安全隱患與風(fēng)險(xiǎn)。隨著深度學(xué)習(xí)技術(shù)的發(fā)展和研究的深入，未來大模型的攻防將在動(dòng)態(tài)抗衡中不斷升級(jí)，大模型需要應(yīng)對(duì)的新型安全威脅將不斷涌現(xiàn)和升級(jí)，建立完善統(tǒng)一的大模型安全評(píng)估框架、探索有效的防御機(jī)制、實(shí)現(xiàn) AI 大模型安全監(jiān)管和可控生成，以及促進(jìn)大模型安全生態(tài)的建設(shè)等任務(wù)迫在眉睫。LLM的安全隱私問題是多方面的，涉及技術(shù)、法律和倫理等多個(gè)層面。隨著這些模型的應(yīng)用越來越廣泛，需要行業(yè)、研究者和政策制定者共同努力，確保LLM的安全可靠和對(duì)社會(huì)的積極影響。