在 2025 年黑帽大會（Black Hat 2025）上，以色列公司 Zenity 投下了一顆重磅炸彈：駭客只需你的電子郵件地址就能劫持 ChatGPT 帳戶——無需點擊、無需同意、毫不留情。[1]
在現場演示中，他們讓 ChatGPT 推送惡意軟體（malware）、洩漏 Google Drive 文件，並提供虛假建議。
事實證明，Microsoft Copilot、Salesforce Einstein 和 Google Gemini 也有類似的漏洞。
OpenAI 迅速修復了漏洞，但一些供應商對此不以為然，稱其為「預期行為」。
來源：《耶路撒冷郵報》、Ynetnews
人工智慧系統中可能存在的漏洞
- 後端注入（Backend Injection）:
- 上述的「零點擊」漏洞 (Zero-Click Exploit) 利用了後端注入技術，透過ChatGPT的整合功能（例如Google Drive、Jira或CRM系統），在無需使用者互動的情況下發動攻擊。這類漏洞之所以可能存在，是因為人工智慧平台通常依賴連接器 (Connectors)或API與第三方服務進行整合，而如果這些服務沒有得到妥善保護，就可能引入漏洞。
- 提示注入（Prompt Injection）:
- 提示注入是人工智慧系統中一種已知的漏洞。這種攻擊透過惡意輸入來操縱人工智慧的行為，在能夠自動處理外部資料的系統中，甚至可能實現零點擊漏洞 (zero-click vulnerabilities)。
- 舉例來說，一種利用提示注入的複雜攻擊是將惡意提示隱藏在Google文件中 (例如使用白色文字或極小字體)，藉此繞過OpenAI的安全措施。這類攻擊會利用ChatGPT的連接器，將嵌入在Google文件中惡意的提示注入系統。
- 惡意輸入（Malicious Inputs）可以操縱人工智慧的行為，這些輸入可能來自各種不可信任的資料來源，如使用者發布的貼文、圖片、PDF文件，甚至是隱藏的Unicode文字 (又稱ASCII走私 or ASCII smuggling)。例如，如果一個人工智慧系統分析的文件或貼文（Post）中帶有嵌入指令，要求將資料發送到第三方伺服器（Third-Party Server），它就可能在未經使用者同意的情況下洩露資訊。
- Grok 的條件式提示注入 (Conditional prompt injection): 由於Grok的系統提示中包含使用者特定的資訊，例如姓名、X句柄 (X handle) 和地區，這可能引發針對性的攻擊。例如，一個惡意PDF文件可能會指示Grok，僅向具有特定屬性 (如特定姓名或位置) 的使用者提供虛假資訊 (例如：「愛因斯坦說地球是平的」)。
- 企業 AI 助理（Enterprise AI Assistant）存在的風險:
- 企業 AI 助理（例如 ChatGPT、Copilot、Salesforce Einstein）
- 對於依賴這些工具進行敏感操作的組織來說，「零點擊」漏洞 可能特別嚴重。
- 缺乏適當的沙盒保護（sandboxing）
- 攻擊者可以利用即時注入技術誘騙Grok 繪製來自第三方伺服器（Third-Party Servers）的圖像，從而洩露用戶數據，例如聊天記錄、IP 位址以及用戶詳細資訊（例如姓名、用戶名、所在地區）。在 PoC （概念驗證）中證實，人工智慧系統可向攻擊者控制的伺服器發送了敏感數據。
- 越獄漏洞（Jailbreaking Weaknesses）：
- 在網路安全領域，「越獄」通常指的是繞過設備或系統的安全限制，以獲取未經授權的存取或控制權。這類行為不僅存在於iPhone和Android等行動裝置（在Android上稱為rooting），也適用於人工智慧系統。無論是哪種情況，其目的都是規避內建的安全措施，這可能導致系統面臨惡意軟體、資料外洩或不必要的功能等風險。
- Grok 3 表現出明顯的越獄敏感性，其抵抗率報告僅為2.7%。Adversa AI 的安全研究人員成功利用四種越獄技術中的三種，繞過了 Grok 3 的安全防護，使得該模型能夠為非法活動提供指令。相較之下，OpenAI 和 Anthropic 的模型則抵禦了所有這四種技術。
- 此外，一個提示洩漏漏洞（Prompt-Leaking Flaw）也暴露了 Grok 3 的完整系統提示（Grok 3's full system prompt），這使得攻擊者能夠深入了解其設計，並進一步利用此漏洞。
- 客戶端程式碼操控（Client-Side Code Manipulation）：
- 一名研究人員證實，可以透過操控瀏覽器中的客戶端JavaScript程式碼，來繞過Grok 3的存取控制。此漏洞利用程式碼將「Grok-2a」替換為「Grok-3」，藉此誘使系統授予使用者存取Grok 3進階功能的權限。此漏洞暴露了伺服器端驗證（Server-Side Validation）的薄弱，以及對客戶端控制（Client-Side Controls）的過度依賴，導致Grok容易受到未經授權的存取。
- API 金鑰外洩（API Key Leaks）：
- Grok的安全性因為API金鑰外洩而進一步受到威脅。例如，一個被洩漏的密鑰暴露了52個xAI模型，導致敏感系統被未經授權的存取。另一起事件則涉及一個公共GitHub儲存庫中的金鑰洩露，這可能危及與xAI、SpaceX、Tesla和X相關的內部資料。
使用 AI 系統時的安全建議
- 如果將 ChatGPT 與 Google Drive 或其他企業工具整合使用，請檢查已連接的服務，並停用不必要的權限。
- 請關注人工智慧系統的官方管道，以獲取最新的安全更新。尋找主要來源進行驗證，以獲取有關漏洞及其狀態的準確資訊。
- 避免在人工智慧系統中上傳或分析不受信任的內容，例如 PDF、圖片或 X（Twitter）貼文。
- 謹慎使用共享對話鏈接，因為這些連結可能洩露您的 IP 位址或裝置詳細資訊。
