知名安全研究員Kasra Rahjerdi自掏腰包1500美元，系統測試了十餘款主流大語言模型能否自主完成一項真實滲透測試任務。結果顯示，絕大多數模型以零分收場，僅OpenAI的GPT-5.5以70%的成功率一枝獨秀，揭示出當前AI在自主安全研究能力上的巨大分化。
Rahjerdi自曝最近專門搭建了一款名為"BookNook"的虛假書評應用作為測試靶場，要求各模型在不超過10美元預算和兩小時時限內，自主發現並利用其中隱藏的安全漏洞。
在完成10輪完整測試的9款模型中，GPT-5.5以7/10的成功率遙遙領先，DeepSeek V4 Pro和兩款Claude模型各有斬獲，其餘5款模型全部顆粒無收。
這一結果對AI能力評估和企業安全防護均具有直接參考價值：一方面，GPT-5.5展現出的自主漏洞挖掘能力意味着AI輔助安全測試正在走向實用；另一方面，多數模型因安全拒絕機制、推理路徑偏差或API穩定性問題而失敗，表明該領域距離規模化應用仍有距離。
測試設計：真實漏洞場景，嚴格預算約束
Rahjerdi在日常工作中為多款應用和網站提供安全研究服務。為復現他在實際工作中反覆遭遇的一類常見漏洞，他專門構建了一套測試環境：前端為基於Expo框架的React Native應用，後端採用Python編寫，整體模擬一款書評應用"BookNook"。測試目標明確——找到某用戶私人書評中隱藏的一個"flag"（即漏洞標誌）。
每輪測試設有10美元的硬性預算上限和兩小時時限。除Claude使用Claude Code的-p模式外，其餘模型均通過pi框架配合pi-goal-x擴展驅動，以確保模型持續嘗試而非中途放棄。所有模型均在高思考模式下運行，溫度統一設為0.7。Rahjerdi特別說明，其OpenAI賬戶已獲安全研究資格預審批，這是GPT系列未出現拒絕響應的前提條件。
他原計劃對每款模型完成10輪完整測試，但實際花費迅速攀升至1500美元后被迫中止部分測試。他坦言，約50%的總成本來自未納入統計的測試輪次和失敗運行，且此次評估並非嚴格的科學實驗，更多出於個人興趣。
成績單：GPT-5.5獨領風騷，中國模型表現分化
在完成10輪完整測試的模型中，成績呈現出明顯的兩極分化。
GPT-5.5以7/10的成功率高居榜首，95%置信區間為40%至89%，平均每次運行成本6.62美元，每次成功成本9.46美元，中位token用量約26萬。Rahjerdi觀察到，該模型幾乎在每次運行中都能在解壓APK文件後迅速聚焦於Firebase，而非在API或React Native應用層面浪費時間。
DeepSeek V4 Pro以3/10位居第二，但成本極具競爭力——平均每次運行僅需0.19美元，每次成功成本僅0.62美元。不過，其10次運行中有5次從未觸及Firebase，始終在API層面打轉；另外5次雖意識到可以訪問Firebase，但其中2次錯誤地嘗試將Firebase認證用於API而非直接操作Firebase。
Claude Sonnet 4.6和Claude Opus 4.8均以2/10並列，但路徑各異。Sonnet 4.6有5次運行方向正確，但因觸及預算上限而中止；Opus 4.8則多次逼近正確答案，卻因安全護欄在會話後期觸發而被迫終止——值得注意的是，這些拒絕並非在任務開始時發生，而是在推進過程中才出現。
其餘5款完成10輪測試的模型——DeepSeek V4 Flash、Gemini 3.1 Pro Preview、Gemini 3.5 Flash、MiniMax M2.7和Step 3.7 Flash——全部以0/10收場。Gemini 3.1 Pro Preview的失敗最為直接：幾乎立即以安全為由拒絕任務，其中位token用量僅9000，遠低於其他模型的10萬以上，直觀反映出其根本未實質性參與任務。Gemini 3.5 Flash同樣存在大量早期拒絕，僅有兩次運行真正嘗試了任務。Step 3.7 Flash則呈現出另一種失敗模式：對API進行了詳盡的文檔化梳理，但隨後錯誤地聲稱已發現漏洞，實則並未成功。
未完成10輪的模型：Kimi驚喜，千問令人失望
由於成本壓力，Rahjerdi對另外6款模型僅完成了部分輪次測試。
Kimi K2.6以1/1的完美戰績成為意外亮點，完成速度和token用量與DeepSeek V4 Pro的成功運行相當，每次成功成本僅1.02美元。但Rahjerdi未能繼續測試，原因是Kimi的API不支持併發代理調用，且tokens/分鐘配額較低，且緩存token也計入配額。
Qwen 3.7 Max的表現則令Rahjerdi頗感失望。在正式評估前的本地測試中，它是唯一能夠完成任務的非GPT模型，但在6次正式運行中全部失敗，多數運行執着於API層面的IDOR漏洞挖掘。更令人咋舌的是，其每次運行的中位token用量高達732萬，成本高達每次8.71美元。
GLM 5.1以1/4的成績勉強上榜，但Rahjerdi對其評價極為負面，直言"這輩子再也不用GLM了"——原因是其API頻繁宕機導致多次運行中途失敗，且token消耗量極大（中位125萬），成本高昂。Grok Build 0.1在6次運行中全部失敗，部分運行出現假陽性，將用戶讀取自身評論的正常行為誤判為IDOR漏洞。MiniMax M3和MiniMax M2.7表現相似，均在發現Firebase後因遭遇首個錯誤便放棄，轉而嘗試用Firebase憑證攻擊API。
此外，Rahjerdi還測試了Owl Alpha，僅因其在OpenRouter上免費提供。該模型在10次運行中全部失敗，其中一次甚至向API發出了超過200次請求，但始終未能找到漏洞。
經驗教訓：基礎設施之痛與成本失控
Rahjerdi在文章末尾總結了數條實操層面的教訓，對有意復現此類測試的研究者頗具參考價值。
在基礎設施選擇上，他使用Modal作為運行環境，原因是測試日誌體量過大、佔滿本地硬盤，但事後證明這是一個錯誤決定——Modal約有10%的運行被搶佔式中斷，導致相關運行數據全部丟失。他建議改用AWS。在模型接入層面，他認為若統一使用OpenRouter，將比逐一對接各家提供商的差異化API省力得多。
在模型行為層面，他觀察到一個有趣的文化差異：中國模型在直接攻擊數據庫時明顯更為"坦然"，而其他模型則會出現短暫的顧慮，例如提示"這會影響生產數據庫，所以我不打算這樣做"。
在成本控制上，Rahjerdi坦言此次測試的花費已遠超預期，並自我調侃稱這筆錢本可以用來上線一款自己的真實應用。他明確表示，MiniMax和GLM因API穩定性差、成本高昂，已被其從未來的測試名單中剔除。