「406位科學家要求AI斷網」這個說法近來在社羣上流傳,很容易被讀成所有AI服務都該離線。原始事件是2026年10月13日刊出的一篇整理文章,背後是一封由AI與網路安全科學界發出的公開信。先把範圍界定清楚,再看這封信實際主張什麼,會發現它跟你每天用的聊天機器人是兩回事。本文以問答整理已知的倡議內容與產品團隊可用的判斷框架。
這封信到底要求什麼?
公開信的對象是「具網路攻擊能力」的AI模型,指的是可能尋找漏洞、執行攻擊或操作網路系統的能力。一般問答或搜尋服務不會自動落在同一風險級別。信中主張,這類模型的開發、部署與測試應採高保障隔離,初期以氣隙隔離為預設。
它沒有要求所有AI永久斷網,也不是現行法律。倡議另外提出兩件事:由政府、AI與資安專家共同建立國際機構,制定較高外部存取的隔離實務並追蹤失敗;隔離失效事件應通報,之後逐步公開以利學習與問責。機構設計、通報定義和執行權限都還在待討論階段。
信中有一句值得單獨看:「我們認為,改進AI對齊以提升模型行為的可預測性,以及強化沙箱技術,兩者都需要。」這是針對近期隔離失敗事件的判讀,把模型行為與系統防護並列處理。
也要說清楚406這個數字代表什麼。它顯示的是參與連署的規模,不能用來證明某種隔離設計比較有效。公開信並沒有比較氣隙、白名單和沙箱的實測成效,它是針對高能力模型的預防性倡議。
只記錄「能不能上網」,為什麼不夠?
風險取決於一組條件的組合:模型能力、可呼叫的工具、網路出口、憑證與資料權限。
一個只做問答、沒有外部工具的模型,影響多停留在輸出內容。接上搜尋或資料庫後,系統可以讀取外部資訊。若再接上程式執行、雲端管理或寫入API,它便可能修改檔案、建立資源或觸發流程。工具、身分和資料讀寫權,共同決定出錯時的影響範圍。
AI代理是風險放大的關鍵。它能按任務規劃步驟、呼叫工具並接收結果;若遭提示注入或錯誤輸出影響,又持有超出任務所需的權限,錯誤便可能轉成外部操作。OWASP稱之為「過度代理權限」,成因包括功能、權限或自主程度過高。這與我們先前整理過的AI代理行動風險三道門是同一類問題:權限給了多少、誰核準、出了事找誰。
值得一提的是,說明這些風險不需要假設模型有自主意圖。錯誤指令、外部內容或不穩定輸出,都可能在高權限環境中造成越權。檢查應聚焦可觀察的條件:使用身分、工具、連線目的地、資料讀寫範圍,以及高影響動作的核準者。
沙箱掛了名字,就安全了嗎?
沙箱是限制程式或代理執行環境的隔離機制,但名稱本身不代表防護完整。要檢查的是它能否阻擋未授權連線、檔案存取和主機操作,以及憑證怎麼管理。代理若能透過其他工具或服務帳號存取內部資源,只封住瀏覽器出口是不夠的。
事故發生後,常見檢討會停在「這次沙箱設定錯了」或「這個模型版本比較不穩定」。但單一設定或版本只是表面症狀。真正要追的是:為什麼當初會讓一個工具同時擁有讀取、執行與寫入三種權限,而沒有人在設計階段把它拆開。原因通常不在模型本身,而在權限分配的流程,誰決定給哪個工具多少存取範圍、這個決定有沒有留下紀錄、需求變動時是否重新審視。找到這一層,才知道該補的是沙箱技術,還是審核機制。
連線層級怎麼分?三層對照
| 權限設計 | 適用情境 | 主要限制 |
|---|---|---|
| 完全隔離/氣隙 | 高風險能力評估、未公開模型測試、含敏感資料的封閉作業 | 即時搜尋與外部服務整合受限;資料匯入匯出、人員操作及內部網路仍須管理 |
| 限制出口/目的地白名單 | 只需查核指定資料源、呼叫少數核準API的任務 | 若只比對網域,未必限制API操作、帳號身分或可讀資料 |
| 一般網際網路存取 | 需要廣泛搜尋或多種外部服務、且經風險核準的低影響任務 | 外部內容與連線對象增加,監控及事件處理負擔提高 |
判斷的原則有兩條。任務越需要即時外部資料或實際操作,連線需求越高;可觸及資源及失誤後果越大,越需要縮小工具、身分與目的地的範圍。這也是產品團隊收到「AI該不該連網」這個問題時,比較能落地的回答方式:先盤點模型連網後能使用哪些工具、憑證、主機與資料,再決定任務需要什麼連線層級,以及出錯時由誰介入。
回頭看社羣上「科學家要AI斷網」的說法,它把一封針對特定高能力模型的預防性倡議,壓縮成一句對所有AI的禁令。公開信真正留下的難題其實更具體:當模型的能力邊界還在移動,權限該怎麼給、給了之後誰盯著,這些問題不會因為斷網兩個字就消失。
主題