Skip to content

Instantly share code, notes, and snippets.

@jenaiho
Created July 10, 2026 02:47
Show Gist options
  • Select an option

  • Save jenaiho/f45eead8ae235ec2d27a9adaeb42d9f3 to your computer and use it in GitHub Desktop.

Select an option

Save jenaiho/f45eead8ae235ec2d27a9adaeb42d9f3 to your computer and use it in GitHub Desktop.
當數百萬 AI Agents 相遇:代理經濟、網絡安全風險與分散式 AGI 願景

數百萬 AI Agents 相遇的未來:從個人助理到「人性級」智慧經濟體

來源:YouTube | 42分鐘 | 2026-06-23
Google DeepMind 資深研究科學家 Nenad Tomasev 深度解析 AI Agent 的未來圖景

核心觀點

AI Agent 正從「被動問答」進化為「主動行動」的智慧體,但真正的革命不在於單一 Agent 的強大,而在於數百萬 Agent 相互委派、協商、交易的「Agent 經濟體」。這條路徑可能通往的不是單一 AGI,而是分散式的「人性級」智慧——如同人類社會由無數專家組成,Agent 也將形成由通用協調層與專業執行層構成的生態系統。然而,安全、信任、認知單一文化與惡意陷阱等挑戰,使這場變革必須謹慎推進。

內容大綱

  1. Agent 的本質轉變:從語言模型的「被動回應」到 Agent 的「主動行動」,關鍵在於觀察環境並執行操作的能力
  2. 當前能力與限制:程式碼開發是 Agent 最成熟的應用場景,但仍需人類監督,因為自動化偏誤可能導致災難
  3. 委派與協作機制:複雜任務需要 Agent 之間相互委派,但當前多數系統僅停留在「平行化」而非「智慧委派」
  4. 安全挑戰:惡意網站可透過「動態偽裝」和「提示注入」攻擊 Agent,需要多層防禦策略
  5. Agent 經濟體:數百萬 Agent 將形成新的經濟系統,但需防範「認知單一文化」導致的系統性風險
  6. 通往人性級智慧:未來可能不是單一 AGI,而是由通用協調層與專業 Agent 組成的分散式智慧系統

五點深度分析

1. 從語言模型到 Agent:行動力的躍遷

Agent 與傳統語言模型的根本差異在於「行動」。語言模型只能回應提示、生成文字,而 Agent 能觀察世界狀態並執行操作——從發送郵件、預訂餐廳到撰寫程式碼。這種轉變將人類從「操作者」提升為「決策者與審核者」,但同時也帶來了新的責任:人類必須學會管理這些自主系統,而非只是使用它們。正如 Tomasev 所說,我們需要發展「管理 Agent 團隊」的新技能,這與管理人類團隊有相似之處,但 Agent 會犯下「非人類的錯誤」。

2. 委派的藝術:從平行化到智慧協作

當任務過於複雜,單一 Agent 無法勝任時,就需要 Agent 之間的委派機制。然而,當前多數多 Agent 系統僅停留在「平行化」——將任務隨機分割給多個 Agent 同時執行,缺乏真正的智慧協作。理想的委派系統需要:評估其他 Agent 的可靠性、預先防範失敗、處理突發狀況,以及建立明確的「合約」來定義委派者與執行者之間的責任。這就像管理一場婚禮,需要協調場地、餐飲、音樂等不同供應商,並隨時應對突發狀況。

3. 安全困境:Agent 的「陷阱」與多層防禦

Agent 在開放網路中運作時面臨獨特的安全威脅。惡意網站可透過「動態偽裝」——對人類和 Agent 顯示不同內容——來誘騙 Agent 執行非預期操作。更危險的是「提示注入」攻擊:將隱藏指令嵌入網頁原始碼,讓 Agent 在不知不覺中被劫持。Tomasev 強調,解決方案不是單一措施,而是「深度防禦」——結合內容認證、Agent 端防護、模型層安全、人類監督與權限最小化等多層防護,即使某一層被突破,整體系統仍能維持安全。

4. 認知單一文化:當數百萬 Agent 想法一致

當大量 Agent 基於少數幾種主流語言模型(如 Claude、ChatGPT、Gemini)時,它們傾向於做出相似的決策,形成「認知單一文化」。這在經濟系統中尤其危險:如果數百萬 Agent 同時做出相同的買賣決策,可能引發系統性的「閃電崩盤」。解決方案包括:透過系統提示賦予 Agent 個性化決策偏差、鼓勵模型多樣性,以及設計反共謀機制防止 Agent 透過環境暗示進行隱性協作。這提醒我們,Agent 經濟體的穩定不僅取決於個別 Agent 的能力,更取決於整體的多樣性。

5. 人性級智慧:AGI 的另一條路徑

Tomasev 提出了一個顛覆性的觀點:真正的 AGI 可能不是一個無所不能的單一實體,而是由無數專業 Agent 組成的分散式智慧系統。就像人類社會中沒有人能精通所有領域,但整體社會卻能完成極其複雜的任務。未來可能出現一個「通用協調層」作為經濟體的連接組織,負責理解全局並分派任務,而具體執行則交給經過認證、更便宜、更可靠的專業 Agent。這種架構不僅更經濟實惠,也更容易確保安全——因為每個專業 Agent 的職責範圍有限,風險也隨之降低。

金句

「我們不應該只追求複製人類級別的智慧,或許前進的方向是複製『人性級』的智慧。」

「信任是被給予的,但也是被贏得的。如果一個 Agent 反覆不可靠,它顯然不應該被信任。」

「當數百萬人工決策者傾向於做出相似的決策時,失敗點就會變得相關聯——這就是認知單一文化的危險。」

「在軟體領域,你可以寫測試來驗證;在科學領域,你需要運行物理實驗來獲得回饋——這就是為什麼科學 Agent 的挑戰更大。」

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment