駕馭人工智能發展步伐

「AI 調節發展步伐」（AI pacing）是指人工智能技術 發展的速度與方向。近期，多間主要前沿人工智能實驗 室接連發生事故，令AI安全由過往相對次要的議題，迅 速成為當前迫切需要處理的優先事項。多宗事故都有一 個共通點：模型在「受限制」的網絡安全測試環境中運 作時，自行判斷完成指定任務最有效的方法，是突破原 有環境的限制，並以任何可行方式達成目標，包括入侵 真實系統。更值得關注的是，相關行動均由模型自主進 行，過程中沒有人類介入。

今年有四宗事件尤其值得注意：

Mythos 事件 – 2026年4月：Anthropic 的 Mythos 模型 展示了自主發現軟件漏洞，以及在極少人為指導下執行 複雜、多步驟網絡攻擊的能力，可說是相關安全問題 首次發出明確警號。當時，事件主要被視為一次早期警 示，亦促使業界進一步改善網絡安全工具。

OpenAI 入侵 Hugging Face – 2026年7月：: 這宗事件的 情況更進一步。內部代理突破原定測試限制後，利用漏 洞取得互聯網存取權限，並入侵 Hugging Face 的部分 系統。這些代理亦入侵 OpenAI 自身的內部評分系統， 以提高其任務得分；更值得注意的是，不同代理之間會 互相溝通及協作，以掩飾任何惡意活動。Hugging Face 事件最初只涉及一個代理在獨立的沙盒¹環境執行工作 流程，其後演變成超過700個代理彼此溝通，並分享可 用於在各項任務中「作弊」的通用方法。

事件發生後，Anthropic重新檢視自身的評估系統，結果發現 Claude 模型亦存在類似行為，包括入侵現實世界的系統。

OpenAI 入侵澳洲醫療服務 – 2026年8月：在這宗事 件中，代理存取澳洲 Medicare Statistics Reporting Service 網站，並取得公開及非公開檔案。入侵實際 發生於6月，但直至8月 OpenAI 因應 Hugging Face 事 件進行內部審查時才被發現。其後，非牟利 AI 研究機 構 Transluce 的報告指出，這次入侵與其他事故存在相 似之處。報告發現，部分 OpenAI 代理即使只是執行一 般數據檢索工作，一旦遇到安全屏障，亦可能選擇入侵 數據庫，將安全限制視為需要繞過的「障礙」，而非不 得逾越的界線。

Google Gemini 事件 – 2026年9月：這次受限制測試的原定任務，是尋找一家虛構公司的資料。然而，代理其後成功取得互聯網連線，並鎖定一家與虛構公司同名的真實企業。值得注意的是，據報模型在發現自己已接觸現實世界的系統後便停止行動。

綜合而言，這些事件帶出一個令人憂慮的結論：以目標為導向的AI代理難以預測，也難以完全控制。每個系統均會選擇最有可能達成目標的方法，而過程中可能採取原先並非預期的手段。雖然每宗事件造成的實質影響均相對有限，但這些事件合在一起，已被業界視為代理式AI潛在風險的一次明確警號。

近數星期，多名前沿AI實驗室的高層公開支持收緊對模 型開發的控制。Anthropic 共同創辦人 Dario Amodei 呼 籲業界「放慢提升 AI 模型能力的步伐」。² 他憂慮遞歸 式自我改進（recursive self-improvement，RSI）的 發展速度，可能已超越研究人員理解及控制相關系統的 能力；若沿着目前路徑繼續發展，上述自主事故之後， 未來6至12個月甚至可能出現較嚴重的生物恐怖主義及 經濟擾亂風險。³ 他提出的應對方案，包括引入獨立評 估機構、民主國家建立共同的安全標準，以及加強國際 協調。

OpenAI 的 Sam Altman、DeepMind 的 Demis Hassabis 及 x.AI 的 Elon Musk 亦呼應有關觀點，認同前沿實驗室 有需要採用共同的安全標準；與此同時，多名安全研究 人員亦正因相關憂慮而離開這些實驗室。

然而，業界並非所有人都持相同看法。Meta 的 Mark Zuckerberg 及 Nvidia 的 Jensen Huang 認為，只有在 明確有需要的情況下才應採取安全措施，而非要求所有 模型一概遵從。他們提出的理據包括自由市場紀律的好 處、監管可能鞏固現有大型企業的優勢，以及目前市場 或高估了相關風險。

近期事件加深了市場對遞歸式自我改進（RSI）的憂慮。RSI是指AI在人工智能研發過程中逐漸取代人類研究人員，並透過持續改進推動複合式技術進展。RSI被廣泛視為AI行業整體加速發展的主要推動力，而當中的顧慮並不複雜：技術進步可能正逐步超越人類理解系統行為的能力，削弱我們控制AI的能力。

Anthropic本身的工作流程正好反映風險的規模。截 至2026年5月，Claude已負責編寫其模型超過80%的 程式碼，相比2025年2月仍只是低單位數百分比。然 而，Anthropic 內部不少人士認為，由 Claude 編寫的程 式碼最初質素低於人類編寫的程式碼，只是在近期才大 致達至相若水平。這反映早期發展可能呈現「重數量、 輕質素」的特徵，雖然情況其後有所改善，但這可能成 為業界其他公司的審視重點。

我們目前尚未進入完全RSI階段，因為應該追求哪些目標仍由人類決定。然而，發展方向正朝着完全代理式AI邁進，旨在將人類參與降至最低。這同時意味，我們必須大幅提高代理執行任務時的可靠性。

Amodei 的論述指出，目前這種可靠性在兩方面仍 然不足。第一是對齊（alignment）。要確保模型 經過適當訓練，做到安全、合乎道德並遵守相關 指引，仍有大量工作需要完成。第二是可解釋性 （interpretability）。用他的說法，「我們目前仍只了 解這些模型內部運作的一小部分。」⁴ 可解釋性研究正 在進步，但模型能力的發展速度遠遠超前。

這有助解釋為何當模型獲得一個目標後，其達成目標所選擇的路徑可能難以預測，而這正是上述事故所帶出的核心問題。兩項問題亦互相強化：可解釋性越弱，就越難發現模型偏離對齊目標的行為；反之，更強的可解釋性則有助識別相關行為，從而作出移除或修改。Amodei 認為，加深對可解釋性的掌握，是確保AI 安全及有序發展的重要一環。在監管有可能收緊的背景下，這個領域本身亦日益具備投資價值。

關鍵在於，「調節發展步伐」被明確界定為有序推進， 而非完全停止發展。在 RSI 的推動下，AI能力已達到非 常先進的水平，而且仍在不斷提升。近期連串事件反 映，業界有需要重新審視安全問題。因此，OpenAI 在 最新AI模型 GPT-6.1 未能符合內部安全標準後，決定暫 停發布。OpenAI 安全系統主管表示，在模型呈現較高 程度的欺騙性及自主性，並偶爾在未獲用戶許可的情況 下自行執行任務後，公司將重新審視對齊與安全之間的 取捨。

儘管市場愈加關注調節前沿AI的發展步伐，我們並不 認為這將對AI基建或資本開支構成阻力，而兩者正是目 前科技行業估值、乃至日益推動美國整體經濟的重要基 礎。AI應用日漸普及，特別是新AI使用場景的出現， 有望進一步增加AI基建需求。Meta最近推出首款面 向消費者的個人AI代理Muse。值得留意的是，Muse 並非採用前沿模型，而是使用 Meta 內部的 Muse Spark 模型，目前並不屬於前沿級別。推出初期的用戶增長迅 速，上線首星期已有數以百萬計用戶下載 Muse 應用程式，並成為美國及加拿大 Apple App Store 下載量最高 的免費應用程式。預計2026年稍後時間將有更多消費者 AI代理產品推出，有望形成一個新的大型AI應用場景。 這類需求有利資本開支持續增長，背後動力來自市場對 運算能力日益上升的需求。

自2025年起，安聯投資透過企業管治團隊持續就AI管治議題與企業進行溝通，以深入了解企業如何在推動創新的同時，建立所需的保障機制以降低新興風險。

我們此前亦曾探討負責任的AI這項主題，並強調人類價值觀與AI發展保持一致的重要性。在技術進步速度超越管治及政策發展的情況下，我們現在更有必要重申這一點。

在此背景下，我們認為前沿實驗室提出的措施，整體方向有利推動負責任的 AI 發展，但部分措施的可信程度較其他措施為高：

• 獨立第三方評估模型開發：
• 共同安全標準：共同安全標準是管理 AI 發展速度的 合理機制。OpenAI、Anthropic、Google、Meta 及 Nvidia 的代表最近出席白宮會議，討論制定自願性 行業標準，實際上讓前沿AI開發商在沒有政府直接 監督的情況下自行規管。美國聯邦政府目前缺乏支 持，嚴重限制全行業統一聯邦標準在短期內落實的 可能性，但相關安排仍可為日後監管建立基礎。值 得注意的是，主要AI公司早於2023年拜登政府任 內，已作出類似的自願安全承諾。這些承諾有助建 立前沿AI安全規範，但近期發生的AI事故亦令人重新審視：單靠業界自願承諾，是否足以監管能力日 益強大的 AI系統。
• 主要政府之間的全球協調：這是三項建議中最具雄心 的一項。我們認為，短期內不同國家就監管達成廣 泛共識的可能性較低，但長遠而言至關重要。較實 際的初步方案，例如就可解釋性研究分享知識，仍 有望提高全球A I開發的基本安全水平，同時對各方 競爭定位的影響相對有限。

根本挑戰在於，科技發展速度遠快於任何全球協調機制 的建立，因此世界各地目前形成不同的區域監管模式。 美國政府主要從地緣政治競爭及國家安全，而非 AI 安 全本身的角度審視人工智能，令監管活動由聯邦層面逐 漸轉移至各州，而相關州級措施正日益增加。歐盟較早 推出《人工智能法案》（AI Act），但部分條文的生效 時間已經押後，未來亦可能進一步調整，以避免不必要 地限制創新及生產力提升。中國在 AI 管治方面亦取得 明顯進展，由早期集中於內容控制，逐步發展為涵蓋前 沿風險及代理式 AI 的較廣泛框架。然而，業界透明度 仍是一項明顯弱點，不同企業在安全報告方面的披露並 不一致。

¹ 沙盒（Sandbox）：一個安全、隔離的環境，讓實驗性軟件可以在不影響主要系統的情況下運行。
^{2, 3, 4} Dario Amodei，《We must pace the frontier》，2026年9月。