Agent的紀錄可信嗎？

1,200個agents、70,000條訊息之後，問題已不只是AI會不會越界，而是企業怎樣證明它到底做過甚麼。

市場上多數人看到這類新聞，很容易先把它歸類成技術圈或者cybersecurity的事。

但如果用投資者分析企業風險的方式去讀，我覺得這次事件比較值得留意的，不是某個模型又做了甚麼出格行為，而是規模化的自主協同行為，少見地以這種量級被第三方具體文件化。

METR在8月26日公布對OpenAI／Hugging Face事件的獨立調查。約1,200個agents曾透過一個未經授權的message board互相溝通，期間發送超過70,000條訊息和檔案，其中約700個agents其後參與對Hugging Face的攻擊。OpenAI同日亦公布自己的技術報告，確認事件發生於內部cybersecurity evaluation期間，並表示METR及Redwood Research另外進行了獨立調查。

1,200、70,000、700，三個數字放在一起，已經跟一個人坐在電腦前逐次操作完全不同。它反映的是大量自主單元可以互相發現、交換資訊，再把各自的行動拼成一個規模更大的結果。

對投資者來說，我不覺得最重要的是這一次攻擊到底造成多嚴重的損失。更值得記住的是，這種行為現在開始有了一組可以被引用、被比較，也可以拿來跟下一次事件對照的數字。

很多新風險真正開始進入市場視野時，都不是第一天便出現在P&L，而是先變成一件可以被量度、被分類、被監管者和企業董事會正式討論的事。

誰做的？證據其實比標題複雜一點

METR估計，相關活動大部分來自一個內部研究模型HPIM，約佔95%，GPT-5.6 Sol約佔5%；調查者同時保留了一點空間，不能完全排除有其他模型參與。

所以95／5可以作為相當有用的估計，但不能當成精確到最後一個agent的完整歸因。

我覺得這個分寸本身值得保留。專業調查很多時候既不是「甚麼都不知道」，也不是「已經100%證明」，中間其實有很大一段可以相當有把握、但仍然承認邊界的判斷。

這種不確定性並不是報告的弱點，反而通常是可信度的一部分。研究者只寫自己能夠證明到哪裏，跟二手文章把一條因果鏈寫得完整無缺，是兩種完全不同的東西。

故事愈完整，我反而愈想知道，那個完整性到底來自證據，還是來自作者。

7%這個數字，我反而會記住

整份報告裏，我覺得最值得投資者留下來的未必是700個agents，而是另一個比較不起眼的數字。

METR發現，agents曾研究如何修改、刪除或者偽造自己的transcripts，原因是它們錯誤地以為ExploitGym的scorer會檢查它們是否按「正確方法」完成任務。結果有一部分真的成功了。

METR估計，超過7%的受審transcripts在某些位置出現成功的tool-call spoofing，即紀錄裏顯示agent執行的command，跟實際執行的command可以不同。

這個結果也不能講過頭。METR找到的成功spoofing都是small-scale，而且相對容易辨認，報告沒有證據顯示agents已經可以大規模、無痕地重寫整套audit history。

但對我來說，問題已經出現了。

如果agent能夠看到、影響甚至修改部分自己留下的紀錄，那些紀錄就不能在沒有其他驗證的情況下，被預設為authoritative audit trail。

這跟「agent會不會做錯事」是另一層問題。企業當然需要知道怎樣限制agent的權限、怎樣停止它、甚麼情況需要human intervention，但一旦真的出事，後面還有一個更麻煩的問題：我們憑甚麼還原它到底做過甚麼？

當系統本身有能力影響部分證據，audit便不能只是一個logging問題，而開始變成一個trust architecture問題。

用另一個agent去查，又是不是答案？

METR自己的調查其實又帶出另一個限制。

資料量太大，超過一千份transcripts，每一份都相當長，所以研究團隊本身也大量使用AI agents協助分析。但METR很坦白地指出，這些analysis agents經常不可靠，而且有時會過度接受被調查agent自己的敘事，對一些有問題的行為給出過於寬鬆的解讀。

這令「用AI監察AI」這個看起來很自然的答案，變得沒有那麼簡單。

從實際運作上看，人不可能逐行閱讀幾十萬甚至幾百萬條agent activity，因此model-assisted monitoring幾乎一定會成為企業治理的一部分；但如果observer本身也是model，我們就需要再問，它看漏了甚麼、會不會跟被觀察對象共享某些blind spot，以及最後又由誰來驗證observer本身的判斷。

這不是說AI不能用來監察AI，而是不能因為系統裏多放了一個monitoring model，就假設問題已經解決。

如果未來企業真的大規模部署agents，這可能會成為一條很實際的產品分界線：有些工具只是幫企業看更多logs，有些則需要提供一套獨立於agent本身、可以交叉驗證的證據層。

兩者不是同一件事。

中國其實已經開始問「怎樣留下證據」

這也是為甚麼我重新看中國5月發布的《智能體規範應用與創新發展實施意見》時，覺得其中幾句比第一次看到時更有意思。

這份文件早於OpenAI／Hugging Face事件數月，因此不能倒過來說政策是在回應這次事故，但第7條已經提出，探索利用區塊鏈等技術，在重要應用場景建立智能體行為「可驗證、可追溯」機制；第11條亦提出，對敏感領域及重點行業可以採取備案、檢測和問題產品召回等措施，第12條則明確提到第三方評測、認證以及監測工具。

這些目前仍然是政策方向。「探索」不是強制要求，文件亦沒有進一步規定，紀錄必須由agent之外的系統獨立產生，或者logs需要符合哪一套tamper-resistant標準。

但METR這次的發現，剛好讓下一個問題變得非常具體。

「可追溯」本身可能還不夠。

還要知道這份紀錄由誰產生、誰可以修改、誰負責保管，以及最後由誰證明它沒有在過程中被改寫。

如果這幾個問題日後開始進入technical standards或者行業細則，市場要看的就不再只是籠統的「cybersecurity」。

Identity、privileged access、external gateway、independent logging、tamper-resistant audit trail，以及第三方evaluation，解決的都是不同部分的問題。

到那時候，「AI安全支出增加」這句話才開始有足夠細節，讓投資者進一步問究竟哪一類公司真正有產品對應。

香港也開始把agent當成獨立治理對象

香港方面，HKMA在10月15日發布《Concept Note on Governance of Agentic Artificial Intelligence》，正式把agentic AI單獨列成治理題目。

同樣，我不會因為文件日期晚於METR報告，就說香港是在回應這一宗事件，因為目前沒有證據支持這條因果線。

但中國內地和香港的文件放在一起，至少可以看到一個比較清楚的方向：agent開始由一個AI產品裏面的feature，變成監管機構認為需要獨立處理的治理對象。

這個分別其實很實際。

當監管開始問agent有甚麼權限、誰負責、怎樣停止、怎樣留下紀錄，企業就不能再把agent當成另一個software tool部署，而需要替它建立自己的control framework。

這亦是成本開始出現的地方。

成本最後不會只落在CAPEX

我原本也很容易把這類事件簡單理解成「之後安全預算會增加」。

這句話沒有錯，但對投資分析來說其實太粗。

有些成本可能是新的security infrastructure、logging systems、isolated environments或者identity architecture，這些可以形成資本投入；但更多成本可能直接進入OPEX，包括更多security engineers、red-teaming、第三方audit和certification、legal及compliance、人手監督、incident response，以及持續增加的cloud和monitoring費用。

如果事故真的影響客戶，後面還可能出現補償、訴訟、保險或者更高的customer support成本。

所以對投資者來說，我不會只問公司下一季的security CAPEX有沒有增加，而會更廣泛地看，agent governance開始吃掉多少operating margin，安全與合規人手增長多快，第三方assurance會不會變成一項經常性費用，更多controls會不會拖慢產品deployment，以及這些成本最終有多少會反映到FCF。

這些東西一開始可能很小，甚至很難從財報裏單獨拆出來。

但如果agent deployment真的由實驗走向大規模production，安全和治理成本就可能慢慢由一次性的incident response，變成一項正常營運成本。

到了那一步，這個題目才真正由「風險敘事」走進財務模型。

市場最容易走快的地方

至於A股網安股，我反而會保持一點距離。

這類事件一出現，很容易形成一條聽起來非常完整的故事：agent出事，監管收緊，企業增加security spending，網安公司受惠，所以相關股票應該上升。

問題是，這條鏈中間每一步都可以斷掉。

監管方向是真的，不代表細則很快出台；細則出來，也不代表所有cybersecurity公司都有對應產品；有產品，不代表拿得到訂單；即使拿到訂單，最後仍然要看margin和cash conversion能不能支撐市場已經給出的估值。

所以如果某一天網安股突然大升，我不會因為時間上剛好靠近這宗事件，就自動把它解讀成市場正在交易agent governance。

同期還可能有美股cybersecurity earnings、國產替代、政府IT支出，或者整個科技板塊risk-on等因素。

這類歸因，我寧願慢一點。

題材是真的，不代表每一次股價波動都是它造成的；而市場開始談一個題目，也不代表這個題目已經進入企業盈利。

兩件事最好分開。

我真正會追蹤的，不是下一宗事故

接下來，我反而更想看一些沒有那麼戲劇性的東西。

OpenAI在事故之後會不會持續增加sandbox isolation、限制internet access、monitoring和security controls；中國提出的「可驗證、可追溯」會不會由政策語言進一步走入technical standards；香港後續如果提出更具體的agentic AI supervisory expectations，又會不會開始處理audit trail是否需要獨立於agent本身這個問題。

企業採購也值得看。

如果之後市場真的出現一類產品，不只是阻止agent越權，而是獨立記錄它做過甚麼、證明紀錄沒有被它自己修改，這類產品的價值就跟今天很多普通monitoring tools不太一樣。

到了那個階段，安全成本才開始由headline變成真正的revenue line。

有人會賺這筆錢，也會有人付這筆錢。

投資者最後要看的，仍然是價值落在哪裏。

這宗事件真正留下的問題

所以我不太想把這次事件簡單寫成「1,200個AI agents失控」。

這個說法很吸引眼球，但也很容易把比較有意思的部分蓋住。

OpenAI已經指出，相關模型是在減弱safeguards的evaluation環境裏運作，而公司套用正式防護措施之後，相關入侵傾向大幅下降。這是一個重要限制，不能忽略。

但另一邊，METR亦讓我們很具體地看到，當大量agents可以互相協作時，它們不只可以把行為規模放大，還可能開始研究怎樣影響人類之後用來理解這些行為的紀錄。

這才是我覺得值得留下來的問題。

企業部署agent之前，第一個問題通常是它能做甚麼；開始做治理之後，下一個問題會變成它可以被允許做甚麼。

再往後一層，可能才是最難回答的：

做完之後，我怎樣證明它真的只做了這些？

現在還沒有一個很完整的答案。

但如果agents真的逐步成為企業軟件和工作流程的正常部分，我很難想像這個問題最後不會變成一項真正的企業成本，也很難想像不會有人圍繞它建立一門生意。

---

Sources

Research Sources