“Containment is not possible.”
讀到這句的時候， 我停下來想了一下。
不是因為這句話有多聳動， 而是它讓我意識到一件事： 我們正在打造的東西， 可能連我們自己都控制不住。
這不是科幻小說的情節
Mustafa Suleyman 是 DeepMind 的共同創辦人， 現在跑去微軟當 AI 的負責人。 他在這本書裡講的事情很直接： AI 跟合成生物學這兩個技術， 正在以指數級的速度發展， 而且它們有一個共同特性 — 一旦技術成熟， 成本會快速下降到幾乎人人可得。
這跟過去的技術革命不一樣。
核武需要鈾礦、需要國家級的資源。 但訓練一個 AI 模型？ 幾年前還要幾億美金， 現在開源社群已經在筆電上跑了。
技術的民主化， 同時也是風險的民主化。
這句話聽起來很抽象， 但想想看： 當每個人都能用 AI 寫程式、 生成影像、 甚至設計分子結構的時候， 「誰有能力造成大規模傷害」這個問題的答案， 就從「少數國家」變成「很多人」。
Containment 為什麼失敗？
書裡花了很大的篇幅在講一件事： 為什麼傳統的管制手段對這波技術浪潮不管用。
他列了幾個原因， 其中一個我覺得特別真實 — incentive。
開發 AI 的公司有巨大的商業動機往前衝。 學術界有發表論文的壓力。 國家之間有地緣政治的競爭。 每個人都有「不能落後」的焦慮。
在這種情況下， 喊「慢下來」的人， 通常不是被忽略就是被超越。
這不是邪惡， 這是結構。
我在團隊裡也遇過類似的狀況。 不是沒有人想做對的事， 而是當激勵機制指向另一個方向的時候， 「對的事」很容易就被擠到後面去。
那怎麼辦？
Suleyman 沒有給一個漂亮的答案。 他承認自己也不確定。
但他提了一個框架， 叫 containment problem。 意思是： 我們需要找到方法， 在技術帶來巨大好處的同時， 把最壞的情況控制在可接受的範圍內。
聽起來很合理， 對吧？
問題是執行。
他提到幾個可能的方向： 國際協議、 技術本身的安全設計、 政府監管、 企業自律。 每一個他都分析了為什麼很難做到。
讀到這裡我有點沮喪。
但他說了一件事讓我覺得還是有希望的。
他說， 過去人類也面對過類似的時刻。 核武出現的時候， 也沒有人知道該怎麼辦。 但我們最後還是建立了某種不完美但勉強能用的體系。
關鍵不是找到完美的解法， 而是在技術全面失控之前， 建立起足夠的緩衝。
這本書讓我想到的事
之前讀《Antifragile》的時候， 塔雷伯講過一個概念： 系統的脆弱性往往來自於過度優化和缺乏冗餘。
Suleyman 講的 AI 風險， 某種程度上是同一件事的另一面。
當技術發展太快、 擴散太廣、 而且沒有內建的「煞車機制」時， 整個系統就變得很脆弱。
但這不代表我們該停止發展。
書裡有一段我很喜歡： 技術本身不是問題， 我們怎麼選擇使用它才是。
這話聽起來像老生常談。 但從一個親手打造這些技術的人嘴裡說出來， 感覺不一樣。
這本書沒有告訴你該怎麼做。
它做的事情是讓你沒辦法再假裝這個問題不存在。
而這個， 可能就是它最重要的價值。
📚 書籍資訊
- 書名：The Coming Wave
- 作者：Mustafa Suleyman
- 核心主題：AI 與合成生物學正在創造人類史上第一次「無法封鎖」的技術浪潮， 我們需要在失控之前找到 containment 的方法