歡迎星標 果殼硬科技

“在任何一項足夠先進的技術和魔法之間，我們無法做出區分”，這是英國科幻作家亞瑟·克拉克三定律之一。相信過去的一年多，令人目不暇接的生成式 AI，就讓大家體驗到了什么是魔法般的科技?，F在應該沒人會質疑，最先進的語言模型可以完全通過圖靈測試；我們靠感官已經很難分辨 AI 生成的圖像和音樂了，AI 技術幾周的變化，就超過了過去幾年的發展。

Jensen Huang 在臺北 Computex 2024 上這樣的比喻：“在十九世紀 90 年代末期，Nikola Tesla 發明了交流發電機，而 Nvidia 現在發明了 AI 發電機。交流發電機生成電子；AI 發電機生成的是Token，這兩樣東西都有巨大的市場機會，Token 幾乎可以應用于每個行業，這就是為什么這是一場新的工業革命”。

Jensen 關于“新工業革命”的演講片段

在上一篇《》之后，時隔一年半，我希望用這篇《智變時代》來溫故下 AI 領域波瀾壯闊的一年，嘗試抓住生成式 AI 變革的本質，帶大家撥開喧囂與迷霧，追尋科技巨頭與 AI 機構們在更高智能道路上的探索，以及變革會如何全面改變人機交互、世界的產業、經濟還有我們自己。

全文 36000 字，共分五個章節：

1. 模型 - 競爭、泛化與變革的本質

2. 應用 - 智能代理、智能體與組織新形態

3. 智變 - 廉價誘導需求、從中心到邊緣算力、新工業革命

4. 演化 - 模型如何理解和進化、自主目標與自動化的 AGI

5. 選擇 - 職業變遷、自我提升與科技恒大

預計閱讀時間九十分鐘以上，請先點贊、收藏、轉發，找個不受打擾的時間再閱讀。無論你是科技從業者、AI 愛好者還是行業專家，都一定會收獲滿滿

01 模型 - AI 的群雄逐鹿

“我認為生成式 AI 革命在規模上可以與工業革命或電的發明相提并論?！?- 神經網絡之父 Geoffrey Hinton 去年離職 Google 后在接受 CBS 采訪時提到。

2022 年十一月底 OpenAI 的 ChatGPT 橫空出世，原本被通脹和加息折磨得萎靡不振的美股，突然被新一輪的生成式 AI 革命給原地托起。除了 Nvidia 賣 GPU 帶來了真實收入暴增之外，大多數的熱情并非來自于收入增長，而是由于大家急于構建更大的 AI 模型，熱情來自于對未來業務的夢想。大多數公司心目中明確的目標就是趕上 OpenAI，甚至超越它，尤其是美股的科技七巨頭（Magnificent Seven）。

1.1 逐鹿 OpenAI

2023 年美國的科技巨頭可以用兩種狀態來形容：All in AI 與趕超 OpenAI！經過這一年多的努力，如今許多公司在 LMSYS Chatbot 競技場 ELO 排名上已經接近 OpenAI 最新的 GPT-4o，其中 Anthropic 今年三月推出的 Claude 3 Opus 一度超過了當時的 GPT-4；在某些方面，如上下文長度和視頻模態，Google 的 Gemini Pro 已經走在了前面。

那么問題來了，OpenAI 先發優勢能夠保持多久？Sam Altman 用他獨特的駕馭能力，先是吸引微軟為 OpenAI 直接投入超過 100 億美元的算力支持；現在又通過與 Apple 的合作，將 ChatGPT 整合到了 Apple 生態，從邊緣設備入口直接獲取用戶，畢竟 ChatGPT 的活躍用戶已經連續幾個月都沒有增長，而最大對手 Google Gemini 的用戶卻在節節攀升。

第一方面是算力。按照依舊可行的規模理論（Scaling Law），足夠多的算力和足夠好的數據，就會有足夠強大的模型！因此，只要算力足夠，Google 與 Meta 就能匹敵 OpenAI。據傳 Gemini 2 Ultra 將在各方面超越 GPT-4 Turbo。此外，Meta 預計在今年夏天發布的 Llama 3 405B 也將達到與 GPT-4 匹敵的水平，還是開源的。這意味著只要擁有足夠的 H100 服務器，就能達到 GPT-4 級別的智能。

在微軟這邊，雖然巨額投資了 OpenAI，但 GPT-4 再強大也畢竟不是自己的。從 Semi Analysis 的內部消息了解到，微軟也并沒有將投資的大部分算力直接給到 OpenAI 使用；就在不久前，微軟完成了對 Inflection AI 的收購，把 Deepmind 的前聯合創始人穆斯塔法·蘇萊曼 (Mustafa Suleyman) 納入麾下，準備利用他們專業的預訓練團隊和數據集，再加上自己的合成數據，從頭訓練一個和 GPT-4 相當的大約五千億參數規模的 MOE 模型 MAI-1。

配圖1.01：Mega 7 與 OpenAI 的競爭格局圖

另一方面是數據。因為起步早，OpenAI 在收集使用數據方面一直處于領先地位。但現在情況已經發生了改變，公開的用于訓練的文本數據幾乎耗盡，所以大家都不約而同地采用合成數據。但文本之外的圖像和視頻，需要更直接地接觸消費者，才能拿到新數據。Google 與 Meta 各自的產品線都覆蓋了超過三十億的用戶，這是最大的優勢。所以，每次有人問 OpenAI 有沒有拿 Youtube 的數據來訓練，他們都避而不談。

模型的競賽，就是資本和用戶的競賽。OpenAI 打響了第一槍，山姆·奧特曼四處游說，搞募資的同時，還得想方設法擴大 ChatGPT 的用戶規?！，F在 Meta 和 Google 全力以赴，他們從算力到模型再到用戶，配置齊備，關鍵是資本充足；微軟雖然投資最多，但和 OpenAI 糾結的關系，讓自己不得不背地里另起爐灶；Amazon 也有同樣的問題，沒法控制自己投資的 AI 聯盟 Anthropic，他們就像是在參加一場獨臂搏斗。

目前，只有迷一樣的 Apple 在競賽中不動聲色，作為終端之王，控制了最有價值的入口。讓模型變小能在設備上直接運行，讓 iOS 變成 aiOS，應該是 Apple 最大的需求，后面更復雜的智能可以慢慢來，畢竟用戶跑不掉。

這一回合中，Nvidia 才是最大的贏家，因為競爭越激烈，對 GPU 的需求也就越強烈。對科技巨頭來說，他們必須不斷加大投入才能跟得上 OpenAI 領跑的步伐，或者維持他們在其壟斷領域的市場份額，例如 Google 的搜索。這將使其對數據中心的支出持續不斷。因此，他們的利潤空間將會被壓縮，而 Nvidia 則會從中獲利。

OpenAI 在 2022 年就完成了 GPT-4 的訓練。從那時起，他們完全專注于下一代模型，嘗試新的架構、數據以及更大的規模，而后來者幾乎花了一年多的時間，才勉強追平 GPT-4。解鈴還須系鈴人，OpenAI 能否繼續領跑這場大模型的競賽，在第二回合中也能勝出，就要看今年年底新版 GPT 的真實表現了！

配圖1.02：GPT Timeline（SITUATIONAL AWARENESS）

“We can say right now, with a high degree of scientific certainty, GPT-5 is going to be a lot smarter than GPT-4” - 我可以很有把握地說，GPT-5 會比 GPT-4 聰明得多

- Sam Altman

1.2 變革的本質

OpenAI 的一鳴驚人并非憑空而來，GPT-3.5 是多年來其大語言模型 GPT 系列中最完善的一次迭代，并通過 ChatGPT 這樣一款易用的產品，成功的把大語言模型推向了大眾，短短兩個月就實現了一個億用戶的增長，打破了之前 Tiktok 所保持的記錄。我在《機器之心的進化》中詳細介紹過這輪生成式 AI 變革的來龍去脈，那時 ChatGPT 還沒發布。現在，經歷了這一年多的模型爭霸賽之后，我們可以從大語言模型（LLM）發展的視角，重溫這輪 AI 革命，來理解其背后的本質。

架構與算力

由于文本是由長短不一的字母和單詞序列組成的，因此語言模型需要一種能夠理解這類數據的神經網絡。20 世紀 80 年代發明的遞歸神經網絡（RNN）可以處理單詞序列，但其訓練速度較慢，而且會遺忘序列中的前一個單詞。

1997 年計算機科學家 Sepp Hochreiter 與 Jürgen Schmidhuber 發明了長短期記憶（LSTM）網絡，解決了這一問題。LSTM 也是一種遞歸神經網絡，具有特殊的組件，可以將輸入序列中過去的數據保留更長時間，LSTM 可以處理幾百個單詞長度的文本串，但其語言能力有限。

配圖1.03：語言模型發展史 - 從 Nvidia 在 2016 推出第一臺 DGX 到現在算力提升了 1000 倍

大語言模型背后的突破，來自于 Google 的研究團隊在 2017 年發明了轉換器架構（ Transformer），這種神經網絡可以跟蹤每個單詞或短語在序列中出現的位置。2018 年，OpenAI 果斷地將轉換器模型與無監督學習相結合，推出了 GPT，這是一種在未標注的數據上預訓練模型的方法，讓程序可以自己找出數據中的模式。在此之前的機器學習大多依賴于監督學習和標注數據，但手動標記是一項非常緩慢的工作，因此限制了可用于訓練的數據集的大小。

Ilya Sutskever 領導的 OpenAI 研究團隊很執著的確信，用 Transformer 可以并行計算的架構和無監督學習的方式，只要增加算力和數據規模就能訓練出更好的模型，從而通向通用人工智能（AGI）。經過兩年多的迭代，在 2020 年初用 API 的方式推出了 GPT-3，然后于 2022 年底通過人類反饋的強化學習的技術（RLHF）優化出了 InstructGPT，也就是 GPT-3.5，很好地減少了 GPT-3 產生的錯誤信息和冒犯性文本的數量。

配圖1.04：Alignment 步驟解釋

InstructGPT 更善于遵循人類的指示，在 AI 術語中被稱為對齊（Alignment），可以讓模型的輸出更加安全，錯誤、幻覺和攻擊性語言更少。簡而言之，InstructGPT 不是一個混蛋，除非它被要求成為一個混蛋。在所有這些成果之上，OpenAI 在山姆·奧特曼的推動下，頂著巨大的壓力對公眾開放了 ChatGPT。至此，一個新的智能時代就被開啟了！

人才網絡

雖然 Transformer 架構最早誕生于 Google 的研究，但在龐大的組織內部，并沒有得到特別多的重視?！耙苍S Google AI Research 太像一個學術研究機構了，大家更重視想法的涌現和發表論文，但在堅定的采用一種技術方案，將其工程化和產品化上卻被忽視了” OpenAI 的總裁格雷格·布羅克曼（Greg Brockman）在最近一次播客采訪中這樣描述，這也是伊爾亞的團隊能夠孤注一擲取得成果的主要原因。

配圖1.05：硅谷 AI 人才流動圖（Source: Coatue AI Report 2023）

Google 不僅是這次智能革命的架構發明人，也是 AI 人才的黃埔軍校。最早《Attention is all you need》論文的撰寫人分別創建了 Adept 和 Cohere，OpenAI 也吸引了最多的 Google 研究員加入；在 GPT-3 之后，負責模型安全的 Dario 兄妹因價值觀不合，自己創立了 Anthropic，這是 OpenAI 組織的第一次硬分叉；就在 2024 年五月，首席科學家 Ilya Sutskever 和超級對齊的負責人 Jan Leike 也宣布離職，這會是 OpenAI 的第二次分叉么？

他們會去向哪兒會做什么都還不清楚，但毫無疑問這也是硅谷人才高密度和高流動性的最大特色，技術永遠不會被一個壟斷的機構限制住，新的想法總能找到適合的土壤發芽，和大自然生態的多樣性一樣。每一次創新的出現，都離不開硅谷的身影。

就在 GPT-4 發布后的一周，Ilya 與 Nvidia CEO 在 GTC 活動上有一個對談 —— “AI Today and Vision of the future”。其中 Ilya 提到，他堅信兩件事情，第一就是模型的架構，只要足夠深，到了一定的深度就會 “Bigness is the Betterness”，簡單說就是大力出奇跡，算力加數據，越大越好，這也是為什么轉換器架構（Transformer）要比他們之前使用的長短時記憶（LSTM）架構要適合擴展；第二就是任何范式都需要一個引擎，這個引擎能夠不斷被改進和產生價值，如果說內燃機是工業革命范式的動力引擎，現在這個引擎就是 Transformer。

毫無疑問，Transformer 是這次生成式 AI 變革的主角，配合算力、生態還有人才自我強化的過程，其架構潛力還有很大的挖掘空間，這也是 Ilya 還有 Anthropic CEO Dario Amodei 在各自采訪中多次強調的看法，領軍企業都用腳投票了，從 LSTM 到 Transformer 出現花了二十多年，我們還有足夠的工程方法讓這一架構的潛力再燃燒五到十年。模型與算力的組合，就像內燃機和石油的組合那樣，成為了通用平臺，你提供能源，我就能輸出動力。

1.3 泛化通吃一切

“最重要的不是它解決的具體問題，而是廣泛意義的通用性在增加”— Sam Altman 在達沃斯論壇的演講

大語言模型真的理解世界么？Hinton 教授在去年 GPT-4 剛發布的時候與吳恩達（Andrew Ng）的一次連線對話中聊到了這個話題，他們的答案是“能理解”，很顯然 Yan LeCun 教授不同意這個觀點，2021 年一篇來自華盛頓大學計算語言學家 Emily Bender 的論文將 LLMs 描述成“隨機的鸚鵡”，暗示它們僅通過組合訓練過的信息來生成文本，并不理解其意義。

但最新研究似乎證明了 Hinton 與吳恩達的觀點，普林斯頓大學的 Sanjeev Arora 和 Google DeepMind 的 Anirudh Goyal 提出了一種理論 - 神經網絡規模法則（Neural Scaling Laws），當模型規模增大時，模型預測文本并生成正確答案的能力就會提高，即測試損失會減少。這種關系不依賴于任何特定的大語言模型、或訓練和測試數據集，而是所有這些系統都遵循的普遍法則。

他們發現，隨著大語言模型規模的增加，在單一技能上的熟練度會提高，并且能夠同時使用多個技能。這表明模型不僅僅能實現訓練數據中領悟到的技能組合，而是能夠執行概括和創造性的任務，特別是微軟針對 GPT-4 這個超大規模語言的測試（Sparks of AGI - Early experiments with GPT-4），進一步證明了他們的結論。

配圖1.06：AI 完成人類智能任務的基準評測對比

Stanford 大學 HAI 小組在 AI Index 2024 報告中展示了一張 AI 完成人類任務的基準測試圖（Our World in Data 網站還有一份互動版）。截至 2023 年，AI 在大部分任務中的表現已經超越了人類的能力，例如 2015 年的圖像分類、2017 年的基礎閱讀理解、2020 年的視覺推理和 2021 年的自然語言推理。當然在 2020 年之后，完成這些任務的都是大語言模型了，目前人類只有在復雜的認知任務，例如在深度閱讀理解、復雜推理和高級數學問題解決上還有那么一點優勢，但估計這個優勢在 2025 年就蕩然無存了。

世界模型

研究人員目前也只能從數學方法證明規模法則的有效性，并不能解釋復雜神經網絡背后的秘密。但伊利亞有一個信念：“如果你能夠高效地壓縮信息，你就已經得到了知識，不然你沒法壓縮信息”。所以他堅信最新的 GPT-4 里面已經有了一個世界模型，雖然它們做的事情是預測下一個單詞，但它已經表達了世界的信息，而且它還能夠持續提高能力！

在 ChatGPT 剛推出不久，Newyorker 刊登過一篇有趣的文章《ChatGPT Is a Blurry JPEG of the Web》很形象但不是那么準確的解釋了大語言模型是對 Web 世界模糊的“圖像壓縮”。這些模型通過分析和學習大量的文本數據，構建起對世界的壓縮表述，涵蓋了人類的思想、情感、狀態以及人與人之間的互動。大語言模型內化的世界模型能夠在推理過程中模擬可能的結果空間，為規劃算法提供探索的機會，并給出它想象的答案。

從語言到多模態模型

人類可以邊看、邊交談，還能同時聽著背景音樂和察覺危險。雖然大語言模型僅靠語言就能理解世界，但大千世界的多樣性，只靠語言來描述和理解是遠遠不夠的，因此智能不僅限于單一模態。根據伊利亞之前的觀點，多模態理解雖然不是絕對必要，但確實非常有用。比如，你能親眼看到什么是“紅色”，比你用語言去描述什么是“紅色”要直觀的多，這就是對同一概念的多維度理解。擁有這種能力的模型可以更全面地學習世界，理解人類的行為和需求，提高任務解決能力，并克服單一模態的局限性，是讓 AI 能在現實世界中運行極為重要一環。

配圖1.07：多模態解釋

2023 年九月 GPT-4v 的發布把大語言模型的競賽帶入了多模態模型（LMM - Large Multimodal Models）的時代，ChatGPT 可以看圖說話，還能通過內置的 Dall-E 3 直接畫圖；幾個月后 Google 的 Gemini 正式推出，直接就支持了文本、視頻和聲音多種模態。雖然 Gemini 模型一開始就是按照 LMM 方式設計訓練的，但每次都能被 OpenAI 的產品發布捷足先登。

今年年五月，OpenAI 完成了 GPT-4 的實時聽說和視頻模態輸入的拼圖，再一次搶在 Google 之前的發布了 GPT-4o，一款全能模態模型 OmniModel。這次 OpenAI 向智能體方向的研發邁進了一大步，讓 GPT 模型有能力進入現實世界了。

這種隨著模型規模以及模態類型的提升，衍生出新的能力的特性，就是大家常說的泛化，也是 Sam Altman 提到的廣泛的通用性增強。OpenAI 每一次升級模型，就會讓很多專用的 AI 模型和一批小的創業公司所做的事情毫無意義，從最早的翻譯和寫作工具的替代，到最新 GPT-4o 多模態實現的語音智能助理。

很明顯，訓練模型的下一階段競爭，除了合成文本數據之外，就是對話語音、音頻、視頻、動作控制與反饋等各種模態數據的競爭了，要讓語言模型先進化成智能體，才有機會 AGI。。

這是一個殘酷的時代，我們開篇就看到了過去十來年科技巨頭之間從未有過的激烈競賽，囤積算力、籠絡人才，還要小心翼翼的看護好自己的護城河，大家都期望能鍛造出最好的 AI 模型，獲得進入 AGI 時代的門票；另一方面，做為智能生態下的創業公司，也正經歷和移動互聯網時代完全不同的環境，模型不是手機操作系統，它的進化速度是非線性和泛化的，你做很多事情就不能用通用性做為出發點，必須有獨特的場景，你得繞著大模型的火力覆蓋范圍前進。

最后，做為一個普通用戶，現在的 AI 是在幫你提高效率，但最終它們會在很多工作場景來替代你。那么，應該如何理解和應對這個智變時代呢？保持耐心，下文更精彩

02 應用 - 人機協作新時代

“人們總是高估一項科技所帶來的短期效益，卻又低估它的長期影響?！?- 阿瑪拉定律（AMARA’S LAW）由美國科學家，未來研究所的院長 Roy Amara 提出。

把時鐘回撥到 2022 年，生成式 AI 正式進入大眾視野還得是文生圖的功勞，OpenAI 的 Dall-E 和 Midjourney 的奇幻效果，還有 Stable Diffusion 開源圖像生成模型的各種魔改，記得當時我也是用 SD 模型來練手學習如何進行圖像生成訓練的 - 手動感知 GenAI 革命

但真正定義智能時代開啟的還得是 ChatGPT 的發布，它讓我們再一次看到了自從互聯網誕生以來，多年未見過的創新密度和創業的熱情；一時間能看到的科技新聞幾乎全是 AI 新聞，大家在社交媒體上像追星一樣追蹤 AI 研究人員還有發布在 arXiv 上各種稀奇古怪的論文。但時至今日，唯一的殺手級應用依然是 ChatGPT 。

2.1 AI 應用爆發了么？

Sequoia Capital 在 2023 年九月發表了一年前那篇引領市場的《Generative AI: A Creative New World》的續篇 《Generative AI’s Act Two》，里面這樣寫到：生成式 AI 的第一年，我們發現了一種新的“錘子” - 基礎模型，并推出了一波新奇的應用，但這些程序大多是些酷炫新技術的輕量級演示，這些產品遠遠沒有達到預期，糟糕的用戶留存率就證明了這一點。

當最終用戶過了新鮮體驗期，對許多應用的需求開始趨于穩定，真實數據就原形畢露了。

配圖2.01：AI 應用與社交應用使用率的對比

對比流行的社交應用，哪怕是最頂流的 ChatGPT，56% 的首月用戶留存度，也不及社交應用的中位數 63%；一些最好的消費級應用擁有 60 到 65% 的 DAU / MAU 比，例如 WhatsApp 的比率高達 85%。相比之下，生成式 AI 應用的中位數只有 14%，AI 陪伴類別除外，這意味著用戶還沒有在這些 AI 原生的產品中找每天使用它們的理由?？催^一個數據，在 Google Gemini 中使用最多的場景就是生成每日菜譜，這個和用搜索引擎的需求基本一樣，也許這么短的時間內，大眾還沒充分發現使用 ChatGPT 這種對話式 AI 的原生場景。

盡管這個市場充滿了噪音，還有理想與現實的不平衡，生成式 AI 已經比 SaaS 有了好得多的開局，OpenAI 在 2023 年就實現了二十億美元的年化收入，對比上一年增長了 900%，SaaS 花了數年而不是幾個月的時間才達到同樣的規模。

我在《機器之心的進化》中做過些預測，擁有獨特流程和優秀體驗的生成式 AI 應用將勝出。在圖像生成領域，Midjourney 一直以他獨特的流程和品質保持領先，年收入過億美金，是少數初創公司不靠融資就能實現增長和盈利的；另外 2023 年的另一個黑馬就是 AI 搜索 Perplexity，他們用合理的產品交互解決了問答式 AI 搜索的難題，去年底的月度活躍就達到了 1000 萬，感覺自己使用 Perplexity 的頻次就比 ChatGPT 要高。

正如 Sequoia 在文章中提到的，市場正在進入“第二幕” - 核心競爭力將來自“客戶”。用一個最近流行的說法，應用將“端到端”地解決客戶的真實問題。這些應用在本質上與上一批有很大的不同，他們把基礎模型作為其解決方案的一部分，而不是解決方案的全部；簡單來說，你再做一個模型的包裝調用，是沒有意義的。

那么，那些擁有龐大客戶群的上一代的軟件或服務公司，他們會有巨大的優勢，把基礎模型整合到自己的業務流程中，提供新界面，使工作流程更具粘性，輸出效果更好，例如 Adobe，這個創意領域的巨頭在 2023 年絲毫不比創業公司的執行效率低，從 Firefly 的模型到產品線的升級，讓人眼花繚亂，當然這也是他們的生存之戰。

配圖2.02：The Generative AI Market Map

其實，這種把模型融入其解決方案，從端到端解決客戶需求的創新公司涌現出了很多，附上 Sequoia 的這張“The Generative AI Market Map”，就不逐一列舉了。這里的核心是，我們如何看待和使用基礎模型，而不是簡單的封裝它們，這些模型就是智能時代操作系統，需要在上面構建原生的應用程序。

2.2 智能 OS 與代理

大語言模型不是數據庫，而是推理引擎！去年十月，Andrej Karpathy 在 X 上提出這個概念的時候，他還就職于 OpenAI，不過他已經在今年二月再次從 OpenAI 離職，第一次是被 Elon Musk 挖去 Tesla 研究純視覺自動駕駛 FSD，那篇定義神經網絡編程新時代的文章《Software 2.0》也出自于 Andrej，我上一篇《機器之心的進化》的副標題靈感就來自這篇。

LLM OS

Bear with me I'm still cooking (X Link)

配圖2.03：LLM OS by Andrej Karpathy

SPECS:

- LLM: OpenAI GPT-4 Turbo 256 core (batch size) processor @ 20Hz (tok/s)

- RAM: 128K tok

- Filesystem: Ada002

Andrej 意思是：我們可以像使用操作系統一樣來使用大語言模型，現在應該叫多模態模型更合適。這個系統的核心就是 LMM，它就像 CPU 一樣處理進入的數據，計算后給出結果，不同的地方電腦 CPU 接受十六進制匯編指令，LMM 接受自然語言，也就是我們常說的提示詞。

LMM 中央處理器的速度就是每秒輸出 Tokens 的數量，現在 GPT-4o 已經比當時的 Turbo 快了 2.5 倍，大約 50Hz tok/s，不過模型規模越小速度越快，當然推理能力也更差。懷舊一下上世紀八十年代初期的 CPU 速度，速度慢才會限制人們的想象力，天下武功，唯快不破。

系統的內存就是 LMM 的上下文窗口（Context Window），一次推理運算最多能接受的 Tokens 數量，現在 Google Gemini 1.5 Pro 實驗版已經把這個數字提升到了一千萬，一次性輸入二十本書和一個小時的電影；當然這里也存在架構的限制，窗口越大推理越慢，同時模型會失焦，降低推理的準確度。但充滿挑戰也就意味著機會無窮，前沿模型研發團隊都力爭做到吞吐量、速度還有準確度的最佳平衡。

在模型之外，還有操作系統的其它系統部件，例如 I/O - 用語音、視覺等模態感知；還有文件系統，讓模型具備無限記憶的能力，畢竟模型不是數據庫，它的內存是輔助計算的。這一年多以來，大模型應用領域最常用的方法就是RAG（Retrieval Augmented Generation），這是一種檢索增強生成的方法，讓模型用大家自定義的數據生成結果，這樣就能處理無盡的私有數據，把模型當成高效的推理機器來使用。

配圖2.04: Emerging LLM App Stack

LLM 和 LMM 是構建軟件的強大的新工具，Andrej 的這個類比，會讓大家找到一些熟知的感覺。其實在去年五月 a16z 整理過一個指南《Emerging Architectures for LLM Applications》，這是一份詳細的 LLM 應用堆棧的參考架構，里面提到了 AI 初創公司和大科技公司中最常見的系統、工具和設計模式。

上文提到的 Perplexity 就是 RAG 的最佳應用，還有面向企業知識庫的 Glean 也一樣，以及我自己正在做的面向個人知識庫的 Maimo，其實所有聚焦到客戶流程和需求的具體應用，或多或少都搭建在這個技術棧之上。本文不討論技術實現方法，我將稍縱即逝的概念串接起來，幫大家整理解題思路！

智能代理（AI Agent）

順著推理引擎的思路，我們可以讓 LLM 自己做自動化的多步驟推理，其間能自己使用搜索引擎，調用工具以及與其它 LLM 協作，Andrej 的 LLM OS 中就包含了這些模塊。最早實現這個想法原型的是 AutoGPT 還有 BabyAGI 兩個開源的智能代理（AI Agent），就在去年 GPT-4 剛發布的時候，一時風靡全球科技圈，雖然產品非常原型和早期，但是它們給出了很好的解題思路。人類給出目標，LLM 自己分解子目標，就像編程函數的遞歸調用那樣，調用外部工具，自我評估任務是否完成，一步步實現整體目標。

現在，隨著 LLM 的推理能力和速度的提高，Agent 的思路已經被很多創業公司還有科技巨頭用到了自己的產品之中。例如，前段時間最受關注并且飽受非議的 Devin，來自紐約的華人創業團隊 Cognition AI，可以像人類程序員一樣自動寫代碼的 Agent，你只需要告訴它你的需求就行，由于演示視頻過于科幻，導致被人揭露造假。

行業的另一端，Google 在今年的 Next 與 I/O 大會上，連續地發布了自己的 Agent 戰略，并且把這個概念放在公司的 AI Stack 之上，Agent 就是接下來 Google App 的衍生。

配圖2.05：Google Gemini Agent 戰略

從客服 Agent 到員工 Agent 再到代碼 Agent，以及最新的 Google Plan Search，可以自動化多步驟執行搜索任務的 Agent。例如，你要找一下附近有折扣的理發店并幫你完成預約，那么新的 Plan Search 能理解你的需求，自動分解任務，然后調用 Google Map 還有其它工具，自動的完成你的請求。當然 Google 現在有底氣這樣做，還得仰仗 Gemini 1.5 Pro 的推理能力已經達到 GPT-4 的水平了。

就連 Microsoft 也在四月底的 Build 2024 上蹭熱度推出了 Copilot 產品的升級，Copilot Team 與 Studio，讓 Agent 完全融入企業內部，自動化日常繁雜的會議記錄與日程安排，你也能設計適合組織內部的自動化流程，讓 Agent 幫你訪問數據庫和自動操作辦公軟件。

現在，軟件應用范式已經轉移，AI Agent 就是新 SaaS！

2.3 全模態智能體

每一次平臺型技術的出現，都會催生出新的人機交互方式，個人電腦時代的鼠標與鍵盤，移動時代的觸摸屏，現在是智能時代，我們一度認為 ChatGPT 的 LUI（自然語言對話式界面）就是這個時代交互的終點，但事實并非如此，知名科幻電影 HER 中，那種人類與 AI 全感知無障礙的對話形式，才是我們想要的。

“通過語音、文本和視覺進行推理非常重要，因為我們正在研究與機器交互的未來”，Muri Murati 在今年五月十三日那場不到半小時的超快發布會上這樣告訴大家。那天 OpenAI 發布了最新的模型 GPT-4o，并且用了個很前衛的新概念，全模態模型 - Omnimoda Model。

配圖2.06: OpenAI GPT-4o 的演示

GPT-4o 是 OpenAI 之前所有技術的集大成者，新模型通過端到端的神經網絡，把視覺、語音和文本數據混合訓練，而不是用大家常用的工程手段，先各種數據先轉換成文本后，交給 LLM 處理，然后再把輸出的文本轉換成對應的媒體形式。這樣，GPT-4o 對音頻輸入的平均反應時間為 300 毫秒，與人類對話的反應時間相似；而且直接拿音頻數據來訓練的好處就是模型能從數據中感悟到人類表達的情緒、語調、風格等等，你能聽到幾乎真實的人類的聲音，在一段演示中感覺連訓練時的環境聲音都給還原出來了。

OpenAI 并沒有公開 GPT-4o 的任何技術細節，唯一的線索就是來自他們內部模型煉丹師的一篇博客，項目名是 AudioLM，2023 年中啟動，目標是用端到端的方式擴大語音模型的能力。

很明顯 OpenAI 是有計劃的搶先發布，因為 Google 在第二天的 I/O 2024 大會上準備宣布他們最新的研究項目 Project Astra，一個類似 GPT-4o 全模態模型，結果研究團隊拿手機精心錄制的與環境實時交互的視頻，讓 OpenAI 給提前一天全部展示了，而且功能更強大，完成度更高。

配圖2.07: Google Project Astra 演示

OpenAI 會在幾個月內陸續更新 ChatGPT 應用，通過 GPT-4o 讓其具備 Assistant Agent 能力，一個能夠像人類一樣互動的“數字形態”全能助理；Google 也計劃在今年內推出 Gemini Live 支持類似功能，我們可以把這種能溝通還能感知環境的 AI 稱之為智能體（Intelligent Agent）。除了端到端的多模態之外，另一個重要的特點就是實時性，之前所有的交互都是回合對話式，包括 API 的調用；現在我們要從文字語音聊天升級到視頻直播了，智能體保持一直在線?？梢韵胂?，用流媒體的形式來消耗 Token，這對算力的開銷得有多大，所以大家必須保持模型能力不變的情況下縮小參數規模，升級架構來提升性能；最好讓終端也參與進來分擔一部分模型的計算量。

讓科技變簡單，是技術民主化最重要的一個趨勢，沒有人能抵擋住這種毫無機械感、完全類人化的交互方式。用這樣的思路，可以設計從未有過的硬件產品，也能重新設計現有的產品，例如多年以前的 Google Glass 就可以因此而復活了；因為語音交互的流暢，智能體還能用手機之外的設備來實現視覺感知，那么手機的設計也會因此而進化，觸摸交互更簡單，在很多情況下，都只需要放在口袋里，給你的智能體提供本地算力。

這樣的全模態智能體，將會成為我們和所有智能設備的新交互界面。進一步想象，家庭和辦公環境的電子設備，只要聯網就能成為智能體的感知器，或者直接成為他們的終端，被智能體控制；再結合具身智能（Embodied AI）技術，那就是現實版的 Ghost in the shell 了。

2.4 組織新形態

Inflection AI 的聯合創始人 Mustafa Suleyman 在他去年九月份出版的新書《The Coming Wave》中提出了一個現代版的圖靈測試，我們需要一個更適合現代 AI 能力水平的測試方法，這個方法不是能騙過人類就行，而是需要評測 AI 是否具備采取行動和取得成就的能力，以及它們能否對世界產生有意義的影響。

簡單來說，要通過現代圖靈測試，一個 AI 需要能完成這樣的任務：“僅用十萬美元的投資，在幾個月內通過零售網絡平臺賺取一百萬美元?！?為此，它不僅要制定策略和撰寫文案，而且還需研究設計產品，與制造商和物流合作，談判合同，并創立及管理市場營銷活動。簡單地說，它需要在極少的監督下完成一系列復雜的實際目標。雖然還是需要人類參與批準某些事情，例如開設銀行賬戶，親自簽字，但所有實際操作都由 AI 來完成。

這里最大的技術挑戰之一，就是讓 AI 自己實現分層規劃：將多個目標、子目標還有執行能力，組織成一個可以向著單一目標持續前進的流程；然后 AI 還需要可靠的記憶來輔助目標完成，能準確調用實時的數據，例如組件或物流等等。我們前面提到的 AutoGPT 就是這種 Agent 的原型，然后微軟的 Copilot Studio，可以讓企業設計內部數據處理與日常任務自動化的 Agent；當然這些離 Suleyman的現代版圖靈測試還有很遠的距離，但 OpenAI 預告過，他們的下一版本模型會極大提升推理和規劃能力，也就是模型在內部實現 Agent 能力的自我增強，這是全自動化的關鍵，Sam Altman 經常掛在嘴邊的 AGI 到來的定義之一就是 AI 能替代百分之七十的人類工作。

不久前，知名投資機構 Nfx 在他們最新的《The AI Workforce is Here: The Rise of a New Labor Market》中剛好分析了這個趨勢?，F在 AI 正在強制逆轉 SaaS 這個縮寫的含義，從“軟件即服務”轉變為“服務即軟件”，軟件既能組織任務，也能執行任務，你無需雇傭額外勞動力，它們是“內置”的，傳統的勞動力市場最終將和軟件融合成為一個新市場！

配圖2.08：New AI Workforce（來自 NFX）

例如，我們現在購買 SaaS 銷售工具，仍然需要雇傭并培訓銷售人員來完成實際的銷售工作。在公司內部，招聘預算和軟件預算不在一個數量級；在整個經濟體中，勞動力市場和軟件市場也是完全分開的。粗略地計算一下，美國企業在知識型勞動力上的支出超過 5 萬億美元；相比之下，公司在 SaaS 上的支出僅為 2300 億美元。接下來，AI 要做的事情就是降低企業在知識工作者上的支出，讓大家購買或者是租用能自己工作的 SaaS，從而提高在軟件市場的支出。

現在，從企業組織的結構來看，提供這種 AI 勞動力的產品有兩種形式：

配圖2.09：Playbooks for AI workforce（來自 NFX）

AI 同事（雇傭）

在介紹智能代理那一小節中已經提到，現在控制著中小企業辦公入口的 Google Workspace 與 Microsoft Office 都在推出自己的 Agents，我們只需要設定目標，這些 AI 的虛擬員工就能自動完成日常辦公中繁雜的體力活；在辦公助理之外，這些智能代理也會成為我們的自動化客服、銷售、市場運營還有技術支持。例如 Nfx 投資的 Artisan，一家提供 AI 雇員的 Saas 服務，幫客戶自動化市場與銷售，AI 員工 Alice 與 Ava 每周能夠預訂 2-3 次潛在客戶會議，在整個銷售服務環節中每周七天，每天 24 小時不間斷工作。

AI 供應商（外包）

想象一下，大部分企業都會使用外包服務，例如專業的客服外包、還有會計以及律師事務所等等，這些獨立的服務供應商，他們很多雖然在使用 SaaS 但還是靠人力驅動?，F在，新形態的 AI 公司將會是 AI 自動化管理的供應商，只需要少量的人類，可以支持更大規模的客戶，例如 AI 客服中心 Smith AI，把不可規模化的服務型勞動力市場變成可以規?；能浖袌?。

這里存在一個市場模式變化的機會，AI 勞動力概念的新型態軟件，將吃掉傳統 SaaS 的市場空間，讓他們的利潤減少，當然也會同時減少人類的工作機會，但給了 AI 初創企業新的市場機會，來挑戰傳統軟件公司，這些初創的企業又能創造出不一樣的新工作機會。當然，科技巨頭不會坐以待斃， Google 最近計劃有史以來最大規模的一次收購，用 300 億美元買下 Hubspot，知名的市場營銷與客戶管理 SaaS，Google 期望這個收購能幫助自己快速觸達更多客戶，好在未來能銷售更多的AI 同事給中小企業。在本章第一小節就提到了，對于 AI 應用的第二幕，競爭力就是你能控制的客戶，以及端到端幫他們解決實際問題。

再往前看一步，這些 AI 勞動力都在承擔著機械的自動化工作，軟件還沒法真正取代服務，它們得有適應人類社會的能力；它們必須看起來、感覺起來，就像是在與人互動；換句話說，軟件在某些方面必須有靈魂，就像優秀的客服代理、銷售代理或服務提供商一樣。或許我們從 OpenAI 發布 GPT-4o 的最新演示中已經窺視到了未來，這才是軟件和勞動市場真正融合的關鍵一步；雖然看上還長路漫漫，但我們正在步步的接近，具體會在第四章詳細討論。

配圖2.10：智能代理將改變企業組織架構

智能時代，我們不能再用移動時代的模式來理解應用，本著人機交互方式越來越簡單的趨勢，智能應用最先應該從簡潔開始，然后它們會從有形的界面中消失，變成真正無所不在的助理，或者是智能體，它們會輔助甚至直接幫我們完成任務；我們與 AI 協作的重點不再是過程，而是目標與結果，能完全自動化并融入人類社會就是 AI 勞動力的終極目標。

這些數字化的靈魂將無處不在，我們的個人助理，生活中的陪伴、工作中的同事還有我們的合作伙伴，這是一個聽上去有些興奮，但又讓人略感不安，卻注定會到來。

03 智變 - AI 加速的行業變革

“人類的智慧是宇宙中最寶貴的東西，但它卻是稀缺的；若能借助機器智能來提高全世界的智力供應，無疑這將會是非常受歡迎的?！?互聯網先驅 David Gelernter 在他 2010 年的那篇有先見之明的文章《Dream-logic, the internet and artificial thought》中這樣寫到。

從 Hinton 教授的觀點衍生一下，既然生成式 AI 革命和電力革命一樣或者更加重要，那么機器智能也會和電能一樣成為一種通用的“能源”，可以普惠所有行業，“智能”這個詞又有了新含義。電力革命花了六十多年的時間，讓最高的行業滲透率到達了百分之九十；現在智能變革剛剛開始，我們可以把互聯網的出現，看作是機器智能的序章的，為其誕生提供了海量的數據，基礎模型將這些數據訓練和壓縮成了他們對人類世界的理解，在這之上，與人類協同推動世界繼續往前。

我們需要做一次小小的思維轉變，不應將這種機器智能視作與人類智能完全獨立的事物，相反，我們應當將其看作是整體智能供應的一次提高。現在，人類在用模型與算力，構建完全超越互聯網形態的信息網絡，這將是全球智能體的互聯，能夠無死角的滲透到所有行業，加速自動化，降低成本，普惠世界。

3.1 廉價誘導需求

杰文斯悖論（Jevons Paradox），是經濟學 William Stanley Jevons 首次在其 1856 年出版的《The Coal Question》一書中提出的現象，悖論陳述了當某樣東西變得更高效時，人們會消費更多的這種東西。杰文斯觀察到，當蒸汽機的效率提高時，使用更少的煤炭就可以做更多的事情，但實際上煤炭的消費量卻增加了。人們并不只是用蒸汽機做之前同樣的事情，因為成本更低，他們開始用蒸汽機做更多其它的事情。

現代經濟學中有一個簡單的定義：當商品、服務或資源的供應或容量增加導致其消費增加時，就會發生誘導需求（Induced demand）。經濟學家 George Gilder 在《Knowledge and Power》中最核心的觀點就是經濟增長的主要動力就是企業家的創新，產生供給端需求，俗稱創造不存在的市場。在這個科技通縮與數字豐盈的環境中，理解這一點十分重要，雖然它很反直覺。

增加對潛在需求的供應，例如智能的供應，人們就會更頻繁地使用這些服務。此刻的問題是，智能太貴，訓練模型太貴，但這不是一個會長期存在的問題。根據萊特定律（Wright Law），加速計算硬件的改進，每年會將 AI 相關計算單元（RCU）的生產成本降低 53%，而算法與模型的增強，可以每年會進一步降低 47% 的訓練成本。換句話說，到 2030 年，硬件和軟件的融合可以使AI 訓練成本以每年 75% 的速度降低。

配圖3.01：AI 訓練成本每年下降 75%（來自 ARK Big Ideas 2024）

現在，智能的供應取決于兩方面的成本：訓練與推理，除非若干年后我們有了全新的訓練推理一體的自進化模型架構。OpenAI 的推理成本似乎在以每年約 86% 的速度下降，比訓練成本降的更快，最新模型 GPT-4o 和去年同等智能水平的 GPT-4 相比，速度提升了五倍，價格下降了接近十倍，這只是在一年之內。

我們現在使用搜索引擎的成本幾乎為零，代價是需要看廣告；等使用 GPT-4 或者更高水平智能的成本接近零的時候，這個由供應端免費而推動的需求，會讓市場發生什么樣的變化，大家可以想象；數以百萬計的人和企業將擁有越來越聰明、能力越來越強的智能代理，而且每次模型的升級，都會讓這些代理變得更強大，價格還會越來越便宜，這將是勞動力市場的巨變。

上一章中提到了現在知識工作中的支出是 5 萬億美元，根據世界銀行的數據，2020 年全球 GDP總額是 84.7 萬億美元，同年全球勞動力占 GDP 的比重為 53.8%，這是一個 45 萬億美元的全球市場。如果把智能的觸角延展到知識領域之外，需要和人類一樣靈巧的機器，就能覆蓋這個市場，過去它的瓶頸是智能，但現在我們的突破已經近在咫尺，如果 OpenAI 或者 Google 真的能夠把智能免費提供，那唯一的限制就是能源了。

風險投資家 Packy McCormick 在他的文章《Tech is Going to Get Much Bigger》中闡明了這個觀點：隨著能源、智能和靈活性的成本趨近于零，整個經濟將變得更大，結構上更加盈利?？萍脊緦⒂芯薮蟮臋C會銷售他們即插即用的勞動力和智能，本質上是將現在分散且不一致的人類勞動力產品化、集中化、按需化和作為服務給軟件化，即 SaaS 化。智能的加入，讓每個行業看起來都更像軟件行業。它們增長更快，利潤更高，研發投入更多。。。軟件吞噬世界，AI 吞噬軟件！

再往前推進一步，如果能源被解鎖，我們可以從這篇《Energy Superabundance》中看到人類將如何利用幾乎免費的廉價能源，例如飛行汽車、超高速列車、地球次軌道旅行、電動卡車運輸網、垂直農業、空氣凝結水、海水淡化等各種未來的愿景。我們不僅會使用廉價且豐富的能源來更便宜地做同樣的事情，我們還會用它來做更多、更好、更快的事情。過去四十年，全球發達國家在能源消耗幾乎沒有增加的情況下實現了經濟的緩慢增長，那是因為能源基礎設施的建設幾乎停滯，大家并不需要消耗那么多的電力；但現在因為智能的需求，讓能源的需求激增，更加便宜的能源和智能又會誘導新的需求出現，從而再次加速經濟增長，擴大整體的經濟規模。

3.2 AI 浪潮的早期

在股市被發明之后，可以看到一個歷史規律，以資本量最大的美股為例，每當一家公司問鼎全球市值第一的時候，就能代表這個公司所處的行業將引領未來十年以上的經濟增長，它們最能代表一個大變革時代的到來，畢竟大家再用手里的鈔票真金白銀的押注未來。

配圖3.02：1960 - 2023 年美股市值最大的公司

上世紀五十年代，AT&T 開啟了通訊時代，然后是 IBM 把我們帶入了信息時代，第一波浪潮是個人電腦革命，雖然 Apple 起了個早，但還是被 IBM-PC 雄霸天下；再往后面就是微軟，開啟了桌面軟件時代，也同時開啟了互聯網時代，期間美孚石油會偶爾登頂，但那也是經濟周期的影響，畢竟在 2000 年之后，美國的能源公司很少能進前十。信息時代的第二波浪潮始于 2010 年，Apple 成功的通過 iPhone 開啟了移動互聯網時代，也一舉登頂全球市值第一的寶座。

配圖3.03：行業周期切換圖（來自 Coatue EMW/2023）

現在又進入了交替期，微軟通過與 OpenAI 的深度綁定，在 2023 年再次問鼎第一，另外 Nvidia也因為算力需求的激增，業績爆棚，在 2024 年六月的第一周市值達到有史以來最高的三萬億美元，僅次于微軟排名第二。如果在未來幾個月內，Nvidia 成為世界上市值最高的公司，那我們算正式開啟智能時代了呢？還是進入炒作周期的頂峰了？這是個值得思考的問題

類比電力革命，從第一個燈泡被點亮到首座發電設施被發明出來，花了十年時間，然后又花了五十多年滲透到各行各業；這一輪 AI 革命的起點應該是 2012 年的 AlexNet，由神經網絡驅動的人工智能再次回到歷史舞臺，差不多也是十年后，革命意義的 ChatGPT 誕生，完全證明了在有效的架構 Transformer 之上，疊加算力和數據就能出奇跡；這個組合就像發電站一樣可以源源不斷的輸出智能，后面要做的事情就是擴大規模的同時降本增效，覆蓋全行業。

配圖3.04：我們還處于 AI 革命的早期

去年八月，Elon Musk 在首次對外演示 Tesla FSD12 的一次 Twitter Space 中，提到他對算力和能源的看法：“我們90%的數據中心都變成為算力中心，提供加速計算；人類很快會變成強計算依賴，未來80-90%的能源都會用在計算上”。再回頭看看我們現在的基礎設施之中，用于 AI 算力的占比有多少？大約 2%，Coatue 在今年初的一份 LP 報告中提到了這個數據。

現在正處于 AI 基礎設施第二輪的升級浪潮之中：

• AI 服務器的占比：9%

• AI 在整個半導體行業的收入占比：10%

• AI 數據中心電力消耗的占比（美國）：2+ %

• AI 云計算收入的占比（Amazon & Microsoft）：～3%

從百分之九到百分之九十，AI 數據中心的升級才剛剛開始。因此，這次智能革命，會讓芯片和數據中心業務最先受益，從 Nvidia 的股價就能看出；另外業務用量的提升，AI 云計算收入，其實主要是模型托管的收入，將成為云計算公司的主要收入。

配圖3.05：AI 對電力消耗的預估

這里特別提到了能源， Coatue 預估按照現在的電力基礎設施，到 2030 年全美國的電力供應將沒法支撐 2500 萬塊數據中心 GPUs 的消耗，現在才 300 萬塊 GPUs；電力的產量提升并不如算力提升那么容易，Mark Zuckerberg 在最近一次與 Dwarkesh 的播客對談中，特別吐槽了這一點，電力供應將成為 AI 發展的最大瓶頸！

科技公司這次肯定等不及傳統能源企業的升級了，Sam Altman 幾乎每次都會表達 AI 的瓶頸是能源供應，因此他投資了 Helion Energy，一個提供小型化核聚變裝置的公司，他們已經和微軟簽訂了合約，計劃在 2028 年上線其首個核聚變發電廠，并在一年內達到 50 兆瓦的發電能力；谷歌投資了 TAE Technologies，就連 OpenAI 自己也投資了 Commonwealth Fusion Systems，這兩家公司都專注于核聚變技術的商業化。

個人感覺，可控核聚變技術的難題很有可能因為 AI 對能源的強大需求而加速攻克，因為市場看到了超級廉價的能源，還能誘導出那么多以前沒有過的需求；創造新的市場是企業家與科技創新的最大動力，這是政府引導的科研創新所不具備的。

3.3 從中心到邊緣算力

2024 年三月月二十七日，諾貝爾經濟學獎得主丹尼爾·卡尼曼（Daniel Kahneman）離世，他留給大家最經典的一本著作就是 2011 年出版的《思考，快與慢》，詳細探討了人類思維的兩種模式：系統1（快思考）和系統2（慢思考）。

系統1是快速、直覺且無意識的思考模式。它依賴于直覺和情緒，能夠迅速做出反應，幾乎不需要耗費腦力。例如，判斷兩個物體的遠近、察覺對方語氣中的不友善、快速回答簡單的數學問題例如 2 + 2 等；系統2則是較慢、需要主動控制且有意識的思考模式。它依賴邏輯和推理，處理復雜的問題時需要集中注意力和耗費腦力。例如，在大腦中計算復雜的數學問題（如157 x 641）、比較兩款冰箱的效能、洽談重要合同等。

Andrej Karpathy 拿卡尼曼的思考系統做了個很好的類比，當前的 LLMs 只是一個具備快速預測下一個單詞能力的“系統1”思維；我們希望 LLMs 能夠真正“思考”，通過長時間的思考產生更準確的回應，也就是深思熟慮。很多研究團隊都在想辦法讓基于 Transformer 的 LLM 具備“系統2”思維，例如來自 Meta 的 S2A，但我們從更大的架構層面構思，部署在云端與邊緣終端的模型，相互配合，也能實現這種可快可慢的思考方式。

配圖3.06：云端與終端的對比（來自 Coatue LP Report 2024）

有一個明顯的趨勢，現在科技巨頭和 AI 研究機構們推出自己新一代的模型，都按照參數規模區分了版本，例如 Anthropic 的 Claude 3 就擁有三個版本，最大規模的 Opus 價格最貴也最慢，適合做復雜的推理與自動化的任務計劃，這是高級智能；其次是 Sonnet，價格速度適中，適合完成個人助理任務以及給定內容的快速分析，例如前面提到的自能體的任務；最快最便宜的是 Haiku，可以執行快速的翻譯、客服對話等任務。

不過 Anthropic 和 OpenAI 的模型并沒有開源的可以部署在邊緣終端上的版本，他們的理由是安全問題；但考慮到自己的自能業務未來在終端上的拓展，Meta 有 Llama 3 7B、微軟有 Phi-3 Vision、Google 有 Gemma，他們都是可以適配到移動終端上運行的開源 LLMs，就連最不動聲色的 Apple 都偷偷發布了自己的 OpenELM，參數規模比微軟的 Phi 還要小，這是為了在移動設備上節能運行優化的。

因此，我們能看到兩種競爭：

邊緣算力：擁有最多終端占有量和最好的邊緣芯片的，將占據了競爭優勢，例如 Apple，它的 A 系列和 M 系列芯片常年算力溢出，現在正好可以用這個作為條件讓模型提供方來適應它的需求；緊隨其后的就是 Google 還有高通，一個是移動終端的常年老二，另一個是移動芯片 Apple 之外的最大供應商；

另外，PC 級別的終端也因為智能的集成在復興，微軟主打 Copliot PC 的概念。這個級別上由于電力供應更加充足，可以用更快更耗能的芯片，我們應該可以看到未來會有家用和辦公用的“智能體”終端誕生，可以把他們想象成帶著屏幕的機器人；最后集成了 FSD 的 Tesla EV 也在這個量級之上，畢竟做視覺端到端控制的模型，為了敏捷與安全性，必須本地部署運行。

在邊緣，擁有最佳使用場景的將勝出。

中心算力：科技巨頭要發展終端算力，其一，是為了緩解云端的瓶頸，未來大多數的智能任務都是簡單的能在終端直接完成的；其二，云端必須承擔復雜的推理任務，這是個人、企業還有科研的高級智能需求；最后一個最重要的任務就是訓練模型了。

Elon Musk 說接下來擁有 100 億美元以上的算力投入的公司，才能進入 AI 研發的第一梯隊，所以 xAI 就立刻宣布了計劃用十萬塊 H100 連成一個巨大的集群，稱之為 “Gigafactory of Compute”；不過截止到目前，根據 SemiAnalysis 透露的消息，Google 才是真正的 GPU Rich，他們自家的 TPU 加上 Nvidia 的 GPU，算力多到溢出，現在訓練 Gemini 最新版的算力規模高達 ~1e26 FLOPS，比 OpenAI 用來訓練 GPT-5 的要大四倍左右。所以 OpenAI 才要拉上微軟，讓他出資一千億美金打造史上最豪華的算力中心 StarGate，算力能飆升到多少尚不清楚，但設計中 5G 瓦的電力需求，已經占到 2023 全美國數據中心能耗的 70% 了，看來投資核聚變勢在必行。

在云端，擁有最多算力和最優數據的將勝出。

Apple 在最新的 WWDC 正式發布了 Apple Intelligence，其中架構上最有趣的部分就是 Apple’s On-Device and Server Foundation Models，邊緣和遠端混合的組合模型，用 Private Cloud Computing 技術端到端加密保證用戶數據安全。在這個架構之下，每個 iCloud 用戶都能夠擁有屬于自己獨特的微調模型，做到基礎模型跟著用戶一起進化。Apple 正在用自己邊緣都優勢彌補大語言模型的后發劣勢。

配圖3.07 Apple Intelligence - Private Cloud Computing

AI 基礎設施的軍備競賽已經在進行，但終端的競賽才剛準備啟動，而且要為用戶提供流暢的智能體驗，必須得兩端同時進行；在這個快速進化的時期，給應用的開發提出了巨大的挑戰。或許，智能時代根本就不存在應用開發，我們可以用各種硬件還有自然對話方式的交互形態，端到端的給客戶解決問題就行，因為這是一次遠超互聯網和移動時代的新工業革命。

3.4 Nvidia 的新工業革命

知名播客 Acquired 在 2023 年十月對 Nvidia 的 CEO 做了一個信息量巨大的采訪，那時 Nvidia 的市值剛剛突破一萬億美元大關，全球排名第六。

Jensen 提到為什么 Nvidia 如此專注的只做加速計算，有一個重要的原因是當他們看到 AlexNet 在計算機視覺中的驚人效果時，意識到這是一個突破性的技術?；谏窠浘W絡的深度學習模型能夠在短時間內超越過去三十年的計算機視覺工作。他們發現深度學習實際上是一種泛化的函數逼近器（universal function approximator），因為其維度可以無限高。這意味深度學習可以解決各種復雜的問題，只要有足夠的訓練數據。

隨著計算變得更便宜，AI 就可以進入更多的經濟領域；如果它能被更廣泛地采用，那么我們的市場應該變得更大，而且這個循環將繼續下去。這里有一句話我保留 Jensen 的原文會更有感覺：“What’s unique about our current circumstance today is that we’re in the manufacturing of intelligence. We’re in the manufacturing of work world.” -我們在做制造業的工作，但我們生產的是智能！

作為一名 PC 硬核玩家，每一年的 Nvidia 的 GTC 都必須圍觀，從 2021 一直到今年的三月的這場，我看到了 Nvidia 最清晰的一次平臺化布局的全貌，并且用了一個概念，用加速計算平臺來支撐新的工業革命（NEW INDUSTRIAL REVOLUTION）。

配圖3.08：A NEW INDUSTRIAL REVOLUTION

Jensen 給這次 AI 推動的工業革命預估了一個 100 萬億美金的市場規模，這已經接近去年全球的 GDP 總額了，看來想象力和誘導需求同樣重要！那么 Nvidia 要如何擁抱呢？

提供算力平臺：最新發布的 Blackwell GPU 已經是一個加速計算平臺，通過 NVIDIA Quantum InfiniBand 能夠連接數以萬計的 GB200 超級芯片，組成一個超級大計算矩陣，可以把這個矩陣當成一塊 GPU 來看待。亞馬遜的 AWS 已經升級了其 Project Ceiba，計劃通過 NVIDIA GB200 NVL72 擴展的新 Blackwell GPU，提供 65 exaflops 的驚人算力。

提供推理微服務 NIMs：這是在 CUDA 之上的 NeMo 微服務（Microservices），Nvidia 面向加速應用開發構建的計算容器推理，你的各種模型和智能計算應用，都可以在上面快速部署。就在五月中微軟舉辦的 Build 2024 上，宣布了與 Nvidia 進行加速計算的全棧合作，除了 Blackwell 之外，還有 NIMs。

模擬與現實世界通吃：Omniverse 模擬現實的能力，除了驅動工業上的數字模擬設計之外，智能時代最大的作用就是合成高品質的訓練數據了；配合 Issac Robotic 的服務提供機器人模擬訓練，Nvidia 是計劃把工業生產中能模擬的都模擬了，再用模擬的數據訓練真實的自動化生產機器，從而讓工業智能化，這是在很形象的智能工廠。

Nvidia 成功的扮演了智能淘金時代的賣鏟人，做為全球唯一的 AI 訓練算力供應商，現在要計劃把自己的加速計算平臺通過各大云計算服務商銷售給企業，幾乎所有企業的數字化以及工業制造中的智能供應，都繞不開 Jensen 的算力布局。

新工業革命就是智能驅動的傳統工業升級與再造。過去，軟件的歸軟件，硬件的歸硬件，現在軟硬逐漸一體，智能化會讓硬件更靈巧，就像人類的智能是大腦與身體的整體組合一樣；讓設計生產完全通過 AI 模擬與加速，讓智能體找到最適合的物理軀體，才能完全釋放智變時代的生產力！

3.5 Agent 走進物理世界

在上一篇《機器之心的進化》中，還在把純視覺方式的 FSD 當作自動駕駛領域值得探索的前沿方向在討論，不到兩年時間，全北美一百多萬輛 Tesla 里面已經預裝了最新的 FSD 12，就像在系統升級說明里面寫到的：“我們移除了最后幾萬行人類寫的 C++ 代碼，把自動駕駛改成了完全由神經網絡端到端控制”，也就是光子進入，行動輸出，中間完全由神經網絡黑箱操作，軟件 2.0 的成功范本。

今年三月底升級到 FSD 12.3.3 之后，我現在大部分時間的駕駛都是讓 AI 代勞的。第一趟體驗就讓我和之前的版本有了強烈的對比，頭腦里的第一反應這就是自動駕駛的 ChatGPT 時刻，雖然還有許多小問題，但已經確立了純視覺加上神經網絡控制的可行性，接下來就和訓練 LLMs 一樣，靠算力和數據就能提升效果了。

讓車在物理世界中自我行動，這是空間智能（Spatial Intelligence）的第一步。路透社報道，在計算機視覺上有過杰出成就的李飛飛教授，正在打造一家與“空間智能”有關的初創公司。她在 2024 年最新的 TED 演講中解釋了這個概念：“通過空間智能，AI 將理解真實世界，它們能夠處理視覺數據，做出預測并根據這些預測采取行動”。

配圖3.09：李飛飛 TED 演講（With Spatial Intelligence, AI Will Understand the Real World）

當我們人類看到一個桌上的水杯，大腦就會自動計算它在三維空間中的位置，以及它與桌子和周圍一切事物的關系，還會預測接下來會發生什么。行動的沖動是所有空間智能生命形式所固有的，它將感知與行動聯系起來。一個具有空間智能的 AI，它也能自動做類似的預測與行動沖動。空間智能將推動 AI 系統獲得具身智能（Embodied Intelligence），能夠像生物一樣與環境互動，FSD 就是典型的例子，現在 Tesla 正通過其改進版本來驅動 Optimus 機器人，Elon Musk 在 Tesla 最近一次財報電話會上說今年底就計劃讓 Optimus 能夠在 Gigafactroy 代替人類干點活。

配圖3.10：Tesla Optimus 的最新演示

不過 Nvidia 有一個更宏大的計劃，這是今年 GTC 上的 One More Thing，他們計劃推出 GR00T 項目，一個通用智能體（Foundation Agent）。其目標是為通用的人形機器人構建基礎模型，使其能在不同實體之間遷移，訓練過程類似 OpenAI 訓練 GPT-4，通過在海量環境中訓練來獲得通用性，這里就要用到我們在上一小節中提及的 Isaac Sim 來創造 GPU 加速的虛擬世界。Nvidia 將通過它來以 1000 倍速運行物理模擬，生成無限復雜精細的虛擬世界，正所謂 AI 不用一天，人間就得一年 。

這個項目的負責人 Jim Fang 在一次 TED 演講上概括了通用智能體的三大特征：

• 能在開放世界中探索；
  

• 擁有海量世界知識；

• 能執行無數任務；

因此需要足夠開放的環境、大規模預訓練數據和強大的基礎模型。就在不久前，Jim 在 X 上放出了一段演示，他們的團隊在模擬環境中訓練了一只機器狗，在瑜伽球上保持平衡和行走，然后將其轉移到現實世界中，沒有任何微調，行走的非常流暢。這個過程中團隊用了 DrEureka，一個 LLM 代理，它能編寫代碼在模擬中訓練機器人，彌補仿真到現實的差距，完全自動化了從新技能學習到現實世界部署的全流程。

配圖3.11：模擬環境中訓練了一只機器狗

在現實世界 AI 的另一端，Tesla 正計劃使用兩萬個 Nvidia H100 GPU 進行 FSD 12 新版本的訓練，自家的用于 Dojo 超級計算機的 D1 芯片臺積電也開始量產。D1 由 5x5 陣列的高性能芯片組成，通過 TSMC 的 InFO_SoW 技術互聯，通俗理解就是在一個單晶元上刻 25 個芯片，它們能像單一處理器一樣高效工作。Tesla 會用這個組成新的 Dojo 加速計算陣列，能達到 100 exaFLOPS 的計算能力，將其用來訓練未來的 FSD 和 FSD for Optimus。

Nvidia 和 Tesla 正在用各種不同的方式讓 AI 進入物理世界，Nvidia 提供通用模型和模擬訓練環境，讓第三方來生產機器人；Tesla 則是從訓練到制造全部自己來，這就像個人電腦時代的 IBM 兼容機 和 Mac 一樣，到底誰能勝出呢？拭目以待

配圖3.12：Coatue 的人形機器人價值對比圖

就像李飛飛在 TED 演講中所描述的：“在那片原始海洋中，也就是我們的遠古時代，眼睛的出現引發了寒武紀生命的大爆發。今天，這束光正在照進數字的心靈。空間智能使機器不僅能夠相互交互，還能與人類以及真實或虛擬的三維世界進行交互。隨著這個未來成為現實，它將對許多人的生活產生深遠的影響?！?/p>

回應本章開頭的結論，如果我們能夠提升全世界的智能供應，那將普惠到所有行業，尤其是通過人工來進行生產與服務的行業。當智能讓機器更加靈巧，能源的充沛讓智能無限便宜的時候，我們復制原子的成本就會將接近復制比特的成本，在《數字重塑人生》一文中詳細討論了這個話題。

在智能時代，將勞動力支出轉化為研發支出將改變公司的成本結構，雖然這需要更多的前期投資，但能降低生產和服務的邊際成本。軟件行業是這里的代表，它應該是法律許可的行業內，利潤率最高的行業之一了。軟件業的研發投入的平均比例為 17.7%，科研服務的投入略高一些，大約為 26.3%，這里包括了生物技術、納米技術、先進材料和可再生能源等；但相比之下，制造業的占比為 5%，而金融和保險業僅為為 0.6%。如果這些行業的研發投入比能提高，那每個行業都會看起來更像軟件行業，更快的增長，更高的利潤和更多的研發。

然而，這里真正的大機會是：大部分經濟可能看起來像 SaaS 模式，有更深的護城河、更高的轉換成本、有意義的經濟規模，甚至是網絡效應。例如，還在萌芽期的 RoboTaxi 服務如果能夠順利啟動和運行，它將具備上述所有的特點。

或許在不久的將來，我們只剩下生產智能的公司與生產機器人的公司，也或者是能夠自動化完成特定任務的智能機器公司；所有的生產與服務，全部都由機器來完成。新的工業革命，也是大家熟悉的第四次工業革命，將是一次徹底升級人類勞動力的革命，無論你喜歡還是不喜歡，這個就是我們的未來。

04 演化 - 萬物皆計算

“算力才是王道，知識都是干擾?！?加拿大計算機科學家與 DeepMind 的首席科學顧問里奇·薩頓（Rich Sutton）在他那篇著名的《苦澀的教訓》（The Bitter Lesson - OpenAI 員工必讀）中提到，在無窮的算力面前，人類的知識都只不過是一些小聰明而已。他從我們七十年的 AI 研究中得出了一個歷史規律：

1. 研究者總想構建一些知識并教給 AI；

2. 這些知識在短期內讓人感覺是有用的；

3. 但是從長遠看，人類構建的知識有個明顯的天花板，它們的發展會被限制；

4. 讓 AI 自行搜索和學習的暴力破解法，最終確帶來了突破性進展；

十多年前的 AlexNet 是最好的一次證明，它拋棄了人類的知識邏輯，例如在圖片中尋找邊緣，或是通用形狀，還有通過 SIFT 特征來理解，只用卷積神經網絡和某些類型的不變性的概念，就大幅領先了一同參賽的程序。

4.1 模型如何理解

我們能從薩頓教授《苦澀的教訓》中領悟到什么呢？第一個就是通用方法的巨大力量，那些隨著算力的增長可以持續擴展的方法，就是搜索和學習，類比到神經網絡就是推理和訓練，它們能隨著算力的增長而近乎無盡的擴張。

第二個就是我們無法用簡單的方法來概括現實和心智的復雜，我們無法用符號的邏輯來窮盡這種復雜；相反，我們應該只內建能夠找到并捕獲這些復雜性的元方法。這些方法的關鍵是它們能找到好的近似，但尋找這種好的近似應由我們的系統進行，而不是我們自己。

哲學家維特根斯坦（Johann Wittgenstein）很早就表達了對這種近似性的思考：按學科分類做“知識圖譜”的方法根本不可能窮盡所有的知識，事物之間總有些相似性是模糊的、不明確的、難以用語言來形容的。

神經網絡的成功，讓連接主義全面逆襲，這種好的近似就是向量，包括在自然語言處理領域。大家相信，符號進入大腦后會轉化為大型向量，所有內部處理都通過這些大型向量完成。如果你想生成輸出，就需要再次生成符號。大約在 2014 年，機器翻譯領域經歷過這樣一個階段，使用循環神經網絡在隱藏狀態中不斷積累信息，最終在句尾得到一個大的隱藏向量，這個向量捕捉了句子的意義，然后可以用來在另一種語言中生成句子。Hinton 教授稱為這個為思想向量，他在最近接受 AI 知識管理軟件 Sana 的 CEO Joel Hellermark 的一段精彩的采訪中這樣比喻。

谷歌研究員 Fernando Pereira 這樣說過：“自然語言是人類唯一的符號語言，我們用它進行推理?！?Hinton 認為大語言模型和人類大腦做著同樣的事情，這就是所謂的“理解”。它認為語言和思維過程中確實涉及符號，但這些符號通過多層次的嵌入表示（embedding representation）被豐富化了。然而，這些嵌入仍然與符號相關聯，每個符號都有一個大的向量，這些向量相互作用，從而產生下一個詞的符號向量。

“理解”就是知道如何將這些符號轉換成向量，以及這些向量的元素應該如何相互作用來預測下一個符號的向量。知識體現在你使用的向量及其元素之間的相互作用上，而不是符號規則。這并不意味著可以完全擺脫符號，而是將符號轉化為龐大的向量，同時仍然保留符號的表層結構。這就是如今模型的工作原理，也是更合理的人類思維模型。

Anthropic 最近做了一個關于模型可解釋性的研究 - “Mapping the Mind of a Large Language Model”。他們從 Claude 3 Sonnet 的中間層提取了數百萬的特征，給模型運行時的內部狀態來了個快照，并給處于激活模式的特征神經元做了個“距離”測量，這樣能夠尋找彼此“接近”的特征。在“金門大橋”附近，發現了惡魔島、吉拉德利廣場、金州勇士隊、加州州長加文·紐森、1906 年地震和舊金山阿爾弗雷德·希區柯克電影《眩暈》，這些特征還是多模態和多語言的。

配圖4.01：Golden Gate Bridge Features

這表明，AI 模型中概念的內部組織，在某種程度上符合人類的相似性概念，而且還有更高層次的概念抽象，這也許是 Claude 擁有出色的類比和隱喻能力的原因。用另一個角度來理解，概念作用的權重構成了模型的知識！

4.2 經驗重塑語言

僅基于文本來學習的限制是什么？它高效嗎？為什么模型要這種方式學習，而我們人類卻不是？卡內基梅隆大學有一個計算機科學研究小組 CLAW，主要研究如何與機器交流，以前叫 NLP 現在都是 LLM。他們假設感知、具像化和語言不能相互獨立存在，因為經驗塑造語言。

在《Experience Grounds Language》這篇研究報告中，團隊使用了一個語料的世界范圍（World Scope）概念，后面簡稱 WS?，F在的大語言模型僅在文本的語料庫上訓練，就獲得了巨大成功，如果能在更大的物理和社會環境中的并行訓練，就能解答更深層的問題。因此，WS 按照訓練數據獲取的范圍，被分成了五個級別：