2023 年,Meta 首席 AI 科學家楊立昆給當時的 LLM 熱潮潑了一盆冷水。
他指出 LLM 有根本性的缺陷:沒有持久記憶、無法從單一經驗學習、缺乏對物理世界的理解。本質上,它只是在做「下一個 token 的預測」。
從學術的角度看,他說得完全正確。
直到今天,LLM 的底層架構依然沒有變。它依然是一具每次啟動都空空如也的統計引擎。
但在三年的工程演進後,我們發現了一個讓科學家尷尬的事實:學術上的根本缺陷,工程上不一定要正面解決,繞過去一樣能起飛。
楊立昆主張要走「世界模型」的路線,讓 AI 像人一樣建立對物理規律的理解。他認為 Scaling Law(規模定律)有天花板,LLM 光靠堆算力不能產生真正的智慧。
但工程界用兩件事回應了他:
第一,資本的暴力美學。過去三年,人類往算力砸錢的瘋狂程度,讓模型規模產生的「湧現」直接蓋過了架構的粗糙。
第二,系統性的外掛補丁。模型記不住?掛上向量資料庫。模型理解不夠?接上 Vision 和工具。
這就是工程學最迷人的地方:解決問題不需要追求「本質的優雅」。
楊立昆在研究神經元的排列,而工程師在研究如何把這個「不完美的大腦」裝進一個強大的「機械外骨骼」裡。
楊立昆對 LLM 的核心批評,是他認為 Pattern Matching(模式匹配)不算真正的學習。
但如果這種模式匹配的複雜度足以模擬出文明的所有邏輯,那「學習本身到底是什麼模式」還重要嗎?
飛機與鳥的飛行原理完全不同。飛機沒有羽毛、不會拍翅膀,但在它飛得更高、更遠、更穩定的那一刻,它到底「算不算在飛」已經不重要了。
但繞過去的,跟真的解決,是兩回事。
只要底層架構沒變,楊立昆講的那些缺陷就真實存在。記憶是外掛的,不是原生的。就像義肢,裝上去能走能跑,但它跟真正的腿就是不一樣。你不能假裝它不存在。
所以雖然 AI 已經很強了,推理、寫作、寫程式,很多事做得比大部分人好,但它每次都是一個全新的大腦。沒有連續的意識,沒有累積的經驗。它所有的「記憶」、「理解」、「偏好」,全部來自你這次塞給它的上下文。
如果你去看 OpenClaw 最近的 repo 更新,你會發現記憶管理佔了很大的篇幅。怎麼讓 AI 在對話之間記住該記住的東西。
他們最近推的 QMD,把關鍵字搜尋跟語意搜尋混在一起用,就是為了解決一個問題:你三天前跟 AI 聊過的東西,它下次怎麼找得回來。
模型本身的能力會繼續進步,但只要底層是 LLM,記憶管理就是一個繞不開的大山。
用工程的角度來說,就是 Context Engineering 的重要程度,會逐漸超過模型本身。
你怎麼管理每次丟給模型的那包上下文,決定了 AI 能幫你做到什麼程度。哪些資訊該放、哪些不該放。什麼時候該砍掉重來、什麼時候該接著繼續。不同對話之間的記憶怎麼同步、怎麼取捨。
我自己每天都在處理這個問題。
舉個例子,我的 OpenClaw Agent KAI,它常常在多個頻道處理不同任務,但它們的記憶不是即時同步的。只要 http://MEMORY.md 還沒更新,它們就不知道彼此剛做了什麼。
所以我常常要幫它做認知同步。譬如告訴 A 分身,B 分身目前正在做什麼,然後要求 B 把做的東西整理好傳過去。或者更簡單一點,直接叫 A 去讀另一個 Discord 頻道最近兩小時的對話,讓它自己同步 B 的工作內容。
這種「認知斷裂」的現象,只要你常用 AI,一定會有很強烈的感覺。
從人格化的角度看,你會覺得它們是同一個人。但事實上,它們只是共享同一份記憶。只要記憶沒有同步,它們就是不同的人。
我現在花比較多時間在學這一塊。譬如今天 KAI 就教了我,如果讓 Claude Code 的 Opus 4.6 從外部調用 GPT 5.3-Codex,用 MCP 跟 coding-agent skill 的差異是什麼。
KAI 告訴我,差異的核心在於:中間過程要不要進主 context。
用 MCP 調用 Codex,每一個 tool call 都走 MCP 協議。Codex 過程中的每一個 turn,讀檔、改檔、跑測試、報錯、retry,全部以 tool result 的形式灌回 Opus 的 context。一個 coding task 可能產生幾十個 turn,跑完之後 Opus 的 context window 已經被中間過程塞滿了,後面每一 turn 都要重送這些垃圾。這就是 context 污染。
而 coding-agent skill 的設計完全不同。它把整個 coding task 交給一個獨立的 sub-agent,這個 sub-agent 在自己的 context 裡完成所有中間過程。跑完之後,回傳給 Opus 的是一個精簡的 handoff summary:改了哪些檔案、測試跑過了沒、有沒有殘留問題。中間那幾十個 turn 的掙扎,Opus 完全不需要知道。
同樣一件事,兩種做法,Opus 的 context 乾淨程度天差地遠。
所以同一個模型,不同的人用,產出可以差十倍。
人與人之間原本的能力差距,已經沒那麼重要了。你的學歷、你的年資、你寫程式的底子,這些東西的權重正在被 AI 快速壓縮。
取而代之的,是你怎麼使用 AI。這件事的精度,才是現在真正決定產出的變數。
你理不理解它的記憶是怎麼運作的。你知不知道什麼時候該砍掉 context 重來、什麼時候該讓它接著跑。你能不能在對的時間,把對的資訊塞進那個 context window。
這些東西有一個名字,叫 Context Engineering。
它不是什麼高深的學問,但它是所有想把 AI 用好的人,都應該深入研究的東西。
Source: here
Quck comment:
sbkm_twitter
Quck tags:
__sbkm_twitter, -, link