大家好，我是程序員魚皮。

用 AI 編程這么久，你有沒有好奇過，AI 到底是怎么聽懂我們說的話的？它憑什么知道下一個詞該寫什么？為什么有時候能寫出完美的代碼，有時候又會一本正經地胡說八道？

這篇文章，我想用最通俗的方式帶你把 AI 大模型背后的原理捋一遍，不需要數學基礎、也不需要懂算法。

看完之后你再用 AI 編程，心里會更有底，也更知道該怎么跟它打交道。

1、AI 生成的本質

不管你是在跟 AI 聊天，還是在編輯器里讓它幫你寫代碼，背后的事情其實出奇地簡單，就是一個超大的模型在不停地預測下一個詞。

你給它一段話，它會算出接下來最可能出現的詞，接上去之后再接著預測下一個，就這么一個詞一個詞地往外蹦，直到拼出一整段完整的回答。

比如你輸入「天空是」，AI 心里會算算下一個詞的概率，藍色的可能性最高，灰色次之，再往后還有美麗、無限之類的。

它會挑個概率高的接上，假設接了「藍色」，再基于「天空是藍色」繼續預測下一個詞。

下一個詞預測

這也是為什么 AI 的回答是一個字一個字冒出來的，因為它真的就是一個一個生成的。

那它憑什么知道「天空是」后面大概率跟「藍色」呢？

答案是依靠訓練。

AI 在訓練階段讀過了互聯網上的海量文字，「天空是藍色的」這種說法見過無數次，自然就學會了這種語言規律。

想通這一點，很多現象你就都能理解了。AI 之所以會胡說八道，是因為它本質上只是在按概率猜詞，并沒有真的理解事實。你的提示詞越清楚，它預測得就越準；需求越模糊，它越容易答非所問。

AI 能寫代碼，也是因為訓練時啃過海量代碼，摸清了代碼的套路。

所以 AI 編程時，大家要多花幾分鐘把需求講清楚、把相關文件附上，輸出質量立馬就上一個臺階。

2、AI 的大腦是怎么長的

AI 是靠什么來做這個預測的呢？

這就要提到一種叫 Transformer 的結構了。

它來自 2017 年 Google 的一篇論文，叫《Attention Is All You Need》，翻譯過來就是「注意力就是你所需要的一切」。

現在你聽過的那些主流大模型，從 ChatGPT、Claude 到 Gemini、DeepSeek、通義千問，幾乎全都建立在這個結構之上。

Transformer 架構

你可以把 Transformer 理解成 AI 的大腦結構。在它出現之前，處理文字的模型有點像一個人看書只能從頭一個字一個字往下讀，讀到后面很容易就忘了前面講了啥。而 Transformer 的厲害之處在于，它能一眼看到整段話里的每一個詞，還能判斷哪些詞之間的關系最重要，這個判斷關系的本事就是注意力機制，也是讓大模型一下子變強的關鍵。

打個比方，你在書里讀到「小明把蘋果遞給小紅，她說謝謝」，如果有人問你這個「她」指的是誰，你會很自然地把注意力投到前面的小紅身上，因為結合上下文，「她」和「小紅」的關聯最強。

注意力機制

AI 干的就是類似的事。對于輸入里的每一個詞，它都會去算這個詞跟其他所有詞的關聯有多強，然后把更多注意力放在最相關的那些詞上。而且它不止從一個角度看，還會同時從語法、語義、邏輯好幾個維度去琢磨詞和詞的關系，理解得自然就更全面。

3、AI 怎么把文字變成數字

前面講的預測下一個詞也好、注意力也好，其實 AI 都不是直接在文字上做的，因為它壓根看不懂文字，只認數字！

所以 AI 真正開工之前，得先把我們打進去的字翻譯成數字。

第一步叫分詞，就是把一段話切成一個個小塊，每個小塊叫一個 Token。對于國外大模型，英文里一個 Token 差不多是一個單詞或者半個單詞，中文里一個漢字大概對應一到兩個 Token，但是不絕對。

Token 太重要了，堪比新時代的話費流量。因為它是 AI 計費的基本單位，你跟 AI 每聊一句燒的都是 Token，說得越啰嗦花的錢越多。

我之前調 Bug 圖省事，把一大段錯誤日志反復粘給 AI，白白浪費了不少額度，后來只截最關鍵的那幾行發過去，效果一樣好，還省錢。

切完詞之后，每個 Token 會被轉換成一串數字，這個過程叫嵌入。它神奇的地方在于，意思相近的詞轉出來的數字也會很接近，比如貓和狗就離得近，貓和飛機就離得遠。

分詞和嵌入

AI 編程時，像 Cursor 這類工具會給項目里的代碼建好索引，你一提問，它就能憑借語義把最相關的代碼片段撈出來喂給 AI，這也是為什么 AI 能摸清你的項目、按實際情況來回答。

光有詞義還不夠，詞的順序也得管管，比如「我吃了飯」和「飯吃了我」用的字一樣，意思卻完全相反，所以模型還會額外給每個詞標上位置信息。

4、一個 AI 是怎么練出來的

一個能跟你流暢聊天、幫你寫代碼的 AI，是怎么從零練出來的呢？

整個過程大致分三步，特別像培養一個人才，先讀萬卷書，再學怎么答題，最后不斷地成長歷練。

訓練三階段

第一步是預訓練。模型會去啃互聯網上的海量文字，網頁、書籍、代碼、論文什么都看。

學習方式簡單粗暴，給它一段話遮住最后一個詞讓它猜，猜錯了就調整參數，猜對了就加強，這么反復練上無數次，各種語言規律和知識就慢慢刻進了參數里。

這一步練出來的叫基礎模型，雖然有了一大堆知識，但還不太會好好說話，就像一個學生在圖書館里瘋狂看書，看完滿腦子東西，可你真問他一個具體問題，他可能東拉西扯組織不好語言。

而且這一步還特別燒錢，得用成千上萬張頂級顯卡跑上好幾個月，所以也只有大公司玩得起。。。

第二步是監督微調，目標是教會模型好好回答問題。

做法是請人準備大量高質量的問答范例，覆蓋寫代碼、答疑、做總結等各種任務，然后讓模型照著學。這有點像新員工入職培訓，你本事再大，也得先有人給你做示范。

練完這一步，模型就從只會續寫變成了會對話。

第三步是人類對齊，目標是讓模型說話更符合人類的價值觀。光會回答還不行，它可能會蹦出一些有害的、不合適的內容，所以還要有人來告訴它什么樣的回答是好的、什么樣的是不好的，讓它慢慢學會什么該說、什么不該說、怎么說更讓人舒服。

把訓練這套流程想明白了，不少事兒也就解釋得通了。

比如 AI 為啥不知道最近發生的新聞？

• 因為訓練數據有截止時間。

AI 為啥不肯幫你做壞事？

• 因為經過了人類對齊這一關。

不同模型說話風格為啥不一樣？

• 因為對齊時喂的偏好數據不同，調教出來的脾氣自然就有差別。

前面我講訓練時一直在提「參數」，又是調參數，又是把知識刻進參數里。你肯定也聽過千億參數、萬億參數這種說法。

那參數到底是啥，是不是越多就越強？

簡單來說，參數就是模型訓練時學到的那些「知識數字」。一開始它們大多是隨機的，訓練時模型不停拿自己的預測和正確答案對比，再一點點把這些數字調準，練到最后，海量數據里的規律就被壓縮進了這些參數里。

你可以把它想象成大腦里的神經連接，參數越多，能裝下的知識和規律也就越豐富。

2020 年 OpenAI 發現了一個規律，模型的能力會隨著參數量、數據量和算力的增加而穩定提升，而且這種提升有跡可循、能提前預估，這就是大名鼎鼎的 Scaling Law 縮放定律。兩年后 DeepMind 又補了一條關鍵經驗，光堆參數不行，數據量也得跟上，他們算出來大概每一個參數要配上 20 個 Token 的訓練數據，效果才最劃算。

不過隨著參數越堆越多，又帶來一個新麻煩。要是每次回答都動用全部參數，成本就高得離譜了。

于是工程師們想了個聰明的辦法，干嘛非得每次都全員上陣呢，根據問題類型只叫醒最相關的那一小部分參數不就行了？

這就是現在很流行的 MoE 混合專家架構的思路。

你可以把它想象成一家大醫院，里面有內科、外科、眼科幾十個科室，但你來看病不用每個科室都跑一遍。掛號臺會幫你分診，去最對口的兩三個科室就夠了。

MoE 混合專家

模型內部也養著一堆各有所長的「專家」，每個 Token 進來，先由一個路由器判斷該交給哪幾個專家，只有被選中的少數專家才會被激活。這樣模型的總參數可以做得特別大，知識容量管夠，但每次實際干活只用其中一小部分，速度快了、成本也下來了，這也是為什么有些模型既便宜又好用。

6、先思考再回答的 AI

你可能發現了，現在不少 AI 在回答難題時，會先「想一會兒」，把思考過程攤開來給你看，然后才給結論。這就是推理模型在發揮作用。

早期的模型接到問題就急著報答案，碰上復雜問題特別容易翻車。后來有人發現，要是讓模型把中間的推理步驟一步步寫出來，正確率能高一大截。

這就跟我們做數學題一樣，直接寫答案容易算錯，列出步驟一步步推，正確的概率就高多了。這個技巧叫思維鏈，你不用做什么特殊設置，在提示詞里加一句「請一步步思考」，效果往往就會更好。

推理模型思維鏈

后來這個能力被專門強化，國內外都推出了主打推理的模型，回答之前會先在內部盤算一番，對數學、代碼、邏輯這類硬核任務效果特別好。一般想得越久答案越靠譜，但也不是越久越好，想過頭了反而可能把自己繞進去，就像考試時一道題糾結太久越想越亂。

現在的趨勢是讓 AI 自己判斷該想多深，簡單問題秒回，難題才慢慢推。

我們在 AI 編程時，對于改個樣式、加個注釋這種小事，用普通模型就行，又快又便宜。但要是設計架構方案、排查一個詭異的 Bug，那就值得切到推理模型，哪怕慢一點貴一點，省下的返工時間遠比多花的那點錢值。

7、能看圖聽聲的 AI

早期的大模型只會處理文字，而現在的 AI 越來越全能了，不光能讀文字，還能看圖、聽語音，甚至看懂視頻，這種就叫多模態模型。

它的原理跟人腦有點像，我們能同時把看到的畫面、聽到的聲音、讀到的文字揉在一起理解，多模態模型也是把圖片和文字都轉換成它能算的數字，再放到一起處理。

多模態模型

這個能力在 AI 編程時還是很香的，我用得最多的就是截圖調試。比如我想調整一個前端頁面的樣式，用文字跟 AI 描述半天它也沒整明白我想要啥效果。干脆直接把頁面截圖甩給它，在截圖上畫畫圈、標注一下，AI 立刻就懂了。

8、AI 不是萬能的

講了這么多 AI 的本事，也得說說它的短板。

AI 最常見的問題就是幻覺，意思是 AI 會一本正經地編造不存在的東西，比如瞎掰一個根本沒有的函數、推薦一個不存在的庫。

AI 幻覺

因為當 AI 對某個知識點沒把握時，不會老老實實說「我不知道」，而是會順著概率腦補一個看起來挺合理的答案。它做的始終是猜最可能的下一個詞，而不是去查真實的事實。

此外，AI 還有幾個毛病。

1）AI 的知識有截止時間，它不會知道訓練數據之后才出現的新框架、新代碼寫法。所以 AI 編程時，先讓 AI 聯網搜一下最新文檔再動手。

2）AI 模型有個「中間遺失」的現象，放在開頭和結尾的信息它記得更牢，夾在中間的反而容易被忽略，就像讓你一口氣讀完一本五百頁的書，開頭結尾印象深，中間的細節很容易糊成一團。所以上下文也不是塞得越多越好。

3）它每次的回答都帶點隨機性，同樣的問題問兩遍，答案可能不完全一樣。所以需要根據任務調整 AI 的溫度（Temperature）參數，用來控制隨機性。

OK 到這里，AI 大模型的核心原理基本就講完了。從「預測下一個詞」這個最樸素的機制，到 Transformer 和注意力讓它讀懂上下文，再到一步步訓練出來、靠推理模型學會思考，相信大家對 AI 有了更深刻的認識。

把這些想明白，再回頭用 AI 編程，很多技巧你自然都會注意了。你會明白為什么提示詞要寫清楚、為什么要給足上下文、什么時候該切推理模型、怎么用才更省錢。你不用成為 AI 專家，但有了這層底子，以后再冒出新模型、新工具，你也能很快看穿它的本質。

我是魚皮，持續分享 AI 編程相關的干貨，覺得有用的話記得點贊收藏關注一波~

也歡迎在評論區聊聊：還有哪些你想學習的 AI 知識？（征集素材哈哈哈）