大語言模型：從注意力機制到智能體時代丨面向復雜系統的人工智能第六講

導語

集智俱樂部、集智學園創始人，北京師范大學張江教授開設了，致力于打破學科壁壘，將復雜系統與人工智能深度融合。從神經網絡到因果推斷，從世界模型到多尺度建模，甚至包含最前沿的“氛圍編程（Vibe Coding）”實戰，帶你親手落地AI項目。

作為系列課程的第六講，張江教授將以「大語言模型：從注意力機制到智能體時代」為題，講解Transformer模型，大語言模型預訓練與微調，以及現在新的技術趨勢。正式分享將于4月13日（周一）13:30-16:15騰訊會議線上直播，北師大海淀區線下授課（助教可協助入校）。

課程簡介

ChatGPT背后的核心機制，Transformer注意力已成為當代AI基礎設施的核心組件，這套架構在過去七年里驅動了整個領域的能力跳躍。理解它，就是理解當前大模型能力的物理邊界在哪里。

本節課程從語言模型三十年的演進史出發，系統拆解大語言模型的運作原理。課程沿兩條主線推進：一條是機制主線，從注意力機制的幾何直覺（如何用Query-Key-Value構造有向信息網絡），到Transformer編解碼器的完整架構，再到GPT系列的訓練流程（預訓練→指令微調→RLHF）；另一條是前沿主線，大模型的涌現能力、思維鏈推理、推理時計算擴展規律，以及DeepSeek-R1用GRPO替代PPO的技術路線。

學完這門課，你能讀懂“Attention is All You Need”的推導，能解釋ChatGPT與DeepSeek的技術異同，能區分Prompt Engineering、Context Engineering與Harness Engineering三個工程層次，并具備從Prompt到API調用搭建LLM應用的基礎能力。

課程大綱

1. 認識大語言模型

   1. 語言模型三十年演進：n-gram統計模型→Word2Vec神經語言模型→預訓練LM（BERT/GPT）→LLM→多模態智能體

   2. LLM的六種使用方式：Prompt、應用集成、私有知識庫、AI Agent、Fine-tune、Train的適用場景與難度對比

   3. 上下文學習（In-context Learning）與指令學習（Instruction Learning）

   4. Prompt Engineering、Context Engineering及GPT API調用實踐

2. Transformer架構

   1. 信息聚合視角：全連接、卷積（局域聚合）、圖神經網絡的對比

   2. Query-Key-Value注意力

   3. 多頭注意力（Multi-head Attention）、Layer Norm、Position-wise Feedforward

   4. 正弦余弦位置編碼（Positional Encoding）及其設計動機

   5. Transformer編碼器-解碼器完整架構與PyTorch源碼解析

   6. In-context learning的數學本質：注意力機制等價于隱式梯度下降

3. GPT與DeepSeek

   1. GPT-1到GPT-4的技術演進：Decoder-only架構、參數規模爆增、in-context learning、多模態能力

   2. ChatGPT訓練流程：預訓練（Base Model）→監督微調（SFT）→獎勵建模→RLHF/PPO對齊

   3. 指令微調（Instruct Tuning）與人類反饋強化學習（RLHF）

   4. DeepSeek-V3：MATH-500達90.2分，極低推理成本的性能-價格帕累托最優

   5. DeepSeek-R1與GRPO：以組策略優化替代PPO，無需獨立價值網絡

4. 新趨勢

   1. 大模型涌現能力：規模突破臨界值后的能力突現

   2. 思維鏈（Chain of Thought）推理與推理時計算擴展定律（Inference Scaling Laws）

   3. AI Agents：自主性、任務特定性、反應性三要素

   4. Harness Engineering：Prompt→Context→Harness的工程范式演進，信息層/執行層/反饋層三層架構

關鍵術語

1. Transformer：基于多頭自注意力的序列建模架構，摒棄RNN的遞歸結構，當前主流LLM的核心組件

2. 自注意力（Self-attention）：序列每個位置對所有位置計算注意力權重，實現全局信息聚合；公式：Attention=softmax(QK^T/√d?)V

3. RLHF：基于人類反饋的強化學習，通過人工偏好標注訓練獎勵模型，再用PPO優化LLM輸出

4. GRPO：DeepSeek-R1采用的強化學習算法，以組策略優化替代PPO，省去獨立價值網絡

5. In-context Learning（ICL）：無需更新參數，僅在提示中提供少量示例引導LLM完成任務；數學上等價于注意力層的隱式梯度下降

6. 涌現能力（Emergent Abilities）：LLM參數規模突破閾值后突然具備的新能力

7. Positional Encoding：將位置信息注入詞嵌入，彌補注意力機制對序列順序不敏感的缺陷

8. Harness Engineering：2026年興起的智能體系統工程范式，整合Memory、Tools、Orchestration、Guardrails、Evaluation等組件于Prompt之上

9. 幻覺（Hallucination）：LLM生成與事實不符內容的現象，研究顯示約64%的LLM錯誤由此引發

課程信息

課程主題：大語言模型：從注意力機制到智能體時代

課程時間：2026年4月13日（周一） 13:30-16:15

課程形式：騰訊會議（會議信息見群內通知）/北師大海淀區線下授課（助教可協助入校）；集智學園網站錄播（3個工作日內上線）

課程主講人

張江，北京師范大學系統科學學院教授，集智俱樂部、集智學園創始人，集智科學研究中心理事長，曾任騰訊研究院、華為戰略研究院等特聘顧問。主要研究領域包括因果涌現、復雜系統分析與建模、規模理論等。

個人主頁：https://jake.swarma.org/

課程適用對象

1. 理工科背景高年級本科生

2. 理工科背景碩士、博士研究生

報名須知

1. 課程形式：

1. 參與方式：付費學員可參與騰訊會議直播/北師大海淀區線下授課（助教可協助入校）

2. 授課形式：

1. 平時：課堂討論與內容共創

2. 結課：項目匯報

2. 課程周期：2026年3月2日-2026年6月22日，每周一 13:30-16:15進行。

3. 課程定價：399元

課程鏈接：https://campus.swarma.org/v3/course/5684?from=wechat

付費流程：

2. 課程頁面添加學員登記表，添加助教微信入群；

3. 課程可開發票。

課程共創任務：課程字幕

為鼓勵學員深度參與、積極探索，我們致力于形成系列化知識傳播成果，并構建課程知識共建社群。為此，我們特別設立激勵機制，讓您的學習之旅滿載收獲與成就感。

課程以老師講授為主，每期結束后，助教會于課程群內發布字幕共創任務。學員通過參與這些任務，不僅能加深對內容的理解，還可獲得積分獎勵。積分可兌換其他讀書會課程或實物獎品，助力您的持續成長。

推薦課程

參考課程

1. 吳恩達：Build with Andrew https://www.deeplearning.ai/courses/build-with-andrew/

2. Jure Leskovec: Machine Learning with Graphs, StanfordCS224W.https://www.youtube.com/playlist?list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn

3. Steve Brunton: Data Driven Science and Engineering, University of Washingtonhttps://www.youtube.com/playlist?list=PLMrJAkhIeNNRpsRhXTMt8uJdIGz9-X_1-

4. Karthik Duraisamy: DATA-DRIVEN ANALYSIS AND MODELING OF COMPLEX SYSTEMS, Michigen institute for computational discovery and engineering, Michigen University.https://micde.umich.edu/academic-programs-old/data-driven-course/

5. Sergey Levine: Deep Reinforcement Learning, CS 285 at UC Berkeley.http://rail.eecs.berkeley.edu/deeprlcourse/

【集智學園網站資源】

1. 對復雜系統連續變化自動建?！狽eural Ordinary Differential Equations解讀https://campus.swarma.org/course/2046

2. 復雜網絡自動建模在大氣污染中的應用https://campus.swarma.org/course/1998

3. 兩套因果框架深度剖析：潛在結果模型與結構因果模型https://campus.swarma.org/course/2526

4. 穩定學習：發掘因果推理和機器學習的共同基礎https://campus.swarma.org/course/2323

5. 因果強化學習https://campus.swarma.org/course/2156

6. 張江：因果與機器學習能夠破解涌現之謎嗎https://campus.swarma.org/course/4540

7. 因果涌現理論提出者：Erik Hoel主題報告https://campus.swarma.org/course/4317

8. 如何從數據中發現因果涌現——神經信息壓縮器https://campus.swarma.org/course/4874

9. 標準化流技術簡介https://campus.swarma.org/course/1999

10. 帶隱狀態的強化學習世界模型https://campus.swarma.org/course/4848