PyTorch 的自動(dòng)求導(dǎo)模塊 torch.autograd，是深度學(xué)習(xí)訓(xùn)練中最核心的機(jī)制之一。它負(fù)責(zé)根據(jù)模型的前向計(jì)算過(guò)程，自動(dòng)構(gòu)建計(jì)算圖，并在反向傳播時(shí)自動(dòng)計(jì)算模型參數(shù)的梯度。

簡(jiǎn)單地說(shuō)，自動(dòng)求導(dǎo)模塊回答的是：模型輸出如何受到參數(shù)影響，損失函數(shù)如何對(duì)參數(shù)求導(dǎo)，以及優(yōu)化器為什么能夠根據(jù)梯度更新模型參數(shù)。

如果說(shuō) torch.nn 模塊負(fù)責(zé)組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，torch.optim 模塊負(fù)責(zé)更新模型參數(shù)，那么 torch.autograd 模塊就負(fù)責(zé)連接二者：它根據(jù)損失函數(shù)自動(dòng)計(jì)算梯度，讓模型能夠通過(guò)訓(xùn)練逐步改進(jìn)。

一、認(rèn)識(shí)自動(dòng)求導(dǎo)模塊

自動(dòng)求導(dǎo)（Automatic Differentiation）是 PyTorch 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)能力。它并不是簡(jiǎn)單地對(duì)某個(gè)數(shù)學(xué)公式手工求導(dǎo)，而是在張量計(jì)算過(guò)程中自動(dòng)記錄操作歷史，并在需要時(shí)沿著計(jì)算圖反向傳播梯度。

圖 1：自動(dòng)求導(dǎo)模塊在 PyTorch 訓(xùn)練流程中的位置

在 PyTorch 中，一個(gè)典型訓(xùn)練流程通常包括：

? 構(gòu)造輸入數(shù)據(jù)

? 定義模型

? 執(zhí)行前向傳播

? 計(jì)算損失函數(shù)

? 執(zhí)行反向傳播

? 使用優(yōu)化器更新參數(shù)

其中，自動(dòng)求導(dǎo)主要發(fā)生在“前向傳播之后、參數(shù)更新之前”。模型先根據(jù)輸入得到預(yù)測(cè)結(jié)果，損失函數(shù)再衡量預(yù)測(cè)結(jié)果與真實(shí)目標(biāo)之間的差異，隨后 PyTorch 根據(jù)這條計(jì)算路徑自動(dòng)計(jì)算梯度。

一個(gè)最簡(jiǎn)單的例子如下：

輸出結(jié)果為：

tensor(7.)

這里的數(shù)學(xué)關(guān)系是：

當(dāng) x = 2 時(shí)：

因此，x.grad 的結(jié)果是 7。

這個(gè)例子說(shuō)明：只要張量啟用了梯度跟蹤，PyTorch 就可以根據(jù)前向計(jì)算過(guò)程自動(dòng)完成反向求導(dǎo)。

二、requires_grad：是否跟蹤梯度

在 PyTorch 中，并不是所有張量都會(huì)自動(dòng)參與求導(dǎo)。只有設(shè)置了 requires_grad=True 的張量，才會(huì)被自動(dòng)求導(dǎo)系統(tǒng)跟蹤。

例如：

這里可以看出：

? x 需要計(jì)算梯度

? y 不需要計(jì)算梯度

? z 由 x 參與計(jì)算得到，因此 z 也會(huì)被納入計(jì)算圖

requires_grad 的作用可以理解為：告訴 PyTorch 是否需要記錄這個(gè)張量相關(guān)的計(jì)算歷史。

在神經(jīng)網(wǎng)絡(luò)中，模型參數(shù)通常默認(rèn)需要計(jì)算梯度。例如：

輸出結(jié)果通常為：

bias True

這說(shuō)明 nn.Linear 中的權(quán)重和偏置默認(rèn)會(huì)參與梯度計(jì)算。訓(xùn)練時(shí)，優(yōu)化器正是根據(jù)這些參數(shù)的梯度來(lái)更新它們。

三、計(jì)算圖：記錄張量之間的計(jì)算關(guān)系

自動(dòng)求導(dǎo)的基礎(chǔ)是（Computation Graph）。在前向計(jì)算過(guò)程中，PyTorch 會(huì)記錄張量之間的依賴(lài)關(guān)系，并形成一張動(dòng)態(tài)計(jì)算圖。

例如：

這里的計(jì)算過(guò)程可以理解為：

→ y = b2

只要最終對(duì) y 調(diào)用 backward()，PyTorch 就會(huì)沿著這條路徑反向計(jì)算梯度。

圖 2：從前向計(jì)算到反向傳播的計(jì)算圖

需要注意的是，PyTorch 使用的是動(dòng)態(tài)計(jì)算圖。也就是說(shuō)，計(jì)算圖是在每次前向傳播時(shí)動(dòng)態(tài)構(gòu)建的，而不是提前固定好的。

這使得 PyTorch 代碼更接近普通 Python 程序，可以自然地使用條件判斷、循環(huán)和函數(shù)調(diào)用。

例如：

這里的計(jì)算路徑取決于運(yùn)行時(shí)的條件判斷。PyTorch 會(huì)根據(jù)實(shí)際執(zhí)行過(guò)的操作構(gòu)建計(jì)算圖。

四、backward()：執(zhí)行反向傳播

backward() 是自動(dòng)求導(dǎo)中最常用的方法。它的作用是從某個(gè)結(jié)果張量出發(fā)，沿著計(jì)算圖反向計(jì)算梯度。

例如：

print(x.grad)

輸出結(jié)果為：

tensor(6.)

對(duì)應(yīng)的數(shù)學(xué)關(guān)系是：

當(dāng) x = 3 時(shí)，梯度為 6。

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，通常不是直接對(duì)模型輸出調(diào)用 backward()，而是對(duì)損失函數(shù)調(diào)用：

loss.backward()

這表示：計(jì)算損失函數(shù)對(duì)所有可學(xué)習(xí)參數(shù)的梯度。

例如：

這里可以理解為：

? 前向傳播得到預(yù)測(cè)值 pred

? 損失函數(shù)得到 loss

? loss.backward() 計(jì)算 loss 對(duì)模型參數(shù)的梯度

? 梯度保存在參數(shù)的 .grad 屬性中

五、grad：查看張量的梯度

當(dāng)一個(gè)張量需要計(jì)算梯度，并且參與了反向傳播之后，它的梯度通常保存在 .grad 屬性中。

例如：

print(x.grad)

輸出結(jié)果為：

tensor(12.)

對(duì)應(yīng)的數(shù)學(xué)關(guān)系是：

當(dāng) x = 2 時(shí)：

在神經(jīng)網(wǎng)絡(luò)中，也可以查看模型參數(shù)的梯度：

需要注意的是，通常只有葉子張量的 .grad 會(huì)被保留下來(lái)。模型參數(shù)一般就是葉子張量，因此它們的 .grad 可以直接查看。

中間計(jì)算結(jié)果雖然參與計(jì)算圖，但默認(rèn)不一定保留 .grad。如果確實(shí)需要查看中間張量的梯度，可以使用 retain_grad()。

六、梯度累積與 zero_grad()

PyTorch 中的梯度默認(rèn)會(huì)累積，而不是每次自動(dòng)清零。

例如：

第二次打印的結(jié)果不是只包含 y2 對(duì) x 的梯度，而是兩次梯度的累加。

這是因?yàn)?PyTorch 允許在復(fù)雜場(chǎng)景中多次累積梯度，例如梯度累積訓(xùn)練、多個(gè)損失共同反向傳播等。但在普通訓(xùn)練循環(huán)中，每一輪參數(shù)更新前通常都需要清空上一輪梯度。

因此，訓(xùn)練代碼中經(jīng)常會(huì)寫(xiě)：

optimizer.step()

完整示例如下：

這個(gè)順序非常重要。一般訓(xùn)練時(shí)不應(yīng)忘記 optimizer.zero_grad()，否則梯度會(huì)不斷累積，導(dǎo)致參數(shù)更新異常。

七、標(biāo)量輸出與非標(biāo)量輸出的 backward()

在 PyTorch 中，如果輸出是標(biāo)量，通?？梢灾苯诱{(diào)用 backward()。

例如：

這里的 y 是一個(gè)標(biāo)量，因此可以直接反向傳播。

但如果輸出不是標(biāo)量，就不能直接調(diào)用 backward()，除非提供一個(gè)與輸出形狀一致的梯度參數(shù)。

例如：

這里的 torch.ones_like(y) 可以理解為給每個(gè)輸出分量提供一個(gè)反向傳播的初始權(quán)重。

在多數(shù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，損失函數(shù)通常會(huì)把多個(gè)樣本的損失聚合為一個(gè)標(biāo)量，所以常見(jiàn)寫(xiě)法仍然是：

loss.backward()

這也是為什么損失函數(shù)默認(rèn)通常會(huì)返回一個(gè)標(biāo)量結(jié)果。

八、torch.autograd.grad：直接計(jì)算梯度

除了使用 backward()，PyTorch 還提供了 torch.autograd.grad()，用于直接計(jì)算某些輸出對(duì)某些輸入的梯度。

例如：

輸出結(jié)果類(lèi)似：

(tensor(14.),)

對(duì)應(yīng)的數(shù)學(xué)關(guān)系是：

當(dāng) x = 2 時(shí)：

backward() 和 autograd.grad() 的區(qū)別可以簡(jiǎn)單理解為：

? backward() 通常把梯度累積到張量的 .grad 屬性中

? autograd.grad() 通常直接返回梯度結(jié)果

在普通神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，loss.backward() 更常見(jiàn)；在需要精確控制梯度計(jì)算的場(chǎng)景中，torch.autograd.grad() 更靈活。例如，一些自定義優(yōu)化方法、元學(xué)習(xí)、高階導(dǎo)數(shù)計(jì)算和物理信息神經(jīng)網(wǎng)絡(luò)中，會(huì)經(jīng)常用到它。

九、關(guān)閉梯度計(jì)算：no_grad() 與 inference_mode()

并不是所有前向計(jì)算都需要梯度。在驗(yàn)證、測(cè)試和推理階段，模型通常只需要輸出結(jié)果，不需要反向傳播。

這時(shí)可以使用 torch.no_grad() 關(guān)閉梯度記錄：

這樣做有兩個(gè)主要好處：

? 減少不必要的計(jì)算圖記錄

? 降低內(nèi)存占用

在推理階段，常見(jiàn)寫(xiě)法是：

還可以使用 torch.inference_mode()：

inference_mode() 比 no_grad() 更偏向純推理場(chǎng)景，限制更強(qiáng)，通?？梢赃M(jìn)一步減少自動(dòng)求導(dǎo)相關(guān)開(kāi)銷(xiāo)。初學(xué)階段可以先掌握 no_grad()，在明確只做推理時(shí)再了解 inference_mode()。

需要注意的是：

? model.eval() 負(fù)責(zé)切換模型中 Dropout、BatchNorm 等層的行為

? torch.no_grad() 負(fù)責(zé)關(guān)閉梯度記錄

二者作用不同，推理時(shí)通常一起使用。

十、detach()：從計(jì)算圖中分離張量

detach() 用于從當(dāng)前計(jì)算圖中分離出一個(gè)張量。分離后的張量與原張量共享數(shù)據(jù)，但不再保留梯度計(jì)算關(guān)系。

例如：

輸出結(jié)果為：

False

這說(shuō)明 z 不再被自動(dòng)求導(dǎo)系統(tǒng)跟蹤。

detach() 常用于以下場(chǎng)景：

? 在記錄日志時(shí)保存數(shù)值，但不希望繼續(xù)跟蹤梯度

? 在某些模型結(jié)構(gòu)中阻斷梯度傳播

? 在生成模型或強(qiáng)化學(xué)習(xí)中分離目標(biāo)值

? 把張量轉(zhuǎn)換為 NumPy 數(shù)組前先斷開(kāi)計(jì)算圖

例如：

value = loss.detach().item()

或者：

array = tensor.detach().cpu().numpy()

需要注意的是，detach() 不是復(fù)制一份完全獨(dú)立的數(shù)據(jù)。它返回的新張量可能與原張量共享底層存儲(chǔ)，因此不應(yīng)隨意對(duì)其進(jìn)行原地修改。

十一、凍結(jié)參數(shù)：控制哪些部分參與訓(xùn)練

在遷移學(xué)習(xí)或微調(diào)模型時(shí)，經(jīng)常需要凍結(jié)部分參數(shù)，只訓(xùn)練新加的分類(lèi)頭或少量模塊。

凍結(jié)參數(shù)的關(guān)鍵是設(shè)置：

param.requires_grad = False

例如：

這里可以理解為：

? feature 部分參數(shù)不再計(jì)算梯度

? classifier 部分參數(shù)仍然參與訓(xùn)練

? 優(yōu)化器只接收需要更新的參數(shù)

這種做法常用于預(yù)訓(xùn)練模型微調(diào)。例如，先凍結(jié)主干網(wǎng)絡(luò)，只訓(xùn)練任務(wù)相關(guān)的輸出層；之后再根據(jù)需要解凍部分層進(jìn)行進(jìn)一步訓(xùn)練。

十二、原地操作與計(jì)算圖問(wèn)題

在 PyTorch 中，某些原地操作可能破壞自動(dòng)求導(dǎo)所需的中間值，從而導(dǎo)致反向傳播錯(cuò)誤。

原地操作通常指會(huì)直接修改原張量?jī)?nèi)容的操作，例如：

x.relu_()

帶下劃線(xiàn)的方法通常表示原地修改。

并不是所有原地操作都會(huì)出錯(cuò)，但在涉及梯度計(jì)算時(shí)，需要格外謹(jǐn)慎。因?yàn)樽詣?dòng)求導(dǎo)系統(tǒng)在反向傳播時(shí)可能需要前向傳播中的某些中間結(jié)果，如果這些結(jié)果被原地修改，梯度計(jì)算就可能無(wú)法正確進(jìn)行。

例如，下面這種寫(xiě)法就容易引發(fā)問(wèn)題：

在實(shí)際訓(xùn)練中，建議初學(xué)者少用原地操作，尤其是在不確定其影響時(shí)。優(yōu)先使用非原地寫(xiě)法：

y = y + 1

而不是：

y.add_(1)

這樣更安全，也更容易調(diào)試。

十三、自動(dòng)求導(dǎo)與神經(jīng)網(wǎng)絡(luò)訓(xùn)練閉環(huán)

自動(dòng)求導(dǎo)并不是孤立存在的，它通常與模型、損失函數(shù)和優(yōu)化器共同構(gòu)成訓(xùn)練閉環(huán)。

圖 3：自動(dòng)求導(dǎo)驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練閉環(huán)

下面是一個(gè)完整的簡(jiǎn)單分類(lèi)訓(xùn)練示例：

這個(gè)示例中，自動(dòng)求導(dǎo)主要體現(xiàn)在：

? 前向傳播時(shí)，PyTorch 自動(dòng)記錄計(jì)算路徑

? loss.backward() 自動(dòng)計(jì)算損失對(duì)參數(shù)的梯度

? 梯度保存在模型參數(shù)的 .grad 屬性中

? optimizer.step() 根據(jù)梯度更新參數(shù)

這就是深度學(xué)習(xí)訓(xùn)練最基本的工作方式。

十四、驗(yàn)證與推理階段的自動(dòng)求導(dǎo)控制

訓(xùn)練階段需要梯度，驗(yàn)證和推理階段通常不需要梯度。因此，訓(xùn)練和推理代碼應(yīng)當(dāng)區(qū)分清楚。

訓(xùn)練階段通常寫(xiě)成：

驗(yàn)證或推理階段通常寫(xiě)成：

兩者的核心區(qū)別是：

? 訓(xùn)練階段需要記錄計(jì)算圖

? 訓(xùn)練階段需要反向傳播

? 訓(xùn)練階段需要更新參數(shù)

? 推理階段只需要前向計(jì)算

? 推理階段通常不需要梯度

如果在推理階段忘記使用 torch.no_grad()，代碼通常仍然能運(yùn)行，但會(huì)記錄不必要的計(jì)算圖，增加內(nèi)存開(kāi)銷(xiāo)。

如果在訓(xùn)練階段錯(cuò)誤使用了 torch.no_grad()，則可能導(dǎo)致?lián)p失無(wú)法反向傳播，模型參數(shù)無(wú)法更新。

十五、使用自動(dòng)求導(dǎo)時(shí)應(yīng)注意的問(wèn)題

1、只有 requires_grad=True 的張量才會(huì)被跟蹤

普通張量默認(rèn)不計(jì)算梯度。例如：

x = torch.tensor(2.0)

如果需要對(duì) x 求導(dǎo)，應(yīng)寫(xiě)成：

x = torch.tensor(2.0, requires_grad=True)

在神經(jīng)網(wǎng)絡(luò)中，模型參數(shù)默認(rèn)通常已經(jīng)設(shè)置了 requires_grad=True，不需要手動(dòng)指定。

2、通常對(duì)標(biāo)量 loss 調(diào)用 backward()

普通訓(xùn)練中，推薦對(duì)損失函數(shù)結(jié)果調(diào)用：

loss.backward()

如果輸出不是標(biāo)量，則需要提供額外的梯度參數(shù)。初學(xué)階段可以先理解：損失函數(shù)通常會(huì)把多個(gè)樣本的誤差匯總成一個(gè)標(biāo)量，方便執(zhí)行反向傳播。

3、反向傳播前要清空舊梯度

PyTorch 的梯度默認(rèn)會(huì)累積，所以訓(xùn)練循環(huán)中通常要寫(xiě)：

optimizer.step()

如果忘記清空梯度，參數(shù)更新可能會(huì)受到前幾輪梯度的影響，導(dǎo)致訓(xùn)練過(guò)程異常。

4、不要把 loss.item() 用于反向傳播

loss.item() 會(huì)把張量轉(zhuǎn)換為普通 Python 數(shù)值，它已經(jīng)脫離計(jì)算圖。

正確寫(xiě)法是：

loss.backward()

錯(cuò)誤寫(xiě)法是：

loss.item().backward()

item() 適合用于打印日志，而不是用于繼續(xù)計(jì)算梯度。

5、不要在訓(xùn)練階段隨意使用 detach()

detach() 會(huì)切斷計(jì)算圖。如果在訓(xùn)練過(guò)程中錯(cuò)誤地對(duì)關(guān)鍵張量使用 detach()，梯度就無(wú)法繼續(xù)傳播。

例如：

loss.backward()

這種寫(xiě)法會(huì)導(dǎo)致模型參數(shù)無(wú)法通過(guò) logits 接收到梯度，訓(xùn)練失效。

6、推理階段應(yīng)使用 no_grad()

驗(yàn)證或推理時(shí)推薦寫(xiě)法：

    output = model(x)

這樣可以避免記錄不必要的計(jì)算圖，減少內(nèi)存消耗。

7、凍結(jié)參數(shù)要同時(shí)考慮優(yōu)化器

如果某些參數(shù)設(shè)置了：

param.requires_grad = False

最好在創(chuàng)建優(yōu)化器時(shí)只傳入仍然需要訓(xùn)練的參數(shù)：

)

這樣可以讓訓(xùn)練目標(biāo)更明確，也避免優(yōu)化器持有不需要更新的參數(shù)。

8、注意原地操作可能影響梯度計(jì)算

帶下劃線(xiàn)的方法通常是原地操作，例如：

zero_()

在不熟悉自動(dòng)求導(dǎo)機(jī)制時(shí)，應(yīng)盡量少在參與計(jì)算圖的張量上使用原地操作。否則可能破壞反向傳播所需的中間結(jié)果。

小結(jié)

PyTorch 自動(dòng)求導(dǎo)模塊負(fù)責(zé)記錄計(jì)算圖并自動(dòng)計(jì)算梯度，是模型訓(xùn)練的核心機(jī)制。理解 requires_grad、backward()、.grad、梯度清零與推理階段關(guān)閉梯度，有助于把握神經(jīng)網(wǎng)絡(luò)如何從損失中學(xué)習(xí)并更新參數(shù)。

“點(diǎn)贊有美意，贊賞是鼓勵(lì)”