我仍在努力理解PyTorch autograd系統。我正在努力的一件事是理解為什么，并且似乎有不同的向后傳球。.clamp(min=0)nn.functional.relu()它特別令人困惑，因為它等效于PyTorch教程中的使用，例如 https://pytorch.org/tutorials/beginner/pytorch_with_examples.html#pytorch-nn。.clamprelu在分析具有一個隱藏層和一個relu激活（輸出層中的線性）的簡單全連接網絡的梯度時，我發現了這一點。據我所知，以下代碼的輸出應該只是零。我希望有人能向我展示我錯過了什么。import torchdtype = torch.floatx = torch.tensor([[3,2,1],                  [1,0,2],                  [4,1,2],                  [0,0,1]], dtype=dtype)y = torch.ones(4,4)w1_a = torch.tensor([[1,2],                     [0,1],                     [4,0]], dtype=dtype, requires_grad=True)w1_b = w1_a.clone().detach()w1_b.requires_grad = Truew2_a = torch.tensor([[-1, 1],                     [-2, 3]], dtype=dtype, requires_grad=True)w2_b = w2_a.clone().detach()w2_b.requires_grad = Truey_hat_a = torch.nn.functional.relu(x.mm(w1_a)).mm(w2_a)y_a = torch.ones_like(y_hat_a)y_hat_b = x.mm(w1_b).clamp(min=0).mm(w2_b)y_b = torch.ones_like(y_hat_b)loss_a = (y_hat_a - y_a).pow(2).sum()loss_b = (y_hat_b - y_b).pow(2).sum()loss_a.backward()loss_b.backward()print(w1_a.grad - w1_b.grad)print(w2_a.grad - w2_b.grad)# OUT:# tensor([[  0.,   0.],#         [  0.,   0.],#         [  0., -38.]])# tensor([[0., 0.],#         [0., 0.]])#