这部分是pytorch自动求导的部分
#首先导入pytorch包 import torch # 构建一个全为1的tensor,同时设置需要进行梯度求导 x = torch.ones(2, 2,requires_grad=True) print(x) tensor([[1., 1.], [1., 1.]], requires_grad=True) # 做一个加法运算，看到也是带有求梯度性质的 y = x + 2 print(y) tensor([[3., 3.], [3., 3.]], grad_fn=<AddBackward0>) print(y.grad_fn) <AddBackward0 object at 0x7f9d17398668> #在对y进行更多的操作 z = y * y * 3 #建议手写下这个计算过程，后面求梯度的时候也得算一下 out = z.mean() print(z, out) tensor([[27., 27.], [27., 27.]], grad_fn=<MulBackward0>) tensor(27., grad_fn=<MeanBackward0>) # 我不明白为啥这段LZ没有输出啊。。。 a = torch.randn(2, 2, requires_grad=False) a = ((a * 3) / (a - 1)) print(a.requires_grad) a.requires_grad_(True) print(a.requires_grad) b = (a * a).sum() print(b.grad_fn) # 使用链式法则求解out对x的求导 out.backward() print(x.grad) tensor([[4.5000, 4.5000], [4.5000, 4.5000]]) #随机产生3个数 x = torch.randn(3, requires_grad=True) y = x * 2 # 当其的平方和开跟小于1000，结束循环 while y.data.norm() < 1000: y = y * 2 print(y) tensor([-1348.8553, 58.7602, -407.5731], grad_fn=<MulBackward0>) # 其实就是设置求导后不同维度的系数，可以看到如果将结果除以对应的系数，基本上都是一个数量级的，如果想获得对应的求导结果，可以将系数全部设置为1即可，不然按照教程的说法，是无法对向量直接求导的 v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float) y.backward(v) print(x.grad) tensor([1.0240e+02, 1.0240e+03, 1.0240e-01]) print(x.requires_grad) print((x ** 2).requires_grad) #当将代码块封装在with这句代码中就可以组织autograd设置跟踪了 #打印出来requires_grad为False了 with torch.no_grad(): print((x ** 2).requires_grad) True True False参考地址: https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html#sphx-glr-beginner-blitz-autograd-tutorial-py
