mxnet的自动求导有两个选项，分别是wrtie和add；pytorch则完全没有这个选项。一时间也不知道到底是个啥情况。然后试着在mxnet中用了这两个选项，算是明白了一点write和add的差别：write相当于梯度清零，而add相当于累加。所谓清零就是梯度重算，将上次计算的梯度置零，或者用新的梯度覆盖原值的操作。但是在LSTM中，是一轮之后write，还是在每次W、U之后write呢？当时，不论是哪种情况，mxnet的结果都是错误的。怎么回事呢？接着往下看。

Mxnet没找到感觉，那就在pytorch上试着找吧。好在pytorch非常容易上手，加之mxnet也有那么一点点的经验积蓄，因此很快就改写出了pytorch版本的LSTM。只是结果仍然是错误的——积蓄投资失败了。

接下来就是无数次的折腾。宅并折腾了两天，实在没头绪，便出门开了两个小时的车，算是彻底把mxnet和pytorch扔在了脑后。回到家刚一坐下来，突然想到write和add这两个家伙，便想pytorch没有这两个选项，能不能“人造”一个呢？在ipython互动环境里试了几个操作，发现pytorch的梯度是可以从“外部人为”赋值的。比如对某个Variable通过backward()求得梯度后，可以将其赋予另外的一个浮点数。这倒是有点费解，原以为只能通过backward()算法本身赋值的。当时也来不及细想，便直接在pytorch里面尝试结果如何。在进入每轮前后向训练之前，将下面9个矩阵的梯度重置为零：

V.grad.data.zero_()

Ux.grad.data.zero_()

Wx.grad.data.zero_()

V是最后的输出矩阵，Ux是输入矩阵,Wx是隐层矩阵。x是脚标，分别代表LSTM的f、i、g、o 四个gate。总共是9个矩阵，所以对9个矩阵的梯度清零。

接下来，就是正确的结果。

就这么个东西，折腾人啊。还是开车才能彻底抛弃一切啊！

回过头来尝试mxnet，不管是梯度的write还是add， 仍然是当初那一副屌样，错误的结果依旧。怎么回事呢？其实想想也没什么别的改变，不过是重复之前已经试过的write和add项目，当然不会有什么好的果子了。