AdaDeltaOptimizer有问题

[syaringan357]

AdaDeltaOptimizer这个优化策略类写的有问题，计算时没有使用学习率lrt这个参数。

[AskyJx]

你好，观察正确，AdaDelta确实没有用全局学习率参数，因为不再需要了；
原因和推导参见 原书96页第五章6小节 AdaDelta方法，或者这篇简介 学习策略的改进方法,AdaDelta。

[syaringan357]

@AskyJx 你好，但是训练时损失完全不会下降，如果加上全局学习率，或者使用AdamOptimizer就没问题。

[AskyJx]

你好，
源码库里AdaDelta方法虽然会接收lr参数项
def getUpdWeights(self, w, dw, lr)
但是计算的时候不会用到，否则就不再是AdaDelta方法了。
我实验的数据集，通常如果模型在场景下能收敛，那么AdaDelta方法训练损失都是下降的。没出现过你现在遇到的情况，期待你的下一步进展，多多交流。