ISSUE1

[459548764]

I think your work need improvement.
For chapter2, you say that the MNIST will get 92% acc. BUT YOU DON'T HAVE USED THE SIGMOLD TANH OR RELU ACTIVATION. I think it is hard to convince.

[AskyJx]

你好，
一、首先感谢你在另一个源码库指出了书中第34页代码第16行，exp_y应该是exp_z这个问题。

二、第2章这个例子，使用配套源码，不借助深度学习框架，可以单层全连接网络上不使用激活函数，在MNIST上独立验证集上实现92%的正确率（EPOCH_NUM=10，ITERATION=5）。实际上，如果把ITERATION这个参数调大，你可以观察到这个验证正确率还会再高一点。
个人觉得原因来自两方面，一是FC虽然只有一层，但是参数量够大，模型已经具备了一定的拟合能力；另一方面，Yann LeCun团队已经对MNIST数据集做过非常适合神经网络训练的预处理，所以对底层的纯粹算法研究来说，这套数据集非常合适。

一己之力实现书中涉及全部算法的toy projects，可能会有错误或不尽完善之处。但是书中所有实例的结果指标都是真实日志，你可以在自己的环境复现出来，甚至仅调整个别参数，得到更好的结果。

三、你提到书中源码和配套源码的差异也做一下说明。
1、首先书中源码以及配套源码的实现逻辑，都与书中对算法的讨论和推导一致。
2、 成书的时候，考虑过长的源码和注释行的换行可能会影响阅读体验，所以对长变量做了缩短处理；部分过长的注释，也拆分为多行。
3、 书中的源码，尽可能只保留和算法逻辑对应核心函数、或核心算法片段。不过多讨论类、对象、方法的封装逻辑。目的是保持书籍的内容精炼且不偏离算法的本质。
对框架OOP封装逻辑感兴趣的同行，可以通过阅读源码+观察执行过程理解封装逻辑，同样欢迎交流指正。

[syaringan357]

书不错的，就是源码封装的有点多，不过认真研究一下我自己也改成了自己想要的，话说回来，要是什么都等别人做好，也不会有很大收益。