本书由微软亚洲研究院的资深AI工程师撰写，是一本面向初学者的、以实战为导向的深度学习指南。本书首先详细讲解了深度学习的知识体系、核心概念、模型与算法、工具和库（TensorFlow等）等全栈技术知识，然后以案例的形式讲解了如何将这些知识应用到计算机视觉、自然语言处理、语音识别、对话机器人、人脸识别、自动驾驶领域。
深度学习：核心技术、工具与案例解析 读后感一个半小时扫完，果然看书使人发困，中间几次看得要睡着了… 居然定价这么高，但是干货少，示意图很多都是网上来的，有些内容讲的比较生硬，如果刚入门看这个不知感受如何，有些总结性的直接上来就说了，确实有些有道理，不过讲真看过术语表达应该好一些，组里同学沟通也经常术语不一致，或者表达不到位的，哈哈… 不过这玩意儿，你懂就好，就怕大家说的不是一件事情不是同样的认知…深度学习：核心技术、工具与案例解析高彦杰 于子叶20个笔记◆ 前言>> 神经网络学习与Tensorflow．实践◆ 1.6 参考资料>> ▼ PAI链接：https://github.com/Microsoft/pai。▼ 微软Azure链接：https://azure.microsoft.com。◆ 2.1 深度学习基础>> 深度学习可以通过各种可训练的层，我们也可以将其看作是特征提取器，进而替代人工进行特征工程，达到自动化和提升机器学习的过程。同时深度学习通过多层非线性变换和组合，得到了更加有效的特征表示，获得了更强的模型拟合>> 设计了相应的优化的网络结构，例如卷积层、池化层等，其大大减少了计算量与自由参数数量，提升了计算速度>> 由于深度神经网络层数增多，相当于在参数一定的情况下，能够获得更多的参数组合，相比于单纯提升单隐藏层参数的神经网络参数其有更强的模型拟合能力。>> ▼ 优势：导数计算简单，梯度下降更加容易实现与计算。▼ 劣势：由图2-3所示的Sigmoid函数几何图形可以看到，自变量取值在0附近时，函数斜率较大；当远离0的两侧取值时，斜率趋近于0，容易发生梯度消失，迭代算法的收敛速度很慢，有些情况下甚至不会收敛。同时其输出均值不为0，这也是其劣势所在。>> Sigmoid的导数只有在0附近的时候才有比较好的激活性，在正负饱和区其梯度都接近于0，所以这会造成梯度弥散，而ReLU函数的梯度在大于0的部分为常数，所以不会产生梯度消失现象。Relu函数在参数为负数时的导数为0，所以一旦神经元激活值为负，那么梯度就会为0，从而这个神经元不会经历训练，也就是我们所说的稀疏性。>> AlexNet的论文中证明，对于相同的网络结构，ReLU为激活函数，收敛速度相比Tanh快6倍以上◆ 2.2 CNN>> 一般的思路是通过数据增强或优化模型结构来解决相应问题。▼ 平移不变性（Translation Invariance）解决：卷积层、权值共享、池化层。▼ 旋转视角不变性（Rotation/Viewpoint Invariance）解决：数据增强，对数据进行旋转Rotation。卷积层和池化层。▼ 尺寸不变性（Size Invariance）解决：Inception。>> 在卷积神经网络中，感受野的定义是卷积神经网络每一层输出的特征图上其像素点在原始图像上映射的区域大小>> 当抓取到足以用来识别图片的特征之后，接下来的问题就是如何进行分类，通过Flatten层展平之前的特征图，并结合全连接层将结果映射到可分的空间。全连接层（Fully Connected Layers, FC）在整个卷积神经网络中起到了“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，那么全连接层起到的作用则是将学到的特征映射到样本标记空间。通常卷积网络的最后会将末端得到的长方体平摊（Flatten）成一个长长的向量，并送入全连接层配合输出层进行分类。>> ▼ VGGNet：只使用3×3卷积层和2×2 pooling层进行深度神经网络结构连接。▼ ResNet：引入了跳层连接和Batch Normalization。▼ DenseNet：将跳层连接应用于整个网络结构。◆ 2.3 RNN>> 对应也可以认为是隐藏层之间的节点不再是无连接而是有连接的。◆ 3.3 变量及作用域>> Python描述的内容在TensorFlow中称为计算图，具体的执行需要到C语言写成的底层中去执行。Python中需要产生一个Session，也可以将其称为上下文>> 此时若缺少了scope.reuse_variables()函数则会报错，因为同时引用了同一个变量。对于不同层的变量，可以利用variable_scope进行区分，在再次引用相关变量时，需要加入reuse=◆ 4.6 深度神经网络结构>> 在深度神经网络之中，Inception的主要目标在于更有效地提取特征，减少参数量◆ 6.5 构建对话机器人>> Bucketing策略可以用于处理不同长度的训练样例，◆ 10.1 通用深度神经网络训练优化建议>> 通用深度神经网络训练优化建议一些研发人员和工程师也总结了一些通用的神经网络训练经验具体如下。1）通用的较为优化的训练过程◆ 10.2 深度学习系统性能优化建议>> 在在线推断阶段，模型压缩可以减少模型参数的数量，进而加速在线推断。◆ 10.3 工程实践建议>> 模型转换器列表，方便查找对应的模型转换器。参考链接：deep-learning-model-convertorhttps://github.com/ysh329/deep-learning-model-convertor