理解深度学习中的卷积(4)

时间：2018-09-05

这个例子也展示了通过补零来使傅里叶变换稳定的一种技巧，许多版本的傅里叶变换都使用了这种技巧。另外还有使用了其他padding技巧：比如平铺核，分治等等。我不会展开讲，关于傅里叶变换的文献太多了，里面的技巧特别多——特别是对图像来讲。 dedecms.com

在更底层，卷积网络第一层不会执行互相关校验，因为第一层执行的是边缘检测。后面的层得到的都是更抽象的特征，就有可能执行互相关了。可以想象这些亮点像素会传递给检测人脸的单元（Google Brain项目的网络结构中有一些单元专门识别人脸、猫等等；也许用的是互相关？） dedecms.com

统计学的启发

统计模型和机器学习模型的区别是什么？统计模型只关心很少的、可以解释的变量。它们的目的经常是回答问题：药品A比药品B好吗？

内容来自dedecms

机器学习模型是专注于预测效果的：对于年龄X的人群，药品A比B的治愈率高17%，对年龄Y则是23%。

本文来自织梦

机器学习模型通常比统计模型更擅长预测，但它们不是那么可信。统计模型更擅长得到准确可信的结果：就算药品A比B好17%，我们也不知道这是不是偶然，我们需要统计模型来判断。 copyright dedecms

对时序数据，有两种重要的模型：weighted moving average 和autoregressive模型，后者可归入ARIMA model (autoregressive integrated moving average model)。比起LSTM，ARIMA很弱。但在低维度数据（1-5维）上，ARIMA非常健壮。虽然它们有点难以解释，但ARIMA绝不是像深度学习算法那样的黑盒子。如果你需要一个可信的模型，这是个巨大的优势。本文来自织梦

我们可以将这些统计模型写成卷积的形式，然后深度学习中的卷积就可以解释为产生局部ARIMA特征的函数了。这两种形式并不完全重合，使用需谨慎。

本文来自织梦

织梦好，好织梦

内容来自dedecms

C是一个以核为参数的函数，white noise是正规化的均值为0方差为1的互不相关的数据。 dedecms.com

当我们预处理数据的时候，经常将数据处理为类似white noise的形式：将数据移动到均值为0，将方差调整为1。我们很少去除数据的相关性，因为计算复杂度高。但是在概念上是很简单的，我们旋转坐标轴以重合数据的特征向量：

本文来自织梦

织梦内容管理系统

现在如果我们将C作为bias，我们就会觉得这与卷积神经网络很像。所以卷积层的输出可被解释为白噪音数据经过autoregressive model的输出。

织梦内容管理系统

weighted moving average的解释更简单：就是输入数据与某个固定的核的卷积。看看文末的高斯平滑核就会明白这个解释。高斯平滑核可以被看做每个像素与其邻居的平均，或者说每个像素被其邻居平均（边缘模糊）。

内容来自dedecms

虽然单个核无法同时创建autoregressive 和 weighted moving average 特征，但我们可以使用多个核来产生不同的特征。织梦内容管理系统

总结

这篇博客中我们知道了卷积是什么、为什么在深度学习中这么有用。图片区块的解释很容易理解和计算，但有其理论局限性。我们通过学习傅里叶变换知道傅里叶变换后的时域上有很多关于物体朝向的信息。通过强大的卷积定理我们理解了卷积是一种在像素间的信息流动。之后我们拓展了量子力学中传播子的概念，得到了一个确定过程中的随机解释。我们展示了互相关与卷积的相似性，并且卷积网络的性能可能是基于feature map间的互相关程度的，互相关程度是通过卷积校验的。最后我们将卷积与两种统计模型关联了起来。织梦内容管理系统

个人来讲，我觉得写这篇博客很有趣。曾经很长一段时间我都觉得本科的数学和统计课是浪费时间，因为它们太不实用了（哪怕是应用数学）。但之后——就像突然中大奖一样——这些知识都相互串起来了并且带了新的理解。我觉得这是个绝妙的例子，启示我们应该耐心地学习所有的大学课程——哪怕它们一开始看起来没有用。本文来自织梦

内容来自dedecms

织梦内容管理系统

上文高斯平滑核问题的答案

织梦好，好织梦

Reference

织梦好，好织梦

R. B. Fisher, K. Koryllos, “Interactive Textbooks; Embedding Image Processing Operator Demonstrations in Text”, Int. J. of Pattern Recognition and Artificial Intelligence, Vol 12, No 8, pp 1095-1123, 1998. 内容来自dedecms

内容来自dedecms