紅葉 - 感受野
type: channel
link: https://kkjz.xyz/index.php/tag/%E6%84%9F%E5%8F%97%E9%87%8E/
items: 深度学习中一些常用计算方法和名词符号解释

深度学习中一些常用计算方法和名词符号解释
type: item
date: 2021-06-15T20:21:00+08:00
description: 符号解释⨀ 矩阵连乘（对应位置相乘）⨂ 卷积@ 矩阵乘法特征图大小计算1.如果计算方式采用'VALID'，则：$$ w_{out}=\frac{w_{in}-F}{stride}+1 $$其中$w_{out}$为输出特征图的大小，$w_{in}$为输入特征图的大小，F为卷积核大小，stride为卷积步长。2.如果计算方式采用'SAME'，输出特征图的大小与输入特征图的大小保持不变，$$ w_{out}=\frac{w_{in}+2*padding-F}{stride}+1 $$其中padding为特征图填充的圈数。若采用'SAME'方式，kernel_size=1时，padding=0；kernel_size=3时，padding=1；kernel_size=5时，padding=3，以此类推计算感受野（RF）：上输出，下输入1。重下往上计算（从输出层开始算）首先，感受野代表这个像素对应原输入图的映射大小（每个像素对应原图的感受野）一般默认输出层即为最后一层（你要算感受野的那层）RF=1来开始算，算到要推算的层数，即为该点对应该层的感受野计算公式为：$$ RF_n=(RF_n-1)*stride+Ksize $$计算时，把要计算的层的核尺寸当作本层对上层的感受野RF，然后逐层向上计算，直到算到第一层的RF，即为本层的对应感受野2.重上往下计算（从输入层开始算）默认输入的时候，第一层的RF=输入的卷积核大小$$ S_n=S_{n-1}*s $$$$ RF_n=RF_{n-1}+(Ksize-1)*S_n-1 $$这里的$s$为该层的stride（输入大小/输出大小）$S_n$为到n层为止，所有stride的乘积PS：FC核size为1空洞卷积核计算方法$$ k=k+(k−1)(hloesize−1) $$常见激活函数softmax函数：$$ p(y|x_i)=\frac{e^{x_i}}{\sum^C_{c=1}e^{x_c}} $$sigmoid:常见loss函数CE交叉熵1.二分类问题中的CEloss函数（输入数据是softmax或者sigmoid函数的输出）：$ x$表示样本，$y$表示真实标签，$a$表示预测输出，$n$表示样本总数量2.多分类问题中的CEloss函数（输入数据是softmax或者sigmoid函数的输出）：当使用sigmoid作为激活函数的时候，常用交叉熵损失函数而不用均方误差损失函数，因为它可以完美解决平方损失函数权重更新过慢的问题，具有“误差大的时候，权重更新快；误差小的时候，权重更新慢”的良好性质。