归纳偏差是一种关于机器学习算法的目标函数的假设,也就是目标函数评分的标准。
归纳偏差是指模型更容易学习到训练数据中的局部和表面特征,而较难捕捉全局和抽象特征。
scalable 可扩展的
network-wide优势???
深度监督
深度监督的输出有四个不同尺度分割结果,将前三个不同尺度分割结果分别与标准图像来计算dice(即loss1,loss2,loss3),然后相加,为了控制这三个结果对最后分割的影像,还需要乘以一个权重因子alpha(初始值为1),随着不断训练alpha也不断衰减(以0.9倍衰减)
宽度缩放和感受野缩放
内核大小(滤波器大小)影响感受野的缩放。感受野是指在神经网络中一个特定神经元接收输入时所关注的输入空间的区域大小。
宽度缩放
宽度缩放可以用1x1x1的卷积来实现。在卷积神经网络中,1x1x1的卷积被称为逐点卷积或通道卷积。通过使用1x1x1的卷积,可以改变网络中特征图的通道数,从而实现宽度的缩放。
GroupNorm(组归一化)通过将特征分成多个组,并在每个组内进行归一化来解决这个问题。与 BatchNorm 不同,GroupNorm 不再依赖于批量大小,而是仅依赖于组的大小。每个组内的特征通道被视为独立的统计单元,归一化操作在每个组内进行。这样可以减少对批量统计量的依赖,提供更稳定的归一化效果。
GeLU激活函数(高斯误差线性单元),相对于其他常用的激活函数,如ReLU和sigmoid函数,GELU函数在某些情况下表现出更好的性能。它具有较平滑的导数,这对于梯度下降优化算法的稳定性和收敛性有益。此外,GELU函数在训练大型深度神经网络时也具有一定的优势,可以帮助改善模型的表示能力和泛化能力。
BottleNeck
BottleNeck通常是指在CNN中的一个卷积层,它是一种常见的网络模块或设计模式。
BottleNeck模块的关键特点是在中间阶段使用1x1卷积进行降维(通常被称为降维卷积)和扩展(通常被称为扩张卷积),以减少参数数量和计算复杂度。这样的设计可以在保持网络表达能力的同时,提高模型的效率和性能。
DSC是一种广泛用于医学图像分割任务的评价指标,用于衡量分割结果与真实标签之间的相似度,它计算分割结果与真实标签重叠部分在两者总体区域的比例。
SDC是一种针对表面(边界)分割任务的评估指标,用于衡量分割结果与真实标签在边界上的一致性,他计算分割结果边界与真实标签边界的重叠部分在两者总体边界长度的比例。
上采样使用的是转置卷积吗???
大卷积容易性能饱和吗???