上周工作
SVInvNet论文研读
本周计划
加入DenseNet，修改网络架构，跑代码
总结
DenseNet
- 密集块：DenseNet将网络分成多个密集块（Dense Block)。在每个密集块内，每一层都连接到前面所有的层。这种跳跃连接有助于解决梯度消失问题，因为每一层都可以直接访问之前层的梯度信息，使得训练更加稳定。
- 特征重用性：由于每一层都与前面所有层连接，网络可以自动地学习到更加丰富和复杂的特征表示。有助于提高网络的性能，同时减少了需要训练的参数数量。
- 过渡层：在密集块之间，通常会使用过渡层来控制特征图的大小，从而减少计算量。
优点：
- 网络可以更好地利用浅层特征信息，从而提高网络的性能。
- 网络具有更强的特征重用能力，可以减少参数数量，降低过拟合风险。
- 网络训练更加稳定，可以缓解梯度消失和梯度爆炸等问题。
实验1——引入密集连接在编码器部分
前期太混乱，没有把densenet代码理解透彻，密集快和过渡块他们的通道数和尺寸具体每一层是如何变化的
后面自己先计算了尺寸以及通道变化，因为密集块部分根据Bottleneck层数来改变通道数，过渡层（BN+ReLU+1×1Conv+2×2AvgPooling）是通道数减半并且尺寸减半。
- 先采用（kernel_size=(7, 1), stride=(2, 1), padding=(3, 0)的卷积）将（，5，1000，70）变化到（，32，500，70），
- 再使用三个（kernel_size=(3, 1), stride=(2, 1), padding=(1, 0)卷积）变化到（，64，63，70），使尺寸近似方形
- 接着使用三个（密集块+过渡层），密集块层数是（6，12，8），变化到（，256，7，8）
- 再使用卷积变化到（，512，1，1）
self.convblock5 = ConvBlock(256, 512, kernel_size=(7, ceil(50 * sample_spatial/ 7)), padding=0)
- 解码部分跟InversionNet一致，未做改变
数据集：curvevel-a
Epochs = 120
Trainsize = 5000ValSize = 500
Testsize = 500TestBatchsize = 50
Batchsize = 64
但目前感觉网络架构有问题后续需要修改，比InversionNet一个epoch慢了1min。——因为DenseNet缺点有：
- 要进行多次Concatenate操作，数据需要被复制多次，显存容易增加得很快，需要一定的显存优化技术。
- 网络结构较为复杂，需要更多的计算资源和时间来训练。
- 在一些应用场景下，由于特征传递的过多，会导致内存占用较大。
使用以下预训练模型进行测试：
PreModelname = 'InversionNet_DenseNet_TrainSize5000_Epoch120_BatchSize64_LR0.001_epoch200.pkl'
测试结果如下：第三行
实验结果如下：
实验2——使用aba跑InversionNet
数据集：curvevel-a
Epochs = 120
Trainsize = 5000ValSize = 500
Testsize = 500TestBatchsize = 50
Batchsize = 64
Trained model saved: 100 percent completed
Training complete in 41m 43s
测试结果如下：
后续跑24000再看看结果
遇到的问题及解决
1.使用torchsummary时报错AttributeError: ‘list‘ object has no attribute ‘size‘：
查看torchsummary的源码，发现处理input的方法都是粗暴使用如下语句：
summary[m_key]["input_shape"] = list(input[0].size())
修改后：
# summary[m_key]["input_shape"] = list(input[0].size())if isinstance(input[0], torch.Tensor):summary[m_key]["input_shape"] = list(input[0].size())elif isinstance(input[0], list):summary[m_key]["input_shape"] = list(item.size() for item in input[0])2.RuntimeError: Can't call numpy() on Tensor that requires grad. Use tensor.detach().numpy() instead.
原因：待转换类型的PyTorch Tensor变量带有梯度，直接将其转换为numpy数据将破坏计算图，因此numpy拒绝进行数据转换，实际上这是对开发者的一种提醒。如果自己在转换数据时不需要保留梯度信息，可以在变量转换之前添加detach()调用。
解决办法：
y.numpy() ---> y.detach().numpy()3.RuntimeError: Given groups=1, weight of size [64, 3, 7, 7], expected input[10, 5, 1000, 70] to have 3 channels, but got 5 channels instead
原因：通道数不匹配
4.TypeError: 'module' object is not callable
原因：Python导入模块的方法有两种——import module 和 from module import，区别是前者所有导入的东西使用时需加上模块名的限定，而后者不要。
5.UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.解决办法 - 欣杰科技 - 博客园 (cnblogs.com)
6.TypeError: empty() received an invalid combination of arguments - got (tuple, dtype=NoneType, device=NoneType), but expected one of:
原因：在python3中两个整型相除得到的是浮点型，例如：4/2=2.0,而在构建卷积时的参数要求时整型。
解决：传参时加上int转换：
