@浙大疏锦行
https://blog.csdn.net/weixin_45655710
知识点回顾：
- resnet结构解析
- CBAM放置位置的思考
- 针对预训练模型的训练策略
- 差异化学习率
- 三阶段微调
作业：
- 好好理解下resnet18的模型结构
- 尝试对vgg16+cbam进行微调策略
ResNet-18 结构核心思想
可以将ResNet-18想象成一个高效的“图像信息处理流水线”，它分为三个核心部分：
-
“开胃菜” - 输入预处理 (Stem)：
-
组成：一个大的7x7卷积层 (
conv1) + 一个最大池化层 (maxpool)。 -
作用：对输入的原始大尺寸图像（如224x224）进行一次快速、大刀阔斧的特征提取和尺寸压缩。它迅速将图像尺寸减小到56x56，为后续更精细的处理做好准备，像是一道开胃菜，快速打开味蕾。
-
-
“主菜” - 四组残差块 (Layer1, 2, 3, 4)：
-
组成：这是ResNet的心脏，由四组
Sequential模块构成，每组里面包含2个BasicBlock（残差块）。 -
作用：这是真正进行深度特征提取的地方。其最精妙的设计在于：
-
层级递进：从
layer1到layer4，特征图的空间尺寸逐级减半（56→28→14→7），而通道数逐级翻倍（64→128→256→512）。这实现了“牺牲空间细节，换取更高层语义信息”的经典策略。 -
残差连接：每个
BasicBlock内部的“跳跃连接”（out += identity）是其灵魂。它允许信息和梯度“抄近道”，直接从块的输入流向输出，完美解决了深度网络中因信息丢失导致的“网络退化”和梯度消失问题。
-
-
-
“甜点” - 分类头 (Head)：
-
组成：一个全局平均池化层 (
avgpool) + 一个全连接层 (fc)。 -
作用：
-
avgpool：将layer4输出的512x7x7的复杂特征图，暴力压缩成一个512维的特征向量，浓缩了整张图最高级的语义信息。 -
fc：扮演最终“裁判”的角色，将这个512维的特征向量映射到最终的类别得分上（例如，ImageNet的1000类）。
-
-
总结来说，ResNet-18的优雅之处在于其清晰的模块化设计和革命性的残差连接，它通过“尺寸减半，通道加倍”的策略逐层加深语义理解，并利用“跳跃连接”保证了信息流的畅通，从而能够构建出既深又易于训练的强大网络。
对VGG16 + CBAM 进行微调
VGG16以其结构统一、简单（全是3x3卷积和2x2池化）而著称，但缺点是参数量巨大。我们将为其集成CBAM，并应用类似的分阶段微调策略。
import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms, models
from torch.utils.data import DataLoader
import time
from tqdm import tqdm# --- 模块定义 (CBAM 和数据加载器，与之前一致) ---
class ChannelAttention(nn.Module):def __init__(self, in_channels, ratio=16):super().__init__()self.avg_pool = nn.AdaptiveAvgPool2d(1)self.max_pool = nn.AdaptiveMaxPool2d(1)self.fc = nn.Sequential(nn.Linear(in_channels, in_channels // ratio, bias=False), nn.ReLU(),nn.Linear(in_channels // ratio, in_channels, bias=False))self.sigmoid = nn.Sigmoid()def forward(self, x):b, c, _, _ = x.shapeavg_out = self.fc(self.avg_pool(x).view(b, c))max_out = self.fc(self.max_pool(x).view(b, c))attention = self.sigmoid(avg_out + max_out).view(b, c, 1, 1)return x * attentionclass SpatialAttention(nn.Module):def __init__(self, kernel_size=7):super().__init__()self.conv = nn.Conv2d(2, 1, kernel_size, padding=kernel_size//2, bias=False)self.sigmoid = nn.Sigmoid()def forward(self, x):avg_out = torch.mean(x, dim=1, keepdim=True)max_out, _ = torch.max(x, dim=1, keepdim=True)pool_out = torch.cat([avg_out, max_out], dim=1)attention = self.conv(pool_out)return x * self.sigmoid(attention)class CBAM(nn.Module):def __init__(self, in_channels, ratio=16, kernel_size=7):super().__init__()self.channel_attn = ChannelAttention(in_channels, ratio)self.spatial_attn = SpatialAttention(kernel_size)def forward(self, x):return self.spatial_attn(self.channel_attn(x))def get_cifar10_loaders(batch_size=64, resize_to=224): # VGG需要224x224输入print(f"--- 正在准备数据 (图像将缩放至 {resize_to}x{resize_to}) ---")transform = transforms.Compose([transforms.Resize(resize_to),transforms.ToTensor(),transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])train_dataset = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)test_dataset = datasets.CIFAR10(root='./data', train=False, transform=transform)train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=2, pin_memory=True)test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False, num_workers=2, pin_memory=True)print("✅ 数据加载器准备完成。")return train_loader, test_loader# --- 新增：VGG16 + CBAM 模型定义 ---
class VGG16_CBAM(nn.Module):def __init__(self, num_classes=10, pretrained=True):super().__init__()# 加载预训练的VGG16的特征提取部分vgg_features = models.vgg16(weights=models.VGG16_Weights.IMAGENET1K_V1 if pretrained else None).features# 我们将VGG的特征提取层按池化层分割，并在每个块后插入CBAMself.features = nn.ModuleList()self.cbam_modules = nn.ModuleList()current_channels = 3vgg_block = []for layer in vgg_features:vgg_block.append(layer)if isinstance(layer, nn.Conv2d):current_channels = layer.out_channelsif isinstance(layer, nn.MaxPool2d):self.features.append(nn.Sequential(*vgg_block))self.cbam_modules.append(CBAM(current_channels))vgg_block = [] # 开始新的块# VGG的分类器部分self.avgpool = nn.AdaptiveAvgPool2d((7, 7))self.classifier = nn.Sequential(nn.Linear(512 * 7 * 7, 4096), nn.ReLU(True), nn.Dropout(),nn.Linear(4096, 4096), nn.ReLU(True), nn.Dropout(),nn.Linear(4096, num_classes),)def forward(self, x):for feature_block, cbam_module in zip(self.features, self.cbam_modules):x = feature_block(x)x = cbam_module(x)x = self.avgpool(x)x = torch.flatten(x, 1)x = self.classifier(x)return x# --- 训练和评估框架 (复用) ---
def run_experiment(model_name, model, device, train_loader, test_loader, epochs):print(f"\n{'='*25} 开始实验: {model_name} {'='*25}")model.to(device)total_params = sum(p.numel() for p in model.parameters())print(f"模型总参数量: {total_params / 1e6:.2f}M")criterion = nn.CrossEntropyLoss()# 差异化学习率：为不同的部分设置不同的学习率optimizer = optim.Adam([{'params': model.features.parameters(), 'lr': 1e-5}, # 特征提取层使用极低学习率{'params': model.cbam_modules.parameters(), 'lr': 1e-4}, # CBAM模块使用中等学习率{'params': model.classifier.parameters(), 'lr': 1e-3} # 分类头使用较高学习率])for epoch in range(1, epochs + 1):model.train()loop = tqdm(train_loader, desc=f"Epoch [{epoch}/{epochs}] Training", leave=False)for data, target in loop:data, target = data.to(device), target.to(device)optimizer.zero_grad()output = model(data)loss = criterion(output, target)loss.backward()optimizer.step()loop.set_postfix(loss=loss.item())loop.close()model.eval()test_loss, correct = 0, 0with torch.no_grad():for data, target in test_loader:data, target = data.to(device), target.to(device)output = model(data)test_loss += criterion(output, target).item() * data.size(0)pred = output.argmax(dim=1)correct += pred.eq(target).sum().item()avg_test_loss = test_loss / len(test_loader.dataset)accuracy = 100. * correct / len(test_loader.dataset)print(f"Epoch {epoch} 完成 | 测试集损失: {avg_test_loss:.4f} | 测试集准确率: {accuracy:.2f}%")# --- 主执行流程 ---
if __name__ == "__main__":DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu")EPOCHS = 10 # 仅作演示，VGG需要更多轮次BATCH_SIZE = 32 # VGG参数量大，减小batch size防止显存溢出train_loader, test_loader = get_cifar10_loaders(batch_size=BATCH_SIZE)vgg_cbam_model = VGG16_CBAM()run_experiment("VGG16+CBAM", vgg_cbam_model, DEVICE, train_loader, test_loader, EPOCHS)VGG16+CBAM 微调策略解析
-
模型修改 (
VGG16_CBAM)：-
拆分与重组：VGG16的预训练模型中，特征提取部分
model.features是一个包含所有卷积和池化层的nn.Sequential。我们不能直接在中间插入CBAM。因此，我们遍历了vgg_features中的所有层，以MaxPool2d为界，将它们拆分成了5个卷积块。 -
插入CBAM：在每个卷积块之后，我们都插入了一个对应通道数的
CBAM模块。 -
保留分类头：原始的
model.classifier（全连接层）被保留，只修改最后一层以适应CIFAR-10的10个类别。
-
-
数据预处理适配：
-
VGG16在ImageNet上预训练时，接收的是
224x224的图像。为了最大化利用预训练权重，我们在get_cifar10_loaders函数中，通过transforms.Resize(224)将CIFAR-10的32x32图像放大到224x224。
-
-
训练策略：差异化学习率
-
由于VGG16的参数量巨大（超过1.3亿），如果全局使用相同的学习率进行微调，很容易破坏已经学得很好的预训练权重。
-
我们采用了一种更精细的差异化学习率 (Differential Learning Rates) 策略：
-
特征提取层 (
model.features)：这些是“资深专家”，权重已经很好了，我们给一个极低的学习率（1e-5），让它们只做微小的调整。 -
CBAM模块 (
model.cbam_modules)：这些是新加入的“顾问”，需要学习，但不能太激进，给一个中等学习率（1e-4）。 -
分类头 (
model.classifier)：这是完全为新任务定制的“新员工”，需要从头快速学习，给一个较高的学习率（1e-3）。
-
-
这种策略通过
optim.Adam接收一个参数组列表来实现，是微调大型模型时非常有效且常用的高级技巧。
-
-
Batch Size调整：
批次大小调整 ：-
VGG16的参数量和中间激活值都非常大，对显存的消耗远超ResNet18。因此，我们将
BATCH_SIZE减小到32，以防止显存溢出（OOM）错误。
-
通过这个实验，不仅能实践如何将注意力模块集成到一个全新的经典网络（VGG16）中，还能学习到微调大型模型时更高级、更精细的训练策略，如差异化学习率。
