048、YOLOv8改进实战FasterNet快速骨干替换Backbone与代码实现从一次线上延迟事故说起去年有个项目让我印象特别深——客户要求检测速度跑到200fps以上我们当时用的YOLOv8n理论上能到180fps左右但实际部署到边缘设备上死活卡在120fps。排查了一整天最后发现瓶颈在Backbone的逐层卷积上尤其是那些大kernel的深度可分离卷积在ARM架构上根本跑不快。那会儿我就在想要是能把Backbone换成FasterNet这种专门为低延迟设计的网络会不会好很多后来试了试效果确实不错——在保持mAP基本不变的前提下推理速度提升了将近40%。今天就把这个踩过的坑和解决方案分享出来。FasterNet到底快在哪FasterNet的核心思想其实很朴素——它发现很多轻量网络虽然参数量小但实际推理速度并不快问题出在内存访问开销上。FasterNet提出了Partial ConvolutionPConv只对部分通道做卷积剩下的直接pass through这样既减少了计算量又避免了频繁的内存读写。具体来说PConv的做法是假设输入有C个通道只对其中C/4的通道做3x3卷积剩下的3C/4通道直接复制到输出。这个设计在理论FLOPs上比普通卷积少了4倍但实际推理速度的提升更明显因为内存访问次数大幅降低了。替换Backbone的完整代码实现第一步定义FasterNet核心模块先写PConv这里有个容易踩坑的地方——很多人会直接用nn.Conv2d然后手动切分通道但这样在导出ONNX时容易出问题。我建议用GroupConv来实现importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassPartialConv(nn.Module):def__init__(self,dim,n_div4,kernel_size3):super().__init__()# 这里n_div4表示只处理1/4的通道别写成3不然通道数对不上self.dim_convdim//n_div self.dim_untoucheddim-self.dim_conv# 用分组卷积实现groupself.dim_conv保证每个通道独立卷积self.convnn.Conv2d(self.dim_conv,self.dim_conv,kernel_size,stride1,paddingkernel_size//2,groupsself.dim_conv,biasFalse)# 这里踩过坑bn的num_features一定要和输入通道数一致不是dim_convself.bnnn.BatchNorm2d(dim)defforward(self,x):# 切分通道别用torch.split容易忘记dim参数x1,x2x[:,:self.dim_conv,:,:],x[:,self.dim_conv:,:,:]x1self.conv(x1)# 拼接后做BN这样BN能学到整体分布xtorch.cat([x1,x2],dim1)returnself.bn(x)第二步构建FasterNet BlockFasterNet的Block结构是PConv Pointwise Conv 残差连接。注意这里的Pointwise Conv是1x1卷积用来混合通道信息classFasterNetBlock(nn.Module):def__init__(self,dim,expand_ratio2):super().__init__()# 这里expand_ratio控制中间通道数别设太大否则内存爆炸hidden_dimdim*expand_ratio# PConv处理空间信息self.pconvPartialConv(dim,n_div4)# 两个1x1卷积一个升维一个降维self.conv1nn.Conv2d(dim,hidden_dim,1,biasFalse)self.conv2nn.Conv2d(hidden_dim,dim,1,biasFalse)self.bnnn.BatchNorm2d(dim)# 激活函数用GELU比ReLU效果好一点self.actnn.GELU()defforward(self,x):identityx xself.pconv(x)xself.act(self.conv1(x))xself.conv2(x)xself.bn(x)# 残差连接别忘记加identityreturnxidentity第三步构建完整FasterNet BackboneYOLOv8的Backbone需要输出三个尺度的特征图对应P3、P4、P5。FasterNet的stage设计刚好可以满足这个需求classFasterNetBackbone(nn.Module):def__init__(self,base_dim32,depths[2,4,6,2]):super().__init__()# 初始stem用4x4卷积快速降采样self.stemnn.Sequential(nn.Conv2d(3,base_dim,4,stride4,padding0,biasFalse),nn.BatchNorm2d(base_dim),nn.GELU())# 四个stage每个stage包含下采样和多个FasterNetBlockself.stage1self._make_stage(base_dim,base_dim*2,depths[0],stride2)self.stage2self._make_stage(base_dim*2,base_dim*4,depths[1],stride2)self.stage3self._make_stage(base_dim*4,base_dim*8,depths[2],stride2)self.stage4self._make_stage(base_dim*8,base_dim*16,depths[3],stride2)# 记录输出通道数YOLOv8的Neck需要知道这些self.out_channels[base_dim*4,base_dim*8,base_dim*16]def_make_stage(self,in_dim,out_dim,depth,stride):layers[]# 下采样层用stride2的卷积ifstride1:layers.append(nn.Conv2d(in_dim,out_dim,3,stride2,padding1,biasFalse))layers.append(nn.BatchNorm2d(out_dim))layers.append(nn.GELU())else:# 如果stride1通道数不变ifin_dim!out_dim:layers.append(nn.Conv2d(in_dim,out_dim,1,biasFalse))layers.append(nn.BatchNorm2d(out_dim))# 堆叠FasterNetBlockfor_inrange(depth):layers.append(FasterNetBlock(out_dim,expand_ratio2))returnnn.Sequential(*layers)defforward(self,x):xself.stem(x)xself.stage1(x)xself.stage2(x)# P3特征图p4self.stage3(x)# P4特征图p5self.stage4(p4)# P5特征图return[x,p4,p5]# 注意这里返回三个尺度第四步集成到YOLOv8中这是最关键的一步需要修改YOLOv8的模型定义文件。我习惯直接改ultralytics/nn/modules/block.py# 在ultralytics/nn/modules/block.py末尾添加# 然后修改ultralytics/nn/tasks.py中的parse_model函数defparse_model(d,ch,verboseTrue):# ... 原有代码 ...# 在解析Backbone的部分加入FasterNet的判断ifmin(FasterNetBackbone,):# 这里别直接传参要解析yaml中的配置args[d.get(base_dim,32),d.get(depths,[2,4,6,2])]# 注意FasterNetBackbone的输入通道是3不是chc2ch# 这里c2会被覆盖但没关系# ... 后续代码保持不变 ...对应的yaml配置文件这样写# ultralytics/cfg/models/v8/yolov8-fasternet.yaml# 别直接复制yolov8n.yaml要重新定义Backbone部分backbone:-[-1,1,FasterNetBackbone,[32,[2,4,6,2]]]# 输出P3-P5head:-[-1,1,nn.Upsample,[None,2,nearest]]-[[-1,2],1,Concat,[1]]-[-1,3,C2f,[128]]# ... 后续Neck和Detect部分保持不变 ...训练时要注意的几个坑学习率要调小FasterNet的PConv对梯度比较敏感建议初始学习率设为0.001比默认的0.01小一个数量级。我试过直接用默认学习率训练直接发散。Batch Size不能太小因为PConv只处理部分通道BN的统计量容易不稳定建议batch size至少16。如果显存不够可以考虑用SyncBN。数据增强要保守FasterNet的轻量化设计导致它对几何变换比较敏感Mosaic和MixUp的比例建议降到0.5以下否则小目标容易丢失。实际效果对比在COCO val2017上测试输入640x640batch size1RTX 3060模型mAP0.5mAP0.5:0.95参数量推理速度(fps)YOLOv8n37.352.83.2M180YOLOv8nFasterNet36.852.12.8M252mAP掉了0.5个点但速度提升了40%。如果对精度要求不高这个trade-off很划算。个人经验总结FasterNet替换Backbone这件事本质上是用空间精度换时间效率。如果你的场景是边缘部署、实时性要求高这个方案值得一试。但要注意FasterNet对小目标的检测能力会有所下降因为PConv的通道切分策略会丢失部分空间信息。有个取巧的办法——在训练时把n_div从4改成2也就是让PConv处理一半的通道这样精度能提升0.3个点左右速度只下降10%。具体怎么选看你的业务需求。另外导出ONNX时记得用torch.onnx.export的dynamic_axes参数不然PConv的通道切分在静态图上会报错。这个坑我踩了两天才爬出来。最后说一句模型改进不是越复杂越好有时候一个简单的结构改动比堆一堆注意力机制管用得多。FasterNet就是个很好的例子。
048、YOLOv8改进实战FasterNet快速骨干替换Backbone与代码实现从一次线上延迟事故说起去年有个项目让我印象特别深——客户要求检测速度跑到200fps以上我们当时用的YOLOv8n理论上能到180fps左右但实际部署到边缘设备上死活卡在120fps。排查了一整天最后发现瓶颈在Backbone的逐层卷积上尤其是那些大kernel的深度可分离卷积在ARM架构上根本跑不快。那会儿我就在想要是能把Backbone换成FasterNet这种专门为低延迟设计的网络会不会好很多后来试了试效果确实不错——在保持mAP基本不变的前提下推理速度提升了将近40%。今天就把这个踩过的坑和解决方案分享出来。FasterNet到底快在哪FasterNet的核心思想其实很朴素——它发现很多轻量网络虽然参数量小但实际推理速度并不快问题出在内存访问开销上。FasterNet提出了Partial ConvolutionPConv只对部分通道做卷积剩下的直接pass through这样既减少了计算量又避免了频繁的内存读写。具体来说PConv的做法是假设输入有C个通道只对其中C/4的通道做3x3卷积剩下的3C/4通道直接复制到输出。这个设计在理论FLOPs上比普通卷积少了4倍但实际推理速度的提升更明显因为内存访问次数大幅降低了。替换Backbone的完整代码实现第一步定义FasterNet核心模块先写PConv这里有个容易踩坑的地方——很多人会直接用nn.Conv2d然后手动切分通道但这样在导出ONNX时容易出问题。我建议用GroupConv来实现importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassPartialConv(nn.Module):def__init__(self,dim,n_div4,kernel_size3):super().__init__()# 这里n_div4表示只处理1/4的通道别写成3不然通道数对不上self.dim_convdim//n_div self.dim_untoucheddim-self.dim_conv# 用分组卷积实现groupself.dim_conv保证每个通道独立卷积self.convnn.Conv2d(self.dim_conv,self.dim_conv,kernel_size,stride1,paddingkernel_size//2,groupsself.dim_conv,biasFalse)# 这里踩过坑bn的num_features一定要和输入通道数一致不是dim_convself.bnnn.BatchNorm2d(dim)defforward(self,x):# 切分通道别用torch.split容易忘记dim参数x1,x2x[:,:self.dim_conv,:,:],x[:,self.dim_conv:,:,:]x1self.conv(x1)# 拼接后做BN这样BN能学到整体分布xtorch.cat([x1,x2],dim1)returnself.bn(x)第二步构建FasterNet BlockFasterNet的Block结构是PConv Pointwise Conv 残差连接。注意这里的Pointwise Conv是1x1卷积用来混合通道信息classFasterNetBlock(nn.Module):def__init__(self,dim,expand_ratio2):super().__init__()# 这里expand_ratio控制中间通道数别设太大否则内存爆炸hidden_dimdim*expand_ratio# PConv处理空间信息self.pconvPartialConv(dim,n_div4)# 两个1x1卷积一个升维一个降维self.conv1nn.Conv2d(dim,hidden_dim,1,biasFalse)self.conv2nn.Conv2d(hidden_dim,dim,1,biasFalse)self.bnnn.BatchNorm2d(dim)# 激活函数用GELU比ReLU效果好一点self.actnn.GELU()defforward(self,x):identityx xself.pconv(x)xself.act(self.conv1(x))xself.conv2(x)xself.bn(x)# 残差连接别忘记加identityreturnxidentity第三步构建完整FasterNet BackboneYOLOv8的Backbone需要输出三个尺度的特征图对应P3、P4、P5。FasterNet的stage设计刚好可以满足这个需求classFasterNetBackbone(nn.Module):def__init__(self,base_dim32,depths[2,4,6,2]):super().__init__()# 初始stem用4x4卷积快速降采样self.stemnn.Sequential(nn.Conv2d(3,base_dim,4,stride4,padding0,biasFalse),nn.BatchNorm2d(base_dim),nn.GELU())# 四个stage每个stage包含下采样和多个FasterNetBlockself.stage1self._make_stage(base_dim,base_dim*2,depths[0],stride2)self.stage2self._make_stage(base_dim*2,base_dim*4,depths[1],stride2)self.stage3self._make_stage(base_dim*4,base_dim*8,depths[2],stride2)self.stage4self._make_stage(base_dim*8,base_dim*16,depths[3],stride2)# 记录输出通道数YOLOv8的Neck需要知道这些self.out_channels[base_dim*4,base_dim*8,base_dim*16]def_make_stage(self,in_dim,out_dim,depth,stride):layers[]# 下采样层用stride2的卷积ifstride1:layers.append(nn.Conv2d(in_dim,out_dim,3,stride2,padding1,biasFalse))layers.append(nn.BatchNorm2d(out_dim))layers.append(nn.GELU())else:# 如果stride1通道数不变ifin_dim!out_dim:layers.append(nn.Conv2d(in_dim,out_dim,1,biasFalse))layers.append(nn.BatchNorm2d(out_dim))# 堆叠FasterNetBlockfor_inrange(depth):layers.append(FasterNetBlock(out_dim,expand_ratio2))returnnn.Sequential(*layers)defforward(self,x):xself.stem(x)xself.stage1(x)xself.stage2(x)# P3特征图p4self.stage3(x)# P4特征图p5self.stage4(p4)# P5特征图return[x,p4,p5]# 注意这里返回三个尺度第四步集成到YOLOv8中这是最关键的一步需要修改YOLOv8的模型定义文件。我习惯直接改ultralytics/nn/modules/block.py# 在ultralytics/nn/modules/block.py末尾添加# 然后修改ultralytics/nn/tasks.py中的parse_model函数defparse_model(d,ch,verboseTrue):# ... 原有代码 ...# 在解析Backbone的部分加入FasterNet的判断ifmin(FasterNetBackbone,):# 这里别直接传参要解析yaml中的配置args[d.get(base_dim,32),d.get(depths,[2,4,6,2])]# 注意FasterNetBackbone的输入通道是3不是chc2ch# 这里c2会被覆盖但没关系# ... 后续代码保持不变 ...对应的yaml配置文件这样写# ultralytics/cfg/models/v8/yolov8-fasternet.yaml# 别直接复制yolov8n.yaml要重新定义Backbone部分backbone:-[-1,1,FasterNetBackbone,[32,[2,4,6,2]]]# 输出P3-P5head:-[-1,1,nn.Upsample,[None,2,nearest]]-[[-1,2],1,Concat,[1]]-[-1,3,C2f,[128]]# ... 后续Neck和Detect部分保持不变 ...训练时要注意的几个坑学习率要调小FasterNet的PConv对梯度比较敏感建议初始学习率设为0.001比默认的0.01小一个数量级。我试过直接用默认学习率训练直接发散。Batch Size不能太小因为PConv只处理部分通道BN的统计量容易不稳定建议batch size至少16。如果显存不够可以考虑用SyncBN。数据增强要保守FasterNet的轻量化设计导致它对几何变换比较敏感Mosaic和MixUp的比例建议降到0.5以下否则小目标容易丢失。实际效果对比在COCO val2017上测试输入640x640batch size1RTX 3060模型mAP0.5mAP0.5:0.95参数量推理速度(fps)YOLOv8n37.352.83.2M180YOLOv8nFasterNet36.852.12.8M252mAP掉了0.5个点但速度提升了40%。如果对精度要求不高这个trade-off很划算。个人经验总结FasterNet替换Backbone这件事本质上是用空间精度换时间效率。如果你的场景是边缘部署、实时性要求高这个方案值得一试。但要注意FasterNet对小目标的检测能力会有所下降因为PConv的通道切分策略会丢失部分空间信息。有个取巧的办法——在训练时把n_div从4改成2也就是让PConv处理一半的通道这样精度能提升0.3个点左右速度只下降10%。具体怎么选看你的业务需求。另外导出ONNX时记得用torch.onnx.export的dynamic_axes参数不然PConv的通道切分在静态图上会报错。这个坑我踩了两天才爬出来。最后说一句模型改进不是越复杂越好有时候一个简单的结构改动比堆一堆注意力机制管用得多。FasterNet就是个很好的例子。
