简介图像处理是计算机视觉的基石边缘检测、轮廓分析、形态学操作与模板匹配等经典方法至今仍在轻量级识别任务中发挥着重要作用。基于OpenCV和Python可以仅用传统算法搭建一套完整可运行的车牌识别系统无需深度学习框架与GPU即可完成单张照片、批量图片乃至实时视频流的车牌号提取。其核心流程包括图像预处理、车牌区域定位、透视校正、字符分割与模板匹配识别。这项技术尤其适用于停车场出入口、小区门禁等光照可控、角度稳定的场景具有部署简单、中间结果可视化、代码易调试等工程优势。以OpenCV实现车牌识别既是理解计算机视觉基础概念的绝佳练习也是快速交付原型方案的可靠选择。本文即围绕这一经典技术链路详解从边缘检测到字符识别的全过程与实践要点。 停车场道闸抬起的那一瞬间摄像头已经完成了拍照、识别、比对、放行这一整套动作。你可能会觉得这是“高大上”的智能视觉系统但说白了核心代码量并不大。我这次复盘的项目就是基于OpenCV和Python实现的车牌识别系统输入一张照片输出车牌号整个过程不依赖任何深度学习框架纯靠经典图像处理就能跑通。这套系统能做什么单张照片识别、批量处理文件夹、接上摄像头做实时检测都能覆盖。它适合的人群很明确Python基础语法过关、想用OpenCV做第一个完整项目的初学者或者需要快速交付原型方案的技术人员。我最初以为车牌识别怎么也得先搞个YOLO模型后来才发现国内蓝底白字车牌的底色和字符对比度足够高用边缘检测加颜色筛选就能把车牌区域稳定地抠出来。这篇文章我就把整个技术链路、关键代码、还有踩过的坑一次说完。1. 车牌识别系统不是黑魔法先看清整条技术链路1.1 从摄像头到车牌号的完整流程以最常见的蓝底白字小型汽车牌照为例一张照片从输入到输出车牌号要经历四个阶段。第一个阶段是车牌定位。照片里不只有车牌还有车灯、车窗、保险杠、背景里的树和楼得先从整个画面里把“哪一块是车牌”找出来。常用思路是边缘检测加形态学处理因为车牌区域四周有固定边框、内部有高对比度的字符在边缘图上会呈现出一片密集且规则的纹理。第二个阶段是透视校正。摄像头不会每次都正对着车牌拍斜着拍、仰着拍都常见需要用透视变换把倾斜的车牌区域“掰正”还原成标准矩形。第三阶段是字符分割把校正后的车牌区域按单个字符切开。第四阶段是字符识别逐个判断切出来的小块分别是什么字、什么数字或字母组合成最终的车牌号字符串。这四个阶段对应的OpenCV核心函数分别是cv2.Canny、cv2.findContours、cv2.getPerspectiveTransform、cv2.matchTemplate。看清这个链路之后整个项目就被拆成了四个小任务难度一下子降下来了。1.2 为什么纯OpenCV方案依然值得做有人会问深度学习这么成熟直接上目标检测加OCR不香吗我的回答是看场景。如果做高速路口、全天候多车道的复杂场景确实得上深度学习方案但停车场出入口、小区门禁这类光照相对可控、车速不快、车牌角度不会太夸张的场合纯OpenCV方案的识别率足够用而且优势非常明显——不需要标注数据集不用训练模型部署时只需装一个OpenCV库连GPU都不需要。更重要的是纯OpenCV方案的每一行代码都是可视化的。灰度图什么样、边缘图什么样、轮廓框在哪个位置都能用cv2.imshow直接看到中间结果。这对理解计算机视觉的基本概念——图像预处理、边缘检测、形态学操作、轮廓分析——帮助特别大。我见过不少直接上手YOLO的初学者模型训完也不知道特征图是什么换个场景就抓瞎。先把这个经典链路吃透再回头看深度学习会理解得更深。2. 环境搭建OpenCV安装失败是新手第一道坎2.1 用pip安装OpenCV的正确姿势先说明这一步不搞花活就是最稳的安装方式。建议用Python 3.8到3.11之间的版本太老的版本对OpenCV新版支持不好太新的版本偶尔会遇到某些库的编译安装冲突。打开终端直接执行pip install opencv-python numpy如果要处理视频或者后面接摄像头建议把opencv-contrib-python也装上它包含opencv-python的所有功能还额外带了SIFT、SURF这类需要额外授权的算法pip install opencv-contrib-python装完验证一下能正常输出版本号就算成功python -c import cv2; print(cv2.__version__)这里有个容易踩的坑opencv-python和opencv-contrib-python不要同时装两个包同时存在时会发生奇怪的冲突通常是其中一个被覆盖然后报找不到模块的错误。只保留一个就行我一般直接选opencv-contrib-python。2.2 报错ModuleNotFoundError: No module named cv2的排查链路这个报错出现频率太高了搜索热词里也有“modulenotfounderror: no module named opencv”。遇到它别急着重新pip install先按下面三步排查。第一步确认pip安装到哪个环境。如果电脑上装了Anaconda又在终端里直接敲pip install很可能装到了base环境而VSCode或PyCharm里选了另一个虚拟环境。两个环境互相隔离自然import不到。用conda env list看看当前有哪些环境再在项目里激活正确的环境后重新安装。第二步确认终端里的Python和解释器选的是同一个。在VSCode右下角能看到当前解释器路径在终端执行where pythonWindows或which pythonMac/Linux对比路径是否一致。不一致就手动切换VSCode的解释器。第三步如果以上都对尝试强制重装pip uninstall opencv-python pip install opencv-python --upgrade --force-reinstall我帮人排查过多次这类问题七八成都是环境匹配问题根本没到代码层面。所以遇到No module named先别怀疑OpenCV库坏了它大概率只是没装到你正在用的那个Python里。2.3 在VSCode里配置Python环境的一个细节用VSCode写这个项目有两个配置很有用。第一个是让终端自动激活虚拟环境在项目根目录创建.venv后VSCode打开时会自动提示切换解释器选yes就行。第二个是在settings.json里把python.terminal.activateEnvironment设为true这样打开终端时自动激活当前环境的pip避免“明明在终端装了包跑代码还是报错”的尴尬。还有一个新手特别爱犯的错在Jupyter Notebook里跑代码时import cv2报No module named但命令行里明明能import成功。这是因为Notebook的内核和你当前环境不对应。在Notebook右上角切换内核到对应环境即可。记住一句话隔离环境里的每个组件——解释器、pip、内核——都要指向同一个虚拟环境这个项目才能顺畅跑起来。3. 车牌定位边缘检测和形态学操作才是核心3.1 灰度化、去噪与直方图均衡化拿到一张图第一步不是急着找车牌而是把图像处理成“适合分析”的状态。import cv2 import numpy as np image cv2.imread(car.jpg) gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) blurred cv2.GaussianBlur(gray, (5, 5), 0)灰度化的原因很简单车牌定位只关心结构纹理不需要颜色信息单通道的计算量更小。高斯模糊是为了去掉传感器噪声避免后续边缘检测把噪点当成边缘。5×5的卷积核对一般照片来说足够如果图片特别糊或噪点特别多可以加大到7×7。直方图均衡化这一步很多人会跳过但我建议加上尤其是图片偏暗、车牌区域灰蒙蒙的时候。cv2.equalizeHist会把灰度分布拉开让车牌字符和底色的对比度更明显Canny检测出来的边缘更完整。搜索热词里“opencv equalizehist 掩膜”其实是个进阶用法后面调优部分再展开讲这里先用基础的全局均衡化gray_eq cv2.equalizeHist(blurred)3.2 Canny边缘检测结合闭运算连接候选区域Canny边缘检测是这一步的主力edges cv2.Canny(gray_eq, 100, 200)高低阈值的选择很有讲究。阈值设得太低边缘会特别碎整个画面全是白点太高则会把车牌边框的弱边缘滤掉。我实测下来100到200这个区间对大多数室外照片效果不错。如果拍摄条件光照不稳定可以改用自适应阈值方案或者把高低阈值设置成灰度中位数的上下浮动值适应性会更好。Canny输出的是细碎的边缘像素而车牌是矩形区域边缘之间有大量空隙。直接用轮廓查找得到的是断断续续的碎片。这时候要请出形态学操作里的闭运算MORPH_CLOSE——先膨胀再腐蚀把相近的边缘片段连成一片。kernel cv2.getStructuringElement(cv2.MORPH_RECT, (17, 5)) closed cv2.morphologyEx(edges, cv2.MORPH_CLOSE, kernel)这里有个关键参数卷积核的大小和形状。为什么是17×5而不是5×5因为车牌的宽高比大约是3:1到4:1字符在水平方向上的分布范围远大于垂直方向。用横向长条形的卷积核闭运算就能把字符边缘在水平方向上连起来同时不至于把上下相邻的干扰物体也黏到一起。这个17是我在大量测试后觉得比较稳的值具体可以随图片分辨率调整分辨率越高核越要加大。3.3 根据面积、宽高比筛选车牌候选框闭运算之后整个画面里会形成若干连通区域车牌就是其中一个。接着用findContours把所有轮廓找出来contours, _ cv2.findContours(closed, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE) candidates [] for cnt in contours: area cv2.contourArea(cnt) if area 500: continue x, y, w, h cv2.boundingRect(cnt) ratio w / h if 2.0 ratio 6.0 and h 20: candidates.append((x, y, w, h))筛选条件有两个一是轮廓面积太小的直接排除那是噪点二是外接矩形的宽高比。标准蓝牌的比例是440毫米比140毫米约等于3.14。考虑拍摄角度和外部干扰2.0到6.0这个区间能覆盖大多数情况。如果处理的是新能源绿牌480×140比例约3.43这个区间同样适用。这一步之后可能会得到多个候选区域实拍场景里车头进气格栅、车窗反光、车灯区域都可能混进来。没关系先把它们全部框出来后面的透视校正和颜色验证会做二次筛选。4. 透视矫正与颜色验证把倾斜车牌扶正4.1 用approxPolyDP提取车牌的四个角点候选区域的外接矩形是轴向对齐的但实际车牌可能是歪的。直接截取外接矩形会把背景也带进来字符区域被压缩变形后续分割和识别都会受影响。所以得先拿到车牌的四个真实角点。对候选轮廓执行多边形逼近for cnt in contours: perimeter cv2.arcLength(cnt, True) approx cv2.approxPolyDP(cnt, 0.02 * perimeter, True) if len(approx) 4: pts approx.reshape(4, 2) # 这就是车牌的四个角点approxPolyDP的作用是把轮廓拟合成更少顶点的多边形第二参数是逼近精度取轮廓周长的2%是个通用经验值。如果拟合出来正好是4个顶点说明这个轮廓本身就很接近矩形特别符合车牌特征。不过要注意实拍中车牌轮廓经过闭运算后角点往往被“磨圆”了approxPolyDP拟合出来的可能是5个、6个点。这时候不要直接放弃可以退而求其次用轮廓的最小外接矩形旋转框cv2.minAreaRect来提取四角rect cv2.minAreaRect(cnt) box cv2.boxPoints(rect) box np.int0(box)minAreaRect返回的是带旋转角度的最小面积矩形box就是它的四个顶点。这个方法对倾斜车牌的适配更稳我实际项目中用得更多。4.2 getPerspectiveTransform完成透视变换拿到四个角点后先用一个函数把它们按“左上、右上、右下、左下”的顺序排好。之所以要排序是因为minAreaRect返回的顶点顺序不是固定的getPerspectiveTransform要求输入输出点的顺序一一对应。def order_points(pts): rect np.zeros((4, 2), dtypefloat32) s pts.sum(axis1) rect[0] pts[np.argmin(s)] rect[2] pts[np.argmax(s)] diff np.diff(pts, axis1) rect[1] pts[np.argmin(diff)] rect[3] pts[np.argmax(diff)] return rect然后计算目标矩形的宽和高做透视变换def four_point_transform(image, pts): rect order_points(pts) (tl, tr, br, bl) rect widthA np.sqrt(((tr[0] - tl[0]) ** 2) ((tr[1] - tl[1]) ** 2)) widthB np.sqrt(((br[0] - bl[0]) ** 2) ((br[1] - bl[1]) ** 2)) heightA np.sqrt(((tr[0] - br[0]) ** 2) ((tr[1] - br[1]) ** 2)) heightB np.sqrt(((tl[0] - bl[0]) ** 2) ((tl[1] - bl[1]) ** 2)) maxWidth max(int(widthA), int(widthB)) maxHeight max(int(heightA), int(heightB)) dst np.array([ [0, 0], [maxWidth - 1, 0], [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1] ], dtypefloat32) M cv2.getPerspectiveTransform(rect, dst) warped cv2.warpPerspective(image, M, (maxWidth, maxHeight)) return warped透视变换的本质是求解一个3×3的单应性矩阵M把原始图像里的四个点映射到目标矩形的四个点。用getPerspectiveTransform只需要给出两组成对点矩阵求解的事交给库函数我们要做的是保证点序正确。变换后的图像就是一张正对视角的车牌图长宽比接近3:1字符位置也规则了。4.3 HSV颜色空间验证车牌底色到了这一步如果候选区域有多个可以用颜色信息做最终筛选。车牌底色是国标规定的——蓝、绿、黄、白颜色范围很固定。在HSV颜色空间里做颜色掩膜比在BGR空间里判断更抗光照干扰。def is_plate(roi): hsv cv2.cvtColor(roi, cv2.COLOR_BGR2HSV) # 蓝色车牌HSV范围以蓝牌为例 lower_blue np.array([100, 120, 50]) upper_blue np.array([130, 255, 255]) mask cv2.inRange(hsv, lower_blue, upper_blue) blue_ratio cv2.countNonZero(mask) / (roi.shape[0] * roi.shape[1]) return blue_ratio 0.3蓝色在HSV里对应色相H约为100到130。下限饱和度S设为120是为了排除纯黑、纯白这类颜色。下限明度V设为50是为了排除夜间整体偏暗的区域。如果图片中蓝色像素占比超过30%基本可以断定这块区域就是蓝牌。同一个思路可以扩展新能源绿牌的绿色范围是H约35到85黄牌是H约20到35白牌则看饱和度低于40同时明度高。做多类型车牌识别时就是把这几个颜色范围分别跑一遍。5. 字符分割与识别从像素到字符串5.1 二值化与垂直投影分割法车牌区域校正后接下来要把字符一个个切开。最经典的方法是垂直投影分割把二值化后的图像按列统计白色像素数量字符和字符之间的空白列像素数接近0这个“低谷”就是天然的切分点。先把车牌区域转成二值图注意蓝底白字要做反向二值化让字符变白、背景变黑plate_gray cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY) _, binary cv2.threshold(plate_gray, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU)Otsu大津法会自动计算阈值不需要手工调整对光照变化适应性更好。然后用垂直投影找字符边界h, w binary.shape col_sum binary.sum(axis0) / 255 col_sum[col_sum h * 0.05] 0 # 去掉噪声列 positions [] in_char False start 0 for i in range(w): if col_sum[i] 0 and not in_char: in_char True start i elif col_sum[i] 0 and in_char: in_char False positions.append((start, i))这里有个细节col_sum[i]大于0的列可能是字符也可能是边框或噪点。循环后面要加一层过滤把宽度小于3像素的区间直接丢掉它们不可能是字符。另外中国车牌有7个字符新能源绿牌8个第二轮筛选时可以按数量校验——如果明显少于7个说明边框没滤干净字符黏在一起了多于7个说明有噪点被当成了字符。5.2 构建模板库与模板匹配识别字符分割完成后每块字符图片的尺寸可能不一样先统一resize到相同大小然后和模板库里的字符逐一比对。模板库的构建有两种方式一种是自己造字用画图软件或程序生成标准字体字符另一种是从真实车牌上截取字符图片归类存档。我推荐后者因为真实车牌字符带有笔画粗细、边缘毛刺等特征匹配时更贴近实际。模板按字符类别存成字典templates {} for char in 京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼: templates[char] cv2.imread(ftemplates/{char}.jpg, 0) for digit_letter in 0123456789ABCDEFGHJKLMNPQRSTUVWXYZ: templates[digit_letter] cv2.imread(ftemplates/{digit_letter}.jpg, 0)注意车牌字符里没有字母I和O因为它们和数字1、0太像容易混淆实际车牌号也不会用。所以模板库要跳过这两个字母。匹配时用归一化相关系数def match_char(char_roi, templates): char_roi cv2.resize(char_roi, (40, 80)) best_score -1 best_char ? for char, template in templates.items(): template cv2.resize(template, (40, 80)) res cv2.matchTemplate(char_roi, template, cv2.TM_CCOEFF_NORMED) _, score, _, _ cv2.minMaxLoc(res) if score best_score: best_score score best_char char return best_char, best_scoreTM_CCOEFF_NORMED会输出一个范围在-1到1的相似度分数分数越接近1说明越像。实际识别中大于0.6基本可信低于0.5就要怀疑分割有问题。模板匹配的原理很简单把待识别图片当作模板在目标图上滑动窗口求相关性最大值对应的位置就是最佳匹配。5.3 传统方法与深度学习的选型边界模板匹配这个方案有一个明显天花板字体变化和形变。如果遇到艺术字体的车牌或者角度矫正后字符还是有一点拉伸模板匹配的分数就会明显下降。但它的魅力在于零训练成本几百个模板图片就能撑起一个可用的识别功能。如果项目要跨入量产阶段比如要求识别率99%以上、同时覆盖国内外多类型车牌我建议把识别这一步换成轻量级CNN比如LPRNet。这种模型参数量不大CPU上也能跑而且把字符分割和识别合并成端到端过程避免了字符分割误差的累积放大。我的观点是不要急着在第一步就上深度学习。先用纯OpenCV把整个流程跑通对每个环节的边界条件有直观认识。你会发现“分割不准导致识别错”比“识别模型不够强”出现的概率高得多。这个经验对后面调优特别有价值。6. 踩坑实录与性能优化从“能跑”到“好用”6.1 equalizeHist配合掩膜处理光照不均前面提到过直方图均衡化这里说一个进阶场景。如果车牌区域一半被阴影盖住一半被太阳直射整图均衡化的效果就不理想——暗处的字符提亮了亮处的字符反而过曝二值化后笔画连成一片。这时候可以用带掩膜的局部均衡化。先用高斯差分或阴影检测把图像分成亮区和暗区生成掩膜后对选区做处理。OpenCV的equalizeHist本身不支持掩膜参数实际项目中更常用cv2.createCLAHEclahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) gray_clahe clahe.apply(gray)CLAHE有限本文还有配套的精品资源点击获取
简介图像处理是计算机视觉的基石边缘检测、轮廓分析、形态学操作与模板匹配等经典方法至今仍在轻量级识别任务中发挥着重要作用。基于OpenCV和Python可以仅用传统算法搭建一套完整可运行的车牌识别系统无需深度学习框架与GPU即可完成单张照片、批量图片乃至实时视频流的车牌号提取。其核心流程包括图像预处理、车牌区域定位、透视校正、字符分割与模板匹配识别。这项技术尤其适用于停车场出入口、小区门禁等光照可控、角度稳定的场景具有部署简单、中间结果可视化、代码易调试等工程优势。以OpenCV实现车牌识别既是理解计算机视觉基础概念的绝佳练习也是快速交付原型方案的可靠选择。本文即围绕这一经典技术链路详解从边缘检测到字符识别的全过程与实践要点。 停车场道闸抬起的那一瞬间摄像头已经完成了拍照、识别、比对、放行这一整套动作。你可能会觉得这是“高大上”的智能视觉系统但说白了核心代码量并不大。我这次复盘的项目就是基于OpenCV和Python实现的车牌识别系统输入一张照片输出车牌号整个过程不依赖任何深度学习框架纯靠经典图像处理就能跑通。这套系统能做什么单张照片识别、批量处理文件夹、接上摄像头做实时检测都能覆盖。它适合的人群很明确Python基础语法过关、想用OpenCV做第一个完整项目的初学者或者需要快速交付原型方案的技术人员。我最初以为车牌识别怎么也得先搞个YOLO模型后来才发现国内蓝底白字车牌的底色和字符对比度足够高用边缘检测加颜色筛选就能把车牌区域稳定地抠出来。这篇文章我就把整个技术链路、关键代码、还有踩过的坑一次说完。1. 车牌识别系统不是黑魔法先看清整条技术链路1.1 从摄像头到车牌号的完整流程以最常见的蓝底白字小型汽车牌照为例一张照片从输入到输出车牌号要经历四个阶段。第一个阶段是车牌定位。照片里不只有车牌还有车灯、车窗、保险杠、背景里的树和楼得先从整个画面里把“哪一块是车牌”找出来。常用思路是边缘检测加形态学处理因为车牌区域四周有固定边框、内部有高对比度的字符在边缘图上会呈现出一片密集且规则的纹理。第二个阶段是透视校正。摄像头不会每次都正对着车牌拍斜着拍、仰着拍都常见需要用透视变换把倾斜的车牌区域“掰正”还原成标准矩形。第三阶段是字符分割把校正后的车牌区域按单个字符切开。第四阶段是字符识别逐个判断切出来的小块分别是什么字、什么数字或字母组合成最终的车牌号字符串。这四个阶段对应的OpenCV核心函数分别是cv2.Canny、cv2.findContours、cv2.getPerspectiveTransform、cv2.matchTemplate。看清这个链路之后整个项目就被拆成了四个小任务难度一下子降下来了。1.2 为什么纯OpenCV方案依然值得做有人会问深度学习这么成熟直接上目标检测加OCR不香吗我的回答是看场景。如果做高速路口、全天候多车道的复杂场景确实得上深度学习方案但停车场出入口、小区门禁这类光照相对可控、车速不快、车牌角度不会太夸张的场合纯OpenCV方案的识别率足够用而且优势非常明显——不需要标注数据集不用训练模型部署时只需装一个OpenCV库连GPU都不需要。更重要的是纯OpenCV方案的每一行代码都是可视化的。灰度图什么样、边缘图什么样、轮廓框在哪个位置都能用cv2.imshow直接看到中间结果。这对理解计算机视觉的基本概念——图像预处理、边缘检测、形态学操作、轮廓分析——帮助特别大。我见过不少直接上手YOLO的初学者模型训完也不知道特征图是什么换个场景就抓瞎。先把这个经典链路吃透再回头看深度学习会理解得更深。2. 环境搭建OpenCV安装失败是新手第一道坎2.1 用pip安装OpenCV的正确姿势先说明这一步不搞花活就是最稳的安装方式。建议用Python 3.8到3.11之间的版本太老的版本对OpenCV新版支持不好太新的版本偶尔会遇到某些库的编译安装冲突。打开终端直接执行pip install opencv-python numpy如果要处理视频或者后面接摄像头建议把opencv-contrib-python也装上它包含opencv-python的所有功能还额外带了SIFT、SURF这类需要额外授权的算法pip install opencv-contrib-python装完验证一下能正常输出版本号就算成功python -c import cv2; print(cv2.__version__)这里有个容易踩的坑opencv-python和opencv-contrib-python不要同时装两个包同时存在时会发生奇怪的冲突通常是其中一个被覆盖然后报找不到模块的错误。只保留一个就行我一般直接选opencv-contrib-python。2.2 报错ModuleNotFoundError: No module named cv2的排查链路这个报错出现频率太高了搜索热词里也有“modulenotfounderror: no module named opencv”。遇到它别急着重新pip install先按下面三步排查。第一步确认pip安装到哪个环境。如果电脑上装了Anaconda又在终端里直接敲pip install很可能装到了base环境而VSCode或PyCharm里选了另一个虚拟环境。两个环境互相隔离自然import不到。用conda env list看看当前有哪些环境再在项目里激活正确的环境后重新安装。第二步确认终端里的Python和解释器选的是同一个。在VSCode右下角能看到当前解释器路径在终端执行where pythonWindows或which pythonMac/Linux对比路径是否一致。不一致就手动切换VSCode的解释器。第三步如果以上都对尝试强制重装pip uninstall opencv-python pip install opencv-python --upgrade --force-reinstall我帮人排查过多次这类问题七八成都是环境匹配问题根本没到代码层面。所以遇到No module named先别怀疑OpenCV库坏了它大概率只是没装到你正在用的那个Python里。2.3 在VSCode里配置Python环境的一个细节用VSCode写这个项目有两个配置很有用。第一个是让终端自动激活虚拟环境在项目根目录创建.venv后VSCode打开时会自动提示切换解释器选yes就行。第二个是在settings.json里把python.terminal.activateEnvironment设为true这样打开终端时自动激活当前环境的pip避免“明明在终端装了包跑代码还是报错”的尴尬。还有一个新手特别爱犯的错在Jupyter Notebook里跑代码时import cv2报No module named但命令行里明明能import成功。这是因为Notebook的内核和你当前环境不对应。在Notebook右上角切换内核到对应环境即可。记住一句话隔离环境里的每个组件——解释器、pip、内核——都要指向同一个虚拟环境这个项目才能顺畅跑起来。3. 车牌定位边缘检测和形态学操作才是核心3.1 灰度化、去噪与直方图均衡化拿到一张图第一步不是急着找车牌而是把图像处理成“适合分析”的状态。import cv2 import numpy as np image cv2.imread(car.jpg) gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) blurred cv2.GaussianBlur(gray, (5, 5), 0)灰度化的原因很简单车牌定位只关心结构纹理不需要颜色信息单通道的计算量更小。高斯模糊是为了去掉传感器噪声避免后续边缘检测把噪点当成边缘。5×5的卷积核对一般照片来说足够如果图片特别糊或噪点特别多可以加大到7×7。直方图均衡化这一步很多人会跳过但我建议加上尤其是图片偏暗、车牌区域灰蒙蒙的时候。cv2.equalizeHist会把灰度分布拉开让车牌字符和底色的对比度更明显Canny检测出来的边缘更完整。搜索热词里“opencv equalizehist 掩膜”其实是个进阶用法后面调优部分再展开讲这里先用基础的全局均衡化gray_eq cv2.equalizeHist(blurred)3.2 Canny边缘检测结合闭运算连接候选区域Canny边缘检测是这一步的主力edges cv2.Canny(gray_eq, 100, 200)高低阈值的选择很有讲究。阈值设得太低边缘会特别碎整个画面全是白点太高则会把车牌边框的弱边缘滤掉。我实测下来100到200这个区间对大多数室外照片效果不错。如果拍摄条件光照不稳定可以改用自适应阈值方案或者把高低阈值设置成灰度中位数的上下浮动值适应性会更好。Canny输出的是细碎的边缘像素而车牌是矩形区域边缘之间有大量空隙。直接用轮廓查找得到的是断断续续的碎片。这时候要请出形态学操作里的闭运算MORPH_CLOSE——先膨胀再腐蚀把相近的边缘片段连成一片。kernel cv2.getStructuringElement(cv2.MORPH_RECT, (17, 5)) closed cv2.morphologyEx(edges, cv2.MORPH_CLOSE, kernel)这里有个关键参数卷积核的大小和形状。为什么是17×5而不是5×5因为车牌的宽高比大约是3:1到4:1字符在水平方向上的分布范围远大于垂直方向。用横向长条形的卷积核闭运算就能把字符边缘在水平方向上连起来同时不至于把上下相邻的干扰物体也黏到一起。这个17是我在大量测试后觉得比较稳的值具体可以随图片分辨率调整分辨率越高核越要加大。3.3 根据面积、宽高比筛选车牌候选框闭运算之后整个画面里会形成若干连通区域车牌就是其中一个。接着用findContours把所有轮廓找出来contours, _ cv2.findContours(closed, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE) candidates [] for cnt in contours: area cv2.contourArea(cnt) if area 500: continue x, y, w, h cv2.boundingRect(cnt) ratio w / h if 2.0 ratio 6.0 and h 20: candidates.append((x, y, w, h))筛选条件有两个一是轮廓面积太小的直接排除那是噪点二是外接矩形的宽高比。标准蓝牌的比例是440毫米比140毫米约等于3.14。考虑拍摄角度和外部干扰2.0到6.0这个区间能覆盖大多数情况。如果处理的是新能源绿牌480×140比例约3.43这个区间同样适用。这一步之后可能会得到多个候选区域实拍场景里车头进气格栅、车窗反光、车灯区域都可能混进来。没关系先把它们全部框出来后面的透视校正和颜色验证会做二次筛选。4. 透视矫正与颜色验证把倾斜车牌扶正4.1 用approxPolyDP提取车牌的四个角点候选区域的外接矩形是轴向对齐的但实际车牌可能是歪的。直接截取外接矩形会把背景也带进来字符区域被压缩变形后续分割和识别都会受影响。所以得先拿到车牌的四个真实角点。对候选轮廓执行多边形逼近for cnt in contours: perimeter cv2.arcLength(cnt, True) approx cv2.approxPolyDP(cnt, 0.02 * perimeter, True) if len(approx) 4: pts approx.reshape(4, 2) # 这就是车牌的四个角点approxPolyDP的作用是把轮廓拟合成更少顶点的多边形第二参数是逼近精度取轮廓周长的2%是个通用经验值。如果拟合出来正好是4个顶点说明这个轮廓本身就很接近矩形特别符合车牌特征。不过要注意实拍中车牌轮廓经过闭运算后角点往往被“磨圆”了approxPolyDP拟合出来的可能是5个、6个点。这时候不要直接放弃可以退而求其次用轮廓的最小外接矩形旋转框cv2.minAreaRect来提取四角rect cv2.minAreaRect(cnt) box cv2.boxPoints(rect) box np.int0(box)minAreaRect返回的是带旋转角度的最小面积矩形box就是它的四个顶点。这个方法对倾斜车牌的适配更稳我实际项目中用得更多。4.2 getPerspectiveTransform完成透视变换拿到四个角点后先用一个函数把它们按“左上、右上、右下、左下”的顺序排好。之所以要排序是因为minAreaRect返回的顶点顺序不是固定的getPerspectiveTransform要求输入输出点的顺序一一对应。def order_points(pts): rect np.zeros((4, 2), dtypefloat32) s pts.sum(axis1) rect[0] pts[np.argmin(s)] rect[2] pts[np.argmax(s)] diff np.diff(pts, axis1) rect[1] pts[np.argmin(diff)] rect[3] pts[np.argmax(diff)] return rect然后计算目标矩形的宽和高做透视变换def four_point_transform(image, pts): rect order_points(pts) (tl, tr, br, bl) rect widthA np.sqrt(((tr[0] - tl[0]) ** 2) ((tr[1] - tl[1]) ** 2)) widthB np.sqrt(((br[0] - bl[0]) ** 2) ((br[1] - bl[1]) ** 2)) heightA np.sqrt(((tr[0] - br[0]) ** 2) ((tr[1] - br[1]) ** 2)) heightB np.sqrt(((tl[0] - bl[0]) ** 2) ((tl[1] - bl[1]) ** 2)) maxWidth max(int(widthA), int(widthB)) maxHeight max(int(heightA), int(heightB)) dst np.array([ [0, 0], [maxWidth - 1, 0], [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1] ], dtypefloat32) M cv2.getPerspectiveTransform(rect, dst) warped cv2.warpPerspective(image, M, (maxWidth, maxHeight)) return warped透视变换的本质是求解一个3×3的单应性矩阵M把原始图像里的四个点映射到目标矩形的四个点。用getPerspectiveTransform只需要给出两组成对点矩阵求解的事交给库函数我们要做的是保证点序正确。变换后的图像就是一张正对视角的车牌图长宽比接近3:1字符位置也规则了。4.3 HSV颜色空间验证车牌底色到了这一步如果候选区域有多个可以用颜色信息做最终筛选。车牌底色是国标规定的——蓝、绿、黄、白颜色范围很固定。在HSV颜色空间里做颜色掩膜比在BGR空间里判断更抗光照干扰。def is_plate(roi): hsv cv2.cvtColor(roi, cv2.COLOR_BGR2HSV) # 蓝色车牌HSV范围以蓝牌为例 lower_blue np.array([100, 120, 50]) upper_blue np.array([130, 255, 255]) mask cv2.inRange(hsv, lower_blue, upper_blue) blue_ratio cv2.countNonZero(mask) / (roi.shape[0] * roi.shape[1]) return blue_ratio 0.3蓝色在HSV里对应色相H约为100到130。下限饱和度S设为120是为了排除纯黑、纯白这类颜色。下限明度V设为50是为了排除夜间整体偏暗的区域。如果图片中蓝色像素占比超过30%基本可以断定这块区域就是蓝牌。同一个思路可以扩展新能源绿牌的绿色范围是H约35到85黄牌是H约20到35白牌则看饱和度低于40同时明度高。做多类型车牌识别时就是把这几个颜色范围分别跑一遍。5. 字符分割与识别从像素到字符串5.1 二值化与垂直投影分割法车牌区域校正后接下来要把字符一个个切开。最经典的方法是垂直投影分割把二值化后的图像按列统计白色像素数量字符和字符之间的空白列像素数接近0这个“低谷”就是天然的切分点。先把车牌区域转成二值图注意蓝底白字要做反向二值化让字符变白、背景变黑plate_gray cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY) _, binary cv2.threshold(plate_gray, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU)Otsu大津法会自动计算阈值不需要手工调整对光照变化适应性更好。然后用垂直投影找字符边界h, w binary.shape col_sum binary.sum(axis0) / 255 col_sum[col_sum h * 0.05] 0 # 去掉噪声列 positions [] in_char False start 0 for i in range(w): if col_sum[i] 0 and not in_char: in_char True start i elif col_sum[i] 0 and in_char: in_char False positions.append((start, i))这里有个细节col_sum[i]大于0的列可能是字符也可能是边框或噪点。循环后面要加一层过滤把宽度小于3像素的区间直接丢掉它们不可能是字符。另外中国车牌有7个字符新能源绿牌8个第二轮筛选时可以按数量校验——如果明显少于7个说明边框没滤干净字符黏在一起了多于7个说明有噪点被当成了字符。5.2 构建模板库与模板匹配识别字符分割完成后每块字符图片的尺寸可能不一样先统一resize到相同大小然后和模板库里的字符逐一比对。模板库的构建有两种方式一种是自己造字用画图软件或程序生成标准字体字符另一种是从真实车牌上截取字符图片归类存档。我推荐后者因为真实车牌字符带有笔画粗细、边缘毛刺等特征匹配时更贴近实际。模板按字符类别存成字典templates {} for char in 京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼: templates[char] cv2.imread(ftemplates/{char}.jpg, 0) for digit_letter in 0123456789ABCDEFGHJKLMNPQRSTUVWXYZ: templates[digit_letter] cv2.imread(ftemplates/{digit_letter}.jpg, 0)注意车牌字符里没有字母I和O因为它们和数字1、0太像容易混淆实际车牌号也不会用。所以模板库要跳过这两个字母。匹配时用归一化相关系数def match_char(char_roi, templates): char_roi cv2.resize(char_roi, (40, 80)) best_score -1 best_char ? for char, template in templates.items(): template cv2.resize(template, (40, 80)) res cv2.matchTemplate(char_roi, template, cv2.TM_CCOEFF_NORMED) _, score, _, _ cv2.minMaxLoc(res) if score best_score: best_score score best_char char return best_char, best_scoreTM_CCOEFF_NORMED会输出一个范围在-1到1的相似度分数分数越接近1说明越像。实际识别中大于0.6基本可信低于0.5就要怀疑分割有问题。模板匹配的原理很简单把待识别图片当作模板在目标图上滑动窗口求相关性最大值对应的位置就是最佳匹配。5.3 传统方法与深度学习的选型边界模板匹配这个方案有一个明显天花板字体变化和形变。如果遇到艺术字体的车牌或者角度矫正后字符还是有一点拉伸模板匹配的分数就会明显下降。但它的魅力在于零训练成本几百个模板图片就能撑起一个可用的识别功能。如果项目要跨入量产阶段比如要求识别率99%以上、同时覆盖国内外多类型车牌我建议把识别这一步换成轻量级CNN比如LPRNet。这种模型参数量不大CPU上也能跑而且把字符分割和识别合并成端到端过程避免了字符分割误差的累积放大。我的观点是不要急着在第一步就上深度学习。先用纯OpenCV把整个流程跑通对每个环节的边界条件有直观认识。你会发现“分割不准导致识别错”比“识别模型不够强”出现的概率高得多。这个经验对后面调优特别有价值。6. 踩坑实录与性能优化从“能跑”到“好用”6.1 equalizeHist配合掩膜处理光照不均前面提到过直方图均衡化这里说一个进阶场景。如果车牌区域一半被阴影盖住一半被太阳直射整图均衡化的效果就不理想——暗处的字符提亮了亮处的字符反而过曝二值化后笔画连成一片。这时候可以用带掩膜的局部均衡化。先用高斯差分或阴影检测把图像分成亮区和暗区生成掩膜后对选区做处理。OpenCV的equalizeHist本身不支持掩膜参数实际项目中更常用cv2.createCLAHEclahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) gray_clahe clahe.apply(gray)CLAHE有限本文还有配套的精品资源点击获取
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
