1、基于视觉传感器的智能小车标志识别系统天津理工大学2011本科优秀毕业设计说明书 基于视觉传感器的智能小车的标志识别系统 机械工程学院，机械工程及自动化，王松涛 指导老师：孙启湲，副教授，机械工程学院 摘要：视觉信号具有信号探测范围宽、获取信息丰富等优点。随着近几年图像处 理技术以及计算机处理能力的飞速发展，视觉导航成为机器人导航的主要发展方 向之一。机器人导航的任务之一就是根据路面特征来行走，本文在 Visual C+集 成开发环境中基于OpenCV和DirectShow视频采集技术编程实现了系统的功能。 本文所设计的就是一个基于视觉传感器的智能小车的标志识别系统，根据图像分 析后的二值图像序
2、列信息，使小车能根据识别到的图像信息进行运动。 关键词：智能小车视觉导航图像处理特征识别The Mark Recognition System Based on Vision for an Intelligence VehicleAbstract： Visual sig nal with the sig nal detect ion ran ge, access to in formatio n-rich and so on. As in rece nt years, image process ing tech no logy and the rapid developme nt of co
3、mputer process ing power, visual robot n avigatio n as the main developme nt direct ion of navigation. Robot navigation tasks is to walk to the road characteristics, this article in Visual C + + in tegrated developme nt environment based on Ope nCV and DirectShow video capture tech no logy, program
4、min g fun cti on of the system. This article is desig ned is a smart visi on sen sor based car sig n recog niti on system, accord ing to the image analysis of binary image sequences, so the car can be identified according to the image information campaign.ehicle Mark Recog niti on Image Process ing
5、Feature Recog niti on Key Words In tellige nce V1绪论 机器人1的导航技术是智能型机器人自主完成任务的核心技术。移动机器人导航 是指移动机器人按照预先给出的任务命令，根据已知信息做出路径规划，并在行 进过程中，不断感知周围的局部环境信息，自主地做出决策，调整自身位姿，引 导自身安全行驶或跟踪已经路径到达目标位置。这其中包括三个主要内容：避 障、定位和路径规划。本文所设计的就是一个基于视觉传感器的智能小车的标志 识别系统，根据图像分析后的二值图像序列信息，小车能根据识别到的图像信息 进行运动。2 2基于视觉传感器的智能小车系统本论文是基于视觉传感器
6、8的智能小车识别系统，试验的平台选用的是上海中为 机器人提供的小车，小车实现的功能是在地面行走时，能根据摄像头反馈回的地 面特征，实现自主移动。实验中用到的模块 1基于视觉传感器的智能小车的标志识别系统有，CMOS摄像头，无线图传模块，传感与通讯模块，运动控制模块，远程控制 模块，USB图像采集卡，运动过程如图2.1所示：图2.1小车总体运动流程图Fig 2.1 Flow chart of the overall sports car2.1小车运动控制流程图小车的控制3流程可以分为以下三个部分，视觉采集，图片信息处理，运动控 制，控制流程如图2.2所示：图2.2小车控制流程图Fig 2.2 C
7、ar control flow chart 2.2 视觉采集系统天津理工大学2011本科优秀毕业设计说明书基于视觉的导航方式，机器人平台的图像采集系统获取机器人当前状态下的环境 信息，通过对环境图像分析确定环境对象和机器人在环境中的位置。由于图像有 较高分辨率，环境信息完整，符合人类的认知习惯，在机器人导航中得到广泛关 注，本文所采用的正是基于视觉的导航，工作过程如图 2.3所示：图像的ifciR i 阳偉从处理戍分析 ：續出或显朮图 2.3 视觉系统工作流程图 Fig.2.3 Visio n system work flow chart本小车选用的是COMS摄像头，摄像头安装在步进电机组件的
8、转盘上，以便在需 要时控制摄像头的旋转。摄像头的电源线连接在无线图传模块上，一起通过机器 人供电（12V ）;视频线连接在无线图传模块上，将采集到的图像传递到无线图 传模块，再通过它将图像传出去。如图 2.4所示：图 2.4 CMOS 摄像头 Fig 2.4 CMOS camera2.3信息传输处理系统摄像头采集到的信息要通过传输系统的传输才能被处理，智能小车的信息传输处 理过程如图：基于视觉传感器的智能小车的标志识别系统 图2.5信息传输处理流程图Fig 2.5 In formatio n tran smissi on process ing flow chart2.3.1无线图传模块无线图
9、传模块安装在机器人的底盘下，其天线穿过底盘伸到上方来。无线图传模 块采用的是模拟图像传输方式，12V电源供电，其电源线连接在机器人运动控制 模块的Video接口上，由机器人给它供电。同时，通过另一路电源线给摄像头供 电。如图2.6所示：图2.6无线图传模块Fig 2.6 Wireless tran smissi on module map2.3.2 USB图像采集卡USB图像采集卡也不装在机器人上，使用时接到计算机 USB 口上，与远程控制模块一起使用。用视频线连接图像采集卡与远程控制模块，在计算机端获取机器 人端的图像。如图2.7, 2.8所示图2.7图像采集卡 图2.8视频线Fig 2.7
10、 Image acquisiti on card Fig 2.8 Video cable233远程控制模块远程控制模块不安装在机器人上，是一个独立的功能模块。需要遥控机器人时把 它用串口线连接到计算机上，用配套的 12V电源模块给它供电。远程控制模块中包含了一个无线数传模块和一个无线图传模块，分别与机器人端的无线数传模块 和无线图传模块相对应。如图2.9所示：天津理工大学2011本科优秀毕业设计说明书图2.9远程控制模块Fig.2.9 Remote con trol module2.3.4无线数传模块无线数传模块安装在机器人的传感与通信模块里，其天线从模块的上盖伸出。电 源和信号线连接在传感与
11、通信模块的 UART1接口上，如图2.10所示：图2.10无线数传模块Fig 2.10 Wireless module2.4运动控制系统运动控制系统主要根据PC机传回的信息进行控制小车的运动，用到的模块为运 动控制模块如图2.11所示：图2.11运动控制模块Fig 2.11 Motion Control Module2.5小车总体结构实验中要用到的模块有：电源控制模块，运动控制模块，传感与通信模块，无线 通信模块，USB图像采集卡 远程控制模块CMOS摄像头 无线图传模块，USB图 像采集卡 远程控制模块连在计算机上；其他的连在小车上 组合图如图2.12所 示：基于视觉传感器的智能小车的标志识
12、别系统图2.12视频遥控机器人Fig 2.12 Video remote con trol robot2.6智能小车软件系统小车的软件系统可以分为两个部分，上位机，和下位机两个部分，上位机主要是 用微软公司的VC+6.0编译系统，下位机则是用 ADS开发系统，上位机主要对 采集回来的图像进行处理，下位机则控制小车的运动，流程如下图 2.13所示图2.13程序流程图Fig 2.13 Program flow chart 62.7 智能小车的运行过程下位机程序下载完成以后，打开 PC机，运行上位机程序，同时打开小车的开关，就可以运行了。运行过程如图 2.14所示天津理工大学2011本科优秀毕业设计
13、说明书1r图像圾度化1F图像二值化图像公噪r图像腐蚀膨胀1采集E接收帧图像右緒图2.14小车工作流程图Fig 2.14 Car work flow chart3智能小车视觉导航中的图像处理 图像处理流程如图3.1所示:9图3.1图像处理流程Fig 3.1 Image process ing基于视觉传感器的智能小车的标志识别系统4智能小车基于地面特征的视觉导航4.1智能小车基于地面特征的导航的实现小车的硬件设备已经准备好了，由摄像头传回的图像也已经处理完毕，现在我们要做的就是根据传回的图像进行分析，处理，然后做出判断，处理流程如图 4.1所示：图4.1识别流程图Fig 4.1 Identific
14、ation flowchart4.1匹配模板的制作要实现小车根据特征来实现运动，小车首先要识别特征，根据提取的特征然后匹配，我用的是模板匹配的方法，为前进，后退，左转，右转，停止，分别做 2个模板，每个模板25个像素，然后处理提取出的图片，也把他分为25个像素，然后 做对比，识别出相应的图标。如下图 4.2为5个特征模板：天津理工大学2011本科优秀毕业设计说明书 图4.2特征模板Fig 4.2 Feature template模板的制作方法是根据小车要识别的特征的形状，然后在模板中也画出类似的形 状，如停止的模板为圆，制作如下图 4.3所示：59 hibte特证组漏号 |0图4.3圆的模板F
15、ig 4.3 Circle template4.2地面特征的提取与识别特征向量的提取方法多种多样14，对于图标的特征提取方法而言，通常用得比 较多的有逐像素特征提取方法，骨架特征提取方法，垂直方向数据统计特征提取 法等。本论文采用的是逐像素特征提取的方法，根据图像范围提取出特征，分成 25个像素，然后匹配对应，从而识别出相应的图标。模式识别(Pattern Recognition)15是人类的一项基本智能，广泛应用于人工智能、 机器人、系统控制等领域，在国民经济和社会发展等方面得到广泛应用。数字识 别隶属于图像识别，识别的步骤主要有三大步：预处理、特征或基元选择和识 别。研究方法有：最小距离法
16、、贝叶斯决策法、 BP神经网络法等等。最小距离法是模式识别中进行识别的最传统的方法，用这种方法进行简单的数字识别其达 到的精度是能够满足需求的。最小距离法原理介绍：对一个未知模式x来说，如果将它代入所有决策函数算得 di(x)取最大，则x属于第i类。如果对x的值，有di(x)=dj(x)，则得到将类i与类j分开的决策边界。可 写成：dij(x)=di(x)-dj(x)为 shibi#保存 增加 箭特征库 艇 | 取消(4.1) 9基于视觉传感器的智能小车的标志识别系统这样如果dij(x) 0,则模式属于Si；如果dij(x) v0,则模式属于Sj。假设每个 模式类用一个均值矢量表示：mj=iN
17、j刀xj=1其中Nj (4.2)代表Sj的模式个数。对一个未知模式适量进行分类的方法是将这 个模式赋给与它最接近的类。如果利用欧式距离来确定接近程度，则问题转化为 对距离的测量：Dj(x)=x-mj,j=1,2, ,M (4.3)其中将x赋给a=(aa)Sir1/2是欧式模。因为最小的距离代表最好的匹配，所以如果 Di(x)是最小的距离，则类，可以证明这等价于计算：dj(x)=xmj-r12mjmj,j=1,2 ,Mr (4.4)并且在di(x)给出最大值时将x赋给Si。识别匹配的结果为箭头向上时为数字 1,箭头向下时为数字0,箭头向左时为数字4转，圆圈时为数字0。识别结果如图4.4, 4.5
18、所示：图4.4原始图像图4.5识别结果Fig 4.4 Original image Fig 4.5 Recognition results4.3智能小车自主导航的实现接通无线通信模块，打开开关，视频采集卡连接电脑上，打开小车上的开关。运 行程序，这是可以在对话框中看到时时传回的照片，如图 4.6所示：天津理工大学2011本科优秀毕业设计说明书图4.6小车时时识别结果Fig 4.6 Recog niti on results这时小车识别到相应的箭头就进行行走，箭头向上时小车前进，向下时后退，向 左时左转，向右时右转，圆圈时停止。如图所示：Fig 4.7 Forward icon Fig 4.8
19、Back icon图4.7前进的图标 图4.8后退的图标图4.9左转的图标 图4.10右转的图标Fig 4.9 Turn left icon Fig 4.10 Tur n left icon图4.11停止的图标Fig 4.11 Stop icon小车就根据预先设定的图标进行行走了 ，行走规则如下：小车在没有识别到任何图像时小车保持前基于视觉传感器的智能小车的标志识别系统进，当看到前进的图标时继续保持前进，当看到左拐或右拐的图标时，小车再行走1秒，然后再拐弯，当看到圆时小车停止。5结论本论文是实现基于视觉传感器的智能小车识别系统，通过对摄像头采集来的图像 进行处理，然后实现自主漫游。该论文实现的
20、难点有两个方面；1.论文中最主要的部分是对图像进行处理，包括图像的抓取，处理，识别，由于 对这块比较陌生，在最初进行时遇到了很多麻烦，查阅了很多相关资料，工作才 有了实质的进展，对计算机图像处理这块才有了较为深入的理解。2.由于开发环境我选的是VC+，编程语言用的是C+，由于很长时间没有接触 C+,对于编程这块一开始也比较棘手，特别是对于对象的理解，还有对函数的调 用，在实际操作中对于怎么调试程序，怎么插入函数都有很好的理解，通过这些 对编程有了进一步的学习和认识。最终经过一个多月的调试，学习，机器人最终能够按照预先设定的图标进行运 动。对于将来实现机器人的自主探索也是一个小小的尝试。但还有不
21、足的地方， 比如小车识别的精度有待提高，受周围环境影响比较大，容易被干扰。 参考文献1张剑平,夏洪文.教育机器人：现状与发展,2006, 92周新绝.关绮玲编著.机器人.上海：复旦大学出版社.1994:793金广业.陶兴旺.孙福伟编译.工业机器人与控制.东北工学院出版社，1993: 124李自茂编译.机器人学.四川科学技术出版社.1990:1635Fred G. Martin.机器人探索一工程实践指南.北京：电子工业出版社，2004。8王宇熙，夏其表.Visual C+ 6.0程序设计实用教程.2006,77王祚斌.国内外机器人发展概况.电气自动化.1995(2):64658刘君华.智能传感器
22、系统M西安:西安电子科技大学出版社,1999.9李华.图像处理技术M.北京:北京航空航天大学出版社,2004.10Ala n Bradshaw. The UK Security and Fire Fight ing Adva need Robot Project .I EEE In t.C onf.on Roboticsand Automatio n.1991:1 411Sinbu Sagisawa. Adva need Robot for Hazardous Envionmen t.A n Outl ine of Japa nese Nati onal R&DProject “ Adva n
23、eed Robot Tech no logy ” JConff.tnt.Robotics and91Automatio n.1991:315 31912M.K on aka. Nati onal Project on Adva need Robot Tech no logy in Japa n.Proc. ISART.Tokyo.Japa n.1991:9 1413A. Nishi.H.Miyagi.Co ntrol of A Wall.Climbi ng Robot Using Propulsive Force of Propeller.I ntellige ntRobots and Sys
24、tems 91.lntelligenee for Mechanical Systems.Proceedings IROS 91 .IEEE/RSJ International Workshop on,1991:15611567天津理工大学2011本科优秀毕业设计说明书14Duda, R.O., Hart, P. E., and Stork, D.G. . Pattern Classification, 2nd ed., John Wiley & Sons,NY.2001:20 6815Ritter, G.X. and Wilso n, J.N. Ha ndbook of Computer Visio n Algorithms in Image Algebra, CRC Press,Boca Rat on, FL.2005:4757
