基于嵌入式Linux的视频图像采集与传输.docx
- 文档编号:26410962
- 上传时间:2023-06-19
- 格式:DOCX
- 页数:6
- 大小:21.69KB
基于嵌入式Linux的视频图像采集与传输.docx
《基于嵌入式Linux的视频图像采集与传输.docx》由会员分享,可在线阅读,更多相关《基于嵌入式Linux的视频图像采集与传输.docx(6页珍藏版)》请在冰豆网上搜索。
基于嵌入式Linux的视频图像采集与传输
基于嵌入式Linux的视频图像采集与传输
摘要:
视频图像采集及处理技术在远程视频监控和可视电话中有着广泛的应用前景,驱动视频采集设备和获取视频数据并进行相应的处理,是实现这些应用的基础。
针对这些应用,构建了一个基于嵌入式Linux和PXA270微处理器的视频采集与传输系统,利用Video4Linux实现USB摄像头视频数据采集,采集的视频数据经JPEG压缩后,在PXA270为核心的系统控制下通过以太网进行传输,并通过重新编译移植Webcam_server应用程序实现了实时视频采集。
实验结果表明,该系统动态刷新良好,具有一定的实用性。
关键词:
PXA270;嵌入式Linux;USB摄像头;图像采集与传输Abstract:
Videoimageacquisitionandprocessingtechnologyhadabroadapplicationprospectinthelongdistancesupervisorycontrolwithvideoandvideotelephone.Drivingvideoacquisitionequipmentsandgainingvideodatatoprocessaccordinglyarethebasisofrealizationtheapplications.Aimingattheapplications,designedavideoacquisitionandtransmissionsystembasedonPXA270withembeddedLinux.ThesystemusedUSBcameracombinedwithVideo4Linuxtoimplementvideodataacquisition,thenwereencodedinJPEG,andsentbyEthernetunderthecontrolofthePXA270.Intheend,compilingandtransplantingthewebcamserverapplication,actualizedreal-timevideoimageacquisition.Theexperimentalresultsshowsthatthesystemcanberefresheddynamicallybetter,anditisveryusefulandpractical.Keywords:
PXA270;embeddedLinux;USBcamera;imageacquisitionandtransmission1引言视频图像可以对客观事物进行形象、生动的描述,它是一种直观而具体的信息表达形式,也是一种重要的信息载体。
而随着嵌入式系统的不断发展,它所涉及的领域包括工业控制、网络通信、军事国防、航空航天等,我们所熟悉的电子产品几乎都可以找到嵌入式系统的影子。
利用嵌入式微处理器构建的视频图像采集系统[1]具有体积小、成本低、稳定性高等优点,在智能交通、计算机视觉、通信等领域得到了广泛应用。
2系统平台上的硬件系统与软件系统本系统的硬件平台采用Intel公司的PXA270[2][3]微处理器。
该处理器是Intel公司于2004年4月发布的面向移动电话和掌上电脑需求,基于Xscal架构的PXA27x系列处理器,最高主频可达624MHz。
PXA270最引人注目的是加入了无线多媒体扩展技术(WirelessMMX),大大提升了多媒体处理能力;同时PXA270还加入了IntelSpeedStep动态电源管理技术,实现嵌入式设备的智能电源管理。
此外,PXA270具有丰富的扩展接口:
SD/SDIO/MMC、CF/PCMCIA、CMOS/CCDCAMERA、USB2.0、KEYBOARD等。
平台的软件系统采用内核为Linux-2.6.18的嵌入式Linux操作系统。
嵌入式Linux操作系统具有相当多的优点,它的内核稳定、功能强大、支持多种硬件平台、源代码完全开放,可裁减和低成本的特性非常适合于嵌入式应用,并且Linux本身直接提供完整的TCP/IP协议,可非常方便地进行网络应用。
3基于Video4Linux的视频图像采集在Linux下,设备驱动程序可以看成Linux内核与外部设备之间的接口。
设备驱动程序向应用程序屏蔽了硬件具体实现细节,使得应用程序可以像操作普通文件一样来操作外部设备。
在Linux下,视频采集设备的正常使用依赖于Video4Linux标准的支持。
Video4Linux(简称V4L)是Linux中关于视频设备的内核驱动,它为针对视频设备的应用程序编程提供了一系列接口函数,这些视频设备包括TV卡、视频捕捉卡和USB摄像头等。
视频采集的一般流程为:
(1)打开视频设备;
(2)读取设备信息;(3)进行视频采集;(4)对采集的视频数据进行处理和显示;(5)关闭视频设备。
视频采集主要有两种方法:
(1)直接从设备读取;
(2)内存映射。
本系统采用第二种方法进行视频采集,其优点是当采用内存映射时,直接用mmap()系统调用使得进程之间通过映射同一个普通文件实现共享内存。
普通文件被映射到进程地址空间后,进程可以像访问普通内存一样对文件进行访问,不必再调用read(),write()等操作。
而且采用共享内存通信的一个显而易见的好处是效率高,因为进程可以直接读写内存,而不需要任何数据的拷贝。
采用内存映射实现视频采集的部分源代码如下:
(1)调用VIDIOCGBUF获取映射的buffer信息ioctl(vd->fd,VIDIOCGBUF,&(vd->mbuf))
(2)将mmap与video_mbuf绑定intv4l_mmap_init(v4l_device*vd){if(v4l_get_mbuf(vd)<0)return-1;if((vd->map=mmap(0,vd->mbuf.size,PORT_READ|PORT_WRITE,MAP_SHARED,vd->fd))<0)return-1;return0;}(3)进行图像采集前的设置intv4l_grab_init(v4l_device*vd){vd->mmap.width=640;//设置图像窗口vd->mmap.height=480;//窗口大小为640?
480vd->mmap.format=VEDIO_PALETTE_YUV420P;//采样格式为YUV420P…}(4)调用VIDIOCMCAPTURE开始一帧的截取ioctl(vd->fd,VIDIOCMCAPTURE,&(vd->mmap));(5)调用VIDIOSYNC等待一帧截取结束if(ioctl(vd->fd,VIDIOSYNC,&frame)<0){perror(v4l_sync);return-1;}该函数成功返回则表示一帧采集已完成,采集到的图像数据放到起始地址为vd->map+vd->mbuf.offsets[vd->frame]的内存区中,读取该内存区中的数据便可得到图像数据。
接着可以做下一次的VIDIOCMCAPTURE。
使用V4L进行图像采集时,可采用“不间断采集”的方法加快采集过程。
驱动程序要提供至少两帧图像大小的缓冲空间,在一帧缓冲完成之后,不管此时应用程序有无提出新的VIDIOCMCAPTURE请求,驱动都将第二帧图像覆盖保存至另一个缓冲内,两个缓冲轮流使用,不丢任何帧。
4视频图像压缩与传输通过以上采集程序获得的图像数据为原始数据,可以根据图像采集格式将图像信息存储成文件,通过网络用webserver传输到服务器端刷新显示。
如果不对图像进行压缩,则图像数据较大,不便于在网络上传输,这就要求系统首先对原始视频图像数据进行压缩处理,而通用网络浏览器一般支持BMP、JPG、GIF三种网络图片格式,因此本系统采用JPEG压缩方式。
JPEG是JointPhotographicExpertsGroup(联合图像专家组)的缩写,文件后缀名为“.jpg”或“.jpeg”,是最常用的图像文件格式,是由一个软件开发联合会组织制定,是一种有损压缩方式,能够将图像压缩到很小的储存空间。
JPEG格式是目前网络上最流行的图像格式,JPEG压缩技术十分先进,它用有损压缩方式去除冗余的图像数据,在获得较高的压缩率的同时能展现十分丰富生动的图像,非常适合于视频网络传输。
Linux中没有jpeg函数库,需要下载jpegsrc.v6b.tar.gz后,在/usr/src解压安装:
cdjpeg-6b./configureMakeMakeinstall这样,Linux就支持jpeg函数库了,在编译器编译连接时带有-ljpeg选项就能连接上jpeg函数库了。
利用下面函数将采集到的YUV420P的原始图像数据直接压缩成JPEG格式进行传输:
intyuv420p_to_jpeg(char**jpeg_data,unsignedchar*image,intwidth,intheight,intquality),其中,jpeg_data指向压缩图像数据指针的指针,image为采集图像原始数据,width为长度,height为高度,quality为压缩质量,函数的返回值为产生压缩图像数据的长度。
现在企事业的业务大多通过Web技术[4]来部署实现。
通过Web方式主要有以下几点优势:
(1)可以简化界面的工作,直接使用浏览器界面,而浏览器已是计算机的必备软件了。
(2)很容易实现超出局域网范围的远程控制,并可以实现远程自动系统升级。
(3)应用层程序开发快捷,由于Web标准的统一,使得开发是跨平台的。
而嵌入式系统性能的增强也使得Web服务进入嵌入式领域成为可能。
Web服务的优势也同样适用于嵌入式系统。
webserver又被称为HTTPServer,它是对HTTP协议服务器端功能的实现。
HTTP协议是架构在TCP/IP协议上的应用级协议,其目的是方便和加速对分布式协同工作的超媒体信息系统的访问。
HTTP协议通过统一资源定位符(UniversalResourceLocation,URL)来定位分布式的超媒体信息。
URL通过“通信协议+网络地址”字符串来唯一标识信息位置。
如:
URL。
这个URL明确给出使用的协议是:
HTTP协议。
Linux系统是通过提供套接字(socket)来进行网络编程的。
通过webserver进行网络传输时涉及到的套接口操作函数[5]主要有:
socket()函数,主要功能是创建指定类型的套接口并返回套接口描述符;bind()函数,主要功能是使套接口与IP地址和端口号绑定;connect()函数,主要功能是用来与远端服务器建立连接;listen()函数,主要功能是当socket与某一端口捆绑以后,就需要监听该端口,以便对到达的服务请求加以处理;accept()函数,主要功能是接受连接队列里的服务请求,并返回一个新的socket描述符,来供这个新连接使用。
需要注意的是,服务器并不是通过监听端口来与客户连接并通信,而是产生一个新的套接口与客户通信。
例如webserver在80号端口监听,当有客户向80号端口发出连接请求时,服务器将接受请求且由服务器进程派生出子进程和新的套接口(由accept()的返回值指向)来与客户连接并通信。
将采集格式为YUV420P的原始视频图像数据压缩成JPEG格式,并当客户端有连接时,通过子进程向客户端发送JPEG图像数据:
if((size=(yuv420p_to_jpeg(&imagebmp,imageptr,640,480,20)))<0){printf("Error:
writejpegerror!
");}if(!
fork()){if(revbuf[5]=='')send(nsockfd,imagebmp,size,0);}这样,当系统运行时,通过设置PC机的IP地址(与系统IP地址在同一网段内),在PC机的IE浏览器内输入以下IP地址:
http:
//192.168.0.232:
81/,将看到图像格式为JPEG的图片。
通过刷新,可以更新图像。
5播放视频流为了播放实时视频,可以通过在目标板的ARMLinux系统中移植一个视频服务器的应用程序来实现。
Webcam[6][7]是一个比较常用的的视频应用程序,通过网络下载webcam_server的Linux版本:
webcam_server-0.50.tar.gz,它是基于GNU架构之下的,完全免费,源码开放。
解压后执行./configure,生成Makefile文件。
修改当前目录和src目录下的Makefile的CC为/usr/local/arm/3.4.3/bin/arm-linux-gcc,执行make,产生webcam_server可执行文件,把此应用程序加载到270开发板上就可以使用了。
如果远端客户端是Windows操作系统,下载Activewebcam的客户端,并安装。
设置好PC机的IP地址(与系统IP地址在同一网段内)后,启动Activewebcam。
选择Tools—>CreateWebPage新建一个网页浏览页,并选中settings,对视频浏览的相关参数进行设置。
具体设置为:
VideoDevice选中NetworkIPCamera;PreviewFrameRate:
8framespersec;CameraModel:
ActiveWebCamHTTPServer;IPAdressorURL:
192.168.0.232(即开发板的IP地址);Port:
8888。
整个设置完后,就可以搜索摄像头,找到摄像头后,就能在相应的PC机上动态显示摄像头采集的图像信息,如图1所示,画面清晰,图像采样大小为320?
240。
点击记录按钮,还能将采集到的动态视频以.AWLive的文件格式保存到C:
/ProgramFiles/ActiveWebCam/Gallery目录下,文件类型为:
ActiveWebCamVideoRecord,双击该文件能进行自动播放。
如果远端客户端是Linux操作系统,可以使用javaapplet进行视频流播放,需要在Linux主机上安装jdk环境,可从Sun公司的Java网站上下载JDK1.6的Linux版本:
jdk-6u11-linux-i586-rpm.bin,先为该文件增加可执行权限:
chmoda+xjdk-6u11-linux-i586-rpm.bin,然后对该文件进行自解压:
./jdk-6u11-linux-i586-rpm.bin,将自动进行安装,在/usr/java目录下生成了java环境,设定相关的环境变量:
exportPATH=/usr/java/jdk1.6.0_11/bin:
$PATH,为了让浏览器找到这个JavaPlug-in,必须将环境参数NPX_PLUGIN_PATH指到文件javaplugin.so所在的目录:
exportNPX_PLUGIN_PATH=/usr/java/jdk1.6.0_11/jre/plugin/i386/ns7。
设置完后,可以使用javaapplet程序播放视频流,具体命令为:
java–classpathapplet.jar:
/usr/java/jdk1.6.0_11/lib/tool.jarWebCam192.168.0.2328888。
这时,在Linux主机上可以获取usbcamera采集的视频流,并产生动态链接的画面,如图2所示,画面清晰,图像采样大小为320?
240,速率能达到8帧/秒,动态刷新效果良好。
6结束语本文讨论了基于PXA270和嵌入式Linux操作系统下Web服务器中视频图片压缩及其传输的实现方法,并通过移植Webcam_server及其相应软件,客户端可以完成对远程的视频图像的采集和动态显示。
由于该系统的核心工作采用高性能嵌入式微处理器完成,因此该系统具有结构简单、性能稳定、成本低廉等优点。
该技术具有通用性,应用范围相当广,可以作为简单的安全监控、远程现场监控等应用,同时,在机器人监控系统、视频电话、远程教学等应用中也有一定的应用前景。
本文创新点:
1对原始采集的视频图像信号进行JPEG压缩后,自主设计Webserver对其进行网络传输;2利用Webcam_server分别在Linux和Windows操作系统下进行网络实时视频采集与传输。
参考文献[1]王培珍,徐俊生.基于ARM9的嵌入式Linux图像采集系统设计[J].中国制造业信息化,2007,10:
85-88.[2]李瑞祥.基于PXA270的视频监控系统的设计与开发[J].光学仪器,2008,3:
42-45.[3]石秀民,魏洪兴.嵌入式系统原理与应用——基于Xscale?
与Linux[M].北京:
北京航空航天大学出版社.2007.[4]时雨露,潘淑文,寿国础.Linux嵌入式WEB系统研究及实现[J].微计算机信息,2007,03Z:
3-5.[5]陈学峰,柴俊霞.Linux下基于Socket的网络编程[J].淮北煤炭师范学院学报,2004,3:
60-63.[6]周广荣.基于ARM视频采集系统的设计与实现.大连海事大学.硕士学位论文.2007:
68-71.[7]金福辉.基于IntelXscale270平台与嵌入式Linux的图像采集系统设计.山东大学.硕士学位论文.2007:
53-54.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 嵌入式 Linux 视频 图像 采集 传输