网站备案监控系统.docx
- 文档编号:28651517
- 上传时间:2023-07-19
- 格式:DOCX
- 页数:12
- 大小:195.77KB
网站备案监控系统.docx
《网站备案监控系统.docx》由会员分享,可在线阅读,更多相关《网站备案监控系统.docx(12页珍藏版)》请在冰豆网上搜索。
网站备案监控系统
成果上报申请书(同2010年)
成果名称
自动、高效的网站备案监控系统
成果申报单位
成果承担部门
/分公司
项目负责人姓名
项目负责人联系电话
和Email
成果专业类别*
其他
所属专业部门*
数据线条
成果研究类别*
相关网络解决方案
省内评审结果*
优秀
关键词索引(3~5个)
网站备案、DNS分析、Http分析、爬虫分析
应用投资
产品版权归属单位
对企业现有标准规范的符合度:
(按填写说明5)
如果该成果来源于研发项目,请填写研发项目的年度、名称和类型(类型包括:
集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目),可填写多个:
成果简介:
简要描述成果目的和意义,解决的问题,取得的社会和经济效益。
为了落实工信部和集团公司对于网络信息安全的要求,及时发现我省网内未备案网站或含有不良信息的网站,以便采取进一步措施阻断未备案网站和含有不良信息的网站,我省建设了网站备案监控系统。
该系统用于快速、自动发现我省网内未备案网站或含有不良信息的网站,可打击网络不良信息传播等违法行为。
4相关法规机房的德越多无论未备案网站是通过IDC主机托管还是专线等方式接入,系统都可通过以下三种方式结合快速发现:
(1)DNS分析方式;
(2)Http分析方式;
(3)爬虫分析方式。
在发现未备案网站之后,系统立即触发短信告警,通知维护人员及时阻断未备案网站。
系统对于已发现的网站还可以通过“内容搜索引擎”这一主动监控技术,快速抓取网页内容,甄别含有不良信息的网页,通过快照的方式保存还有不良信息的网页。
对于含有不良信息的网页实时触发短信告警,通知维护人员及时关闭含有不良信息的网页服务器端口。
该系统有效打击网络色情传播、网络非法销售等违法行为发挥了不可替代的作用,保障了安徽移动互联网的健康持续发展。
省内试运行效果:
描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等。
安徽移动网站备案监控系统于2010年2月至3月建设,投资总额19.5万元。
本项目建设,较之传统流量监控发现方式,共节约投资约180万元。
该系统全月可完成对全省4.2万个IP地址的扫描。
截至2011年7月共发现处理未备案网站5个,抓取含有色情等不良信息的非法网站2个,有力的打击了未备案网站和含有不良信息的网站。
目前安徽移动网站备案监控系统监控范围覆盖IDC及全省接入用户,设置省级管理员用户及市级管理员用户,省级管理员负责全省网站管理,市级用户负责本地市范围内的网站管理。
目前已成为安徽移动日常网站管理中必不可少的工具。
主要发挥以下作用:
(1)有效打击了未备案网站的私自接入,降低了问题网站出现的可能。
(2)准确抓取了网内不良信息。
确保安徽移动网站不违法国家相应法律法规,确保安徽移动互联网健康发展。
(3)在多次互联网不良信息的专项行动中发挥了积极作用,为中国移动在互联网管理方面树立了领头羊的正面形象。
安徽移动网站备案监控系统的建设和成功应用,解决了以往在网站备案管理以及网络不良信息管理方面的问题。
尤其是在国家近年来越来越重视网络信息控制的风口浪尖下,对网络信息的管理尤为重要,一旦出现负面信息,将造成舆论的强大压力,可能对运营商造成重大损失。
网站备案监控系统的建成为安徽移动互联网健康发展有着重大意义。
文章主体(3000字以上,可附在表格后):
根据成果研究类别,主体内容的要求有差异,具体要求见表格后的“填写说明6”。
自动、高效的网站备案监控系统
一、背景情况
伴随着互联网的发展和普及,网络上充斥着色情、暴力、反动、迷信等各类不良信息,不但会对未成年人的身心发育和健康成长十分有害,甚至会影响到国家形象和尊严。
因此,近年来国家不断加强对互联网信息安全的监控力度,先后下发了国务院令第292号《互联网信息服务管理办法》和工信部令第33号《非经营性互联网信息服务备案管理办法》等相关规定,规定明确国家对经营性互联网信息服务实行许可制度,对非经营性互联网信息服务实行备案制度。
未取得许可或者未履行备案手续的,不得从事互联网信息服务,否则就属于违法行为。
随着安徽移动互联网业务的发展和向服务型IDC转型的不断深入,越来越多的企业使用安徽移动企业建站及主机托管业务将网站服务器托管在我公司IDC机房,未建设网站备案系统之前,不但对承载在我方机房的未备案网站很难发现,而且对网站中的不良信息业无从下手,为非法网站的运营提供了可乘之机。
为落实国家、工信部和集团公司对打击未备案网站和网络不良信息的要求,保证安徽移动互联网持续健康发展,于2010年3月安徽移动建设了网站备案监控系统,该系统能快速发现未备案网站,快速抓取网内不良信息,有效提高了安徽移动对省内网站的信息安全和备案管理水平,保证了安徽移动切实响应国家相关法律法规要求,在电信行业中为公司树立了互联网健康发展领跑者的形象。
二、业务现状
未建立网站备案监控系统前,没有技术手段对发布涉黄、反动、非法传销等传播非法信息的网站进行快速定位,不能自动发现我省网内未备案网站及含有不良信息的网站,不能及时打击网络不良信息传播等违法行为。
因此,不能有效落实国务院令第292号《互联网信息服务管理办法》和工信部令第33号《非经营性互联网信息服务备案管理办法》的相关规定。
经调研江苏、湖北、江西、上海等移动公司均未建设网站备案监控系统,均不能有效监控和打击网络违法信息,不能有效落实国家的相关规定。
三、技术方案
3.1概述
针对上述情况,安徽移动建设了网站备案监控系统,该系统通过“DNS分析+HTTP分析+爬虫分析”三种网站发现技术的组合,可高效、准确发现省内接入的绝大多数网站,尤其针对虚拟主机、私自接入等潜伏网站效果甚佳。
然后解决“网站内容是什么?
”的问题,即监测网站是否含有不良信息等法律禁止内容。
系统通过搜索引擎的主动监控方式,快速搜索网内是否含有不良信息,与以往的DPI包检测技术相比,该方式无须高成本的硬件投入,且范围覆盖全省,不受用户是否访问的限制,搜索引擎可主动出击,主动发现网内的不良信息。
网站备案监控系统在解决以上两大主要问题的同时,还辅以网站定位追踪、网站状态查询等辅助功能,拓展了系统的实用性。
3.2方案详述
如图2-1为网站备案监控系统的网络拓扑架构,从部署结构看系统主要分为3部分,第一部分为最上方的省级中心,该处部署系统应用服务器、内容搜索服务器。
系统应用服务器提供web服务,内容搜索服务器提供内容监控。
第二部分为DNS分析方式发现网站。
第三部分为HTTP分析发现网站。
本系统的主要实现基础是网站发现技术,而本系统采用的DNS分析+HTTP分析+爬虫分析三种技术互不影响,三种技术可独立运行可有优势,其中DNS分析技术网站发现范围覆盖全省,可发现专线、虚拟主机等潜藏网站。
HTTP分析技术针对IDC进行网站发现,可高效发现IDC内接入的所有网站。
爬虫分析技术较之DNS分析和HTTP分析效率虽然较低,但是是对以上两种方式的一种补充,在发现绝大多数网站之后,一些无人访问的网站可通过爬虫技术补充发现。
三种技术互相补充、互不影响,同时使用可有效提高网站发现的效率。
图2-1
具体技术原理如下:
3.2.1网站发现方式一:
DNS分析
DNS分析网站发现方式,是该系统中效率最高的网站发现方式,该方式通过实时分析DNS的响应流量,发现省内的绝大多数网站。
省级DNS负责省内用户的域名解析请求的应答,所以通过分析省级DNS的域名应答流量可实时发现网内接入的网站。
因为网站无论是通过何种方式接入的如IDC托管主机、专线接入等,都需要进行域名解析,所以只要有用户通过本省移动DNS访问了该网站则DNS可发现该网站。
具体实现流程如下:
(1)在DNS的上联交换机做端口镜像,将DNS的响应流量镜像到一个网口(注:
通过DNS的响应流量很小,一般在几十兆左右,所以一个千兆以太网口够用)
(2)将DNS分析服务器连接至该镜像网口
(3)DNS分析服务器接收镜像流量,并将域名的IP地址与安徽移动的监控地址段比较,记录IP地址属于安徽移动地址范围的域名,该类域名即为安徽移动接入的网站。
(注:
可排除DNS的默认指向地址)
如图2-2为DNS分析的网站发现示意图。
图2-2
3.2.2网站发现方式二:
HTTP分析
HTTP分析技术,是专门针对IDC内接入网站进行发现的一种手段,该技术科可有效发现IDC内虚拟主机等潜藏网站,该方式与DNS分析方式的区别是不受访问者所使用的DNS的限制,无论访问者在哪里,只要有进入IDC内的网站访问请求即可发现该网站。
与以往的DPI包技术相比优势如下:
(2)该技术只分析80端口的HTTP请求,只分析请求包头几百字节的信息量,对设备要求性能不高,成本低。
(3)部署方便,无需改变原有网络结构,只需做端口镜像即可。
具体实现流程如下:
(1)在IDC核心交换机处做端口镜像,将流入IDC的80端口流量镜像到一个千兆电口(注:
通常IDC的出口流量很大,但实际上大部分流量都是出向的,流入IDC的HTTP请求流量很小,所以一个千兆口完全满足使用)
(2)将该镜像口连接一台HTTP分析服务器
(3)HTTP分析服务器实时分析流入IDC的HTTP请求,将域名对应的IP地址与安徽移动的监控地址段进行比对,记录属于监控范围的网站,该类网站即为IDC内接入的网站。
注:
通常IDC只有2个核心交换机,所以一个ICD一般投入一台PC服务器配置两块网卡,即可监控整个IDC。
如图2-3为HTTP分析网站发现的示意图。
图2-3
3.2.3网站发现方式三:
爬虫分析网站发现
爬虫分析网站发现不是系统网站发现的主要手段仅只是对DNS分析和HTTP分析的补充,效率较前两种方式较低。
如图2-4所示。
图2-4
3.2.4内容搜索引擎
系统在发现网站之后,要对网站内容进行监控,分析是否含有色情、反动等不良信息。
网站备案监控系统采用类似XX、谷歌的搜索引擎,主动对网站进行内容分析,快速发现非法关键词。
与以往的DPI深度包检测技术相比有如下优势:
(1)无需专用硬件,成本低;
(2)不受地理位置限制,无需在特定位置通过分光、分析流量,只要能上网就可以对网站进行内容拨测;
(3)不受访问者的限制,无论网站是否被访问,搜索引擎本身就是一个网站访问者,主动出击,主动拨测,拨测时间、拨测频率灵活定义;
(4)主动搜索可遍历网站的每个页面,不留死角
爬虫的逻辑处理流程如下图2-5:
图2-5
(1)规则配置,用户自定义搜索的关键词分类,如色情、非法销售等,在分类下创建具体的非法关键词。
为每一类监控分类设置快照阀值。
(2)监控处理,搜索引擎抓取网站页面内容,并自动进行内容解析,关键词比对。
对含有非法关键词超过阀值的页面做快照处理。
(3)名单管理,用户设定黑名单阀值,系统将自动对含有非法页面达到阀值的网站,将其列入黑名单。
黑名单可作为用户管理的重点照顾对象。
搜索引擎中还用到以下关键技术,用以提高搜索的准确度:
(1)权重
系统预置关键词库,作为搜索引擎搜索的关键词,关键词库可灵活定义词组分类,如色情、反动、非法销售等。
权重是反映一个词的敏感程度的标准,该技术可有效提高搜索引擎的搜索准确度。
(2)分词技术
分词技术,是搜索引擎中用到的关键技术,该技术可将抓取内容自动进行分词,如中华人民共和国,可分为中华人民共和国,然后系统将这些分析于关键词进行比对。
该技术是搜索引擎中必不可缺的技术之一。
(3)加权算法
搜索引擎在判断一个网页是否被抓取的过程中,不仅判断页面含有非法关键词的数量。
同时还判断该词在所在页面中出现的位置,如关键词出现在标题处则权重增加。
搜索引擎将综合以上因素判断页面是否被抓取。
(4)搜索引擎动态展示技术
网站备案监控系统将搜索引擎的每个线程,直观呈现在用户面前,实现了可视化的搜索过程,系统页面上动态显示搜索引擎每个线程,当前搜索的URL,搜索的网页总数等信息,是搜索过程一幕了然,确保了搜索的高效运行。
四、使用效果
安徽移动网站备案监控系统建设和使用有效解决了未备案网站存在的无法快速定位、无法主动监控及查看爬虫工作状态等问题,具体内容如下:
(1)解决了以往无法快速发现未备案网站问题
以往对虚拟主机,专线接入等私自接入的网站,没有有效的发现机制,只能通过在省出口或者IDC出口设置流量分析系统进行监测,该方式中流量分析设备一般都是专用硬件设备,价格昂贵,成本巨大。
同时由于流量分析设备只能分析分光处得流量,对没有分光的地方不能发现流量内的网站,因此需要对现网改造,在现有所有电路上部署分光设备,操作复杂且有一定安全隐患。
而本系统采用DNS分析+HTTP分析+爬虫分析的组合方式,每种技术都无需高额投入,更不用分光,部署方便,且解决了以往无法解决的问题。
(2)解决了无法主动监测网站内容的问题
网站内容需要即时的拨测,才能保证在第一时间内发现问题解决问题。
而以往采用的包检测技术,只能被动的等待流量过来才能分析,也就是说需要有人访问了内容,而且必须从该出口走才能监测到,不能即时发现问题。
而采用内容搜索引擎技术主动出击,不仅效率高,一台搜索服务器一天就可以完成对百万级页面的内容检查。
而且无需大量的硬件投入只需基本的PC服务器即可,部署也十分方便,只要能上网具备一定的带宽即可。
(3)解决了无法直观了解搜索引擎工作状态的问题
搜索引擎的工作过程是后台实现的,所以无法直观了解搜索引擎的工作状态,而一旦搜索引擎出现故障则无法保证搜索的效率,网站备案监控系统,特有的搜索引擎动态搜索过程展示功能,将搜索引擎实现了可视化的动态搜索,类似杀毒软件,搜索引擎可动态呈现当先搜索的URL,及每个搜索线程的工作状态,确保搜索引擎保持高效率的工作状态。
五、本省推广情况
安徽移动网站备案监控系统投资总额19.5万元,较之传统流量监控发现方式,共节约投资约180万元。
目前监控范围覆盖IDC及全省接入用户,已成为安徽移动日常网站管理中必不可少的工具,每月可完成对全省4.2万个IP地址的扫描。
截至2011年7月共发现处理未备案网站5个,抓取含有色情等不良信息的非法网站2个,有力的打击了未备案网站和含有不良信息的网站。
其主要作用如下:
(1)有效打击了未备案网站的私自接入,降低了问题网站出现的可能。
(2)准确抓取了网内不良信息。
确保安徽移动网站不违法国家相应法律法规,确保安徽移动互联网健康发展。
(3)在多次互联网不良信息的专项行动中发挥了积极作用,为中国移动在互联网管理方面树立了领头羊的正面形象。
该系统的建设和成功使用,极大地提高了网站备案和网页内容监控的自动化、智能化、精确化,创新了网络信息安全思路和管理模式,具有较好的推广和借鉴价值,对安徽移动互联网业务的健康发展具有重大意义。
六、该项目主要创新点有:
安徽移动网站备案监控系统的建设和成功使用,创新了信息安全管理模式,具有较好的推广和借鉴价值。
该项目的建设,极大地提高了发现未备案网站和含有不良信息网站的效率和效果,满足了信息安全管理需求。
其主要创新点有:
(1)创新性地通过DNS分析、Http分析、爬虫分析三种手段相结合发现网站,极大提高了网站发现的全面性和准确率,避免了对未备案网站或含有不良信息网站的“漏杀”,网站发现结果可靠性大大增强;同时,大大降低了传统流量监控方式对网络的改造量和改造成本。
(2)通过类似谷歌、XX等搜索引擎的爬虫技术,将网页通过快照抓取下来,实现了自动取证、人工审核,避免对含有不良信息网站的“错杀”。
(3)对服务器端口的扫描,可以实现对非法80/8080应用的发现,再由维护人员关闭未经批准打开的80/8008端口,既保证了服务器的安全性,也减小了存在未备案、非法网站的风险。
(4)通过短信告警,及时通知管理人员处理,大大缩短了处理时限,使得问题网站在最短时间内被封堵,最大程度上减少了不良信息传播。
(5)使用类似杀毒扫描软件可监控扫描进程的方式对系统扫描进行可监控,使得系统可管可控性大大加强。
安徽移动网站备案监控系统的建设和成功应用,解决了以往在网站备案管理以及网络不良信息管理方面的问题,为落实工信部、集团公司对信息安全工作要求提供了手段,对信息安全管理的效率与效果提升明显。
该系统的建成属于行业领先,具有显著的先进性,对于安徽移动互联网健康发展有着重大意义。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 网站 备案 监控 系统