中国移动上网日志留存系统Gb IuPS采集解析设备规范.docx
- 文档编号:10148143
- 上传时间:2023-02-08
- 格式:DOCX
- 页数:29
- 大小:205.13KB
中国移动上网日志留存系统Gb IuPS采集解析设备规范.docx
《中国移动上网日志留存系统Gb IuPS采集解析设备规范.docx》由会员分享,可在线阅读,更多相关《中国移动上网日志留存系统Gb IuPS采集解析设备规范.docx(29页珍藏版)》请在冰豆网上搜索。
中国移动上网日志留存系统GbIuPS采集解析设备规范
中国移动通信企业标准
QB-W-025-2011
中国移动上网日志留存系统规范Gb/IuPS采集解析设备规范
EquipmentSpecificationofChinaMobile
NetlogSystem
(SignalCollectionGb/IuPSPart)
(SignalCollectionGatewayInterfacePart)
版本号:
1.0.0
2013-6-27实施
2013-6-25发布
中国移动通信集团公司发布
目 录
前言
本标准对中国移动上网日志留存系统中的数据采集层设备提出要求,是中国移动上网日志留存系统建设需要遵从的技术文件。
本标准主要包括以下几方面内容:
系统功能要求、性能指标和可靠性要求、接口要求、时间同步要求、网管要求、操作维护要求、网络安全要求。
本标准是中国移动上网日志留存系统系列标准之一,该系列标准的结构、名称或预计的名称如下:
序号
标准编号
标准名称
发布单位
[1]
中国移动上网日志留存系统总体技术要求
中国移动
[2]
中国移动上网日志留存系统Gn采集解析设备规范
中国移动
[3]
中国移动上网日志留存系统Gb/Iu-Ps采集解析设备规范
中国移动
[4]
中国移动上网日志留存系统防火墙日志采集前置机数据传递要求
中国移动
[5]
中国移动上网日志留存系统数据合成服务器设备规范(CS域)
中国移动
[6]
中国移动上网日志留存系统数据合成服务器设备规范(PS域)
中国移动
[7]
中国移动上网日志留存系统数据合成服务器接口规范(CS域)
中国移动
[8]
中国移动上网日志留存系统数据合成服务器接口规范(PS域)
中国移动
[9]
中国移动上网日志留存系统网络日志服务器设备规范
中国移动
[10]
中国移动上网日志留存系统网络日志服务器接口规范
中国移动
[11]
中国移动上网日志留存系统用户上网日志查询系统设备规范
中国移动
[12]
中国移动上网日志留存系统用户上网日志查询系统接口规范
中国移动
[13]
中国移动上网日志留存系统日志上报网关系统设备规范
中国移动
[14]
中国移动数据流量DPI识别能力规范
中国移动
[15]
中国移动信令监测系统接口规范—信令采集网关分册
中国移动
[16]
中国移动IDC/ISP信息安全管理系统接口规范
中国移动
[17]
QB-W-026-2011
中国移动手机恶意软件监测系统接口规范
中国移动
[18]
中国移动性能管理系统数据接口规范-数据业务监测与分析系统分册
中国移动
[19]
中国移动性能管理系统数据接口规范-信令监测系统分册
中国移动
[20]
集中化经分系统与日志上报网关接口规范
中国移动
[21]
中国移动上网日志留存系统“金库模式”实施指导意见
中国移动
本标准由中国移动通信集团公司网络部提出,集团公司技术部归口。
本标准起草单位:
中国移动通信集团网络部
本标准主要起草人:
赵恒
1范围
本标准规定了Gb/IuPS采集解析设备的系统结构、功能要求、接口要求、性能要求、时间同步要求、网管要求、操作维护要求、网络安全要求,供中国移动内部和厂商共同使用;适用于GPRS、EDGE及3G网络环境。
2规范性引用文件
下列文件中的条款通过本标准的引用而成为本标准的条款。
凡是注日期的引用文件,其随后所有的修改单(不包括勘误的内容)或修订版均不适用于本标准,然而,鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。
凡是不注日期的引用文件,其最新版本适用于本标准。
表2-1规范性引用文件
序号
标准编号
标准名称
发布单位
[1]
《客户信息保密管理规定》
中国移动通信集团公司
[2]
《中国移动GSM通信网路由组织与局数据设置原则(第二分册:
GSM通信网网元数据设置原则)》
中国移动通信集团公司
[3]
《防火墙部署总体技术要求》
中国移动通信集团公司
[4]
《中国移动网管系统监控平台需求规范》
中国移动通信集团公司
[5]
《中国移动网管系统监控平台推广阶段技术规范》
中国移动通信集团公司
3术语、定义和缩略语
“必须”、“推荐”/“建议”、和“可选”等词语在本标准中的使用需遵循以下指导。
-“必选”/“必须”项是指业务、产品和设备所必须提供的功能或性能要求;对应于RFC2119MUST,REQUIRED,SHALL。
-“推荐”/“建议”/“应”项是指在标准中未作强制要求,若业务、产品和设备提供的功能或性能要求被认为更佳;对应于RFC2119RECOMMENDED,SHOULD。
-“可选”/“可”项指参考性要求,是业务、产品和设备在目前阶段可不提供的功能或性能要求;对应于RFC2119MAY,OPTIONAL。
-必不能,不能,不得:
表示绝对的禁止;对应于RFC2119MUSTNOT,SHALLNOT。
-不推荐,不建议:
表示若业务、产品和设备按照所述内容制作,被认为略次;对应于RFC2119SHOULDNOT,NOTRECOMMENDED。
-规范中除了明确指明为“推荐”/“建议”、“可选”外,均为必须要求。
表3-1词语解释
词语
解释
全量信令数据
全量信令数据包含了被采集信令链路的全部信令内容
XDR信令数据
XDR信令数据是指基于全量信令数进行处理后,生成的供上网日志留存和信令监测类应用使用的信令及业务的详细记录。
DPI
DeepPacketInspection,深度包检测技术
DFI
DeepFlowInspection,深度流检测技术
IP
InternetProtocol,IP协议
ODBC
OpenDatabaseConnectivity,开放数据库连接
OMC
OperationManagementCenter,系统管理单元
SDTP
SharedDataTransferProtocol,共享数据传输协议
SNMP
SimpleNetworkManagement
Protocol,简单网络管理协议
TAP
TestAccessPoint,测试接入端口
FTP
FileTransferProtocol,文件传输协议
SFTP
SecureFileTransferProtocol,安全文件传输协议
4设备在系统中的位置
下图是中国移动上网日志留存系统的总体架构,系统分为采集、解码层、共享、应用四层。
图4-1上网日志留存系统结构图
本文档对Gb/IuPS采集解析设备功能进行描述,Gb/IuPS采集层采集解析设备位于上图采集层标示出的位置,完成Gb/IuPS原始数据的采集、消息的解码合成、DPI/DFI分析,生成XDR数据和全量数据并向解码层传送。
5功能要求
采集层设备需支持对Gb、IuPS数据链路的采集、处理。
采集方式需符合相关规定的要求,对数据的采集不能影响到原有通信网络的正常功能。
需要完成的功能如下:
●数据旁路:
在原有数据链路上复制一份或多份数据传输给采集设备进行处理,对原有数据链路没有影响。
不同物理类型的接口,需要不同的旁路设备,包括:
⏹光口链路:
分光器
⏹电口链路:
TAP
●数据接入:
对于旁路出来的数据进行采集,能够同时接入多条不同类型的链路,包括但不限于:
GE光/电、10GE光。
需要完成的功能包括但不限于:
⏹数据汇聚:
在不超过单台采集机能力的情况下,能够实现对多条低速链路进行汇聚采集
⏹分流:
对于高速链路,在超过单台采集机处理能力的情况下,能够实现流量的负荷分担,分流时不允许采用静态IP配置的方法进行分流(比如按照BSC/RNCIP进行分流),而是能够动态对流量进行分配,不需要现网相关的静态配置。
⏹数据采集:
从接入的端口上对数据包进行抓取、打时间戳等操作
●协议解码:
对采集下来的Gb、IuPS信令进行全协议解码
●DPI/DFI:
对采集的数据流进行DPI/DFI分析,识别业务类型、提取需要的字段(对于Gb/Iups接口,DPI/DFI功能为可选项,由省公司决定是否对Gb/Iups用户面数据进行分析输出)
●数据存储:
在特定场景下对数据进行存储
●数据输出:
输出信令面XDR(用户面XDR输出为可选项,由省公司决定采集层是否输出用户面XDR)
下面分章节对上述功能进行展开说明。
5.1Gb/IuPS采集位置要求
对于Gb/IuPS接口的采集有两个可选位置,如下图所示:
图5-1Gb/Iups采集位置
两个可选采集位置各有优缺点,见下表,各省份和系统建设厂家可根据自身情况选择。
优点
缺点
适用场景
采集位置1
链路数少,施工方便
涉及施工的机房比较集中,便于实施
每条链路上的数据量大,需要分流处理后再进行采集分析
大规模采集
采集位置2
每条链路上的数据量小,采集设备可以直接采集
链路数量多,工程量大
机房分散,难于管理
局部、小规模采集
5.2数据旁路功能要求
5.2.1分光器功能要求
图5-2分光器部署图
分光器用于监测以光纤为载体的链路,采用1:
9或2:
8分光,应对主信号端衰减的信号较少,不影响主链路。
5.2.2TAP功能要求
图5-3TAP部署图
TAP设备用于监测百兆电口或者千兆电口的链路,并支持百兆、千兆自适应,其功能是将电信号复制一份,TAP的网络口接被测链路的两端设备,TAP的监测口接数据采集系统。
TAP设备失电后被测链路主通道具备链路直通的功能。
5.3数据接入功能要求
采集设备能够支持现网常见链路类型,包括但不限于:
GE光口、GE电口、10GE光口。
单台设备支持多种不同链路的混合接入。
5.4协议解码功能要求
支持Gb接口协议栈:
图5-4Gb接口协议栈
支持但不限于以下标准协议:
●3GPPTS23.060:
"GeneralPacketRadioService(GPRS);Servicedescription;Stage2";
●3GPPTS48.014:
"GeneralPacketRadioService(GPRS);BaseStationSystem(BSS)ServingGPRSSupportNode(SGSN)interface;GbinterfaceLayer1";
●3GPP TS 48.016:
"GeneralPacketRadioService(GPRS);BaseStationSystem(BSS)-ServingGPRSSupportNode(SGSN)interface;NetworkService";
●3GPPTS48.018:
"GeneralPacketRadioService(GPRS);BaseStationSystem(BSS)-ServingGP。
支持IuPS接口协议栈:
图5-5Iu-PS接口协议栈
支持但不限于以下标准协议:
●25.410UTRANIuInterface:
GeneralAspectsandPrinciples;
●25.411UTRANIuinterfacelayer1;
●25.412UTRANIuinterfacesignallingtransport;
●25.413UTRANIuinterfaceRadioAccessNetworkApplicationPart(RANAP)signalling;
●25.414UTRANIuinterfacedatatransport&transportsignalling;
●25.415UTRANIuinterfaceuserplaneprotocols;
5.5DPI功能要求(可选)
该功能模块为可选功能。
采集设备能够利用DPI和DFI技术,对数据包解析,识别用户面数据中包含的业务类型,并提取相关元数据字段,以下是中国移动要求支持的业务大类列表:
序号
业务类型
业务说明
1
即时通信
互联网消息即时收发业务,如:
QQ、飞信等
2
阅读
向用户提供在线或离线阅读服务的业务,如:
移动手机阅读、熊猫阅读等
3
微博
微博业务,如:
移动微博、新浪微博等
4
导航
提供浏览、查询、导航等功能的电子地图类业务,如:
谷歌地图、高德导航等
5
视频
向用户提供音视频内容的直播、分享和下载服务的网站和应用(不包括传统意义上基于P2P技术的视频业务),如:
优酷、手机电视等
6
音乐
提供音乐在线欣赏和下载服务的网站和应用,如:
咪咕音乐、QQ音乐等
7
应用商店
提供应用程序、音乐、图书等内容浏览、下载及购买服务的业务,如:
MobileMarket、AppStore等
8
游戏
基于客户端或者网页的游戏业务:
QQ游戏、开心农场等
9
支付
电子商务类业务,如:
手机支付、支付宝、网银等
10
动漫
提供动漫在线欣赏和下载服务的网站和应用,如:
手机动漫、爱看动漫等
11
邮箱
电子邮箱业务,如:
139邮箱、QQ邮箱等
12
P2P业务
基于P2P技术的资源共享业务,包括下载和视频两部分,前者如:
迅雷、eMule等,后者如:
迅雷看看、PPLive等
13
VoIP业务
互联网语音通信业务,如:
Skype、Uucall等
14
彩信
彩信业务
15
浏览下载
基于HTTP、WAP、FTP等的普通浏览和下载业务
16
财经咨询
金融咨询、股票证券类业务,如:
手机商界、大智慧等
17
安全杀毒
提供网络安全服务的应用,如:
360安全卫士、麦咖啡等;以及网络恶意流量,如:
病毒、攻击等
18
其他业务
更加详细的要求请参考《中国移动数据流量DPI识别能力规范》。
要求采集层设备能够采用定期或是不定期方式更新业务识别能力,持续跟踪各种应用的发展和演进。
可通过系统升级、导入新的应用特征等方式对已知应用变种和未知应用进行识别。
5.6数据存储功能要求
系统在两种情况下需要对数据进行存储:
⏹一般情况下采集层不对采集的数据进行存储,所有需要输出的数据都传输给数据解码层进行处理,但当链路出现故障时采集层应具备把无法传输的数据缓存到硬盘的功能,待链路恢复后再传输。
需要缓存的数据包括:
Gb和IuPS的全量控制面信令;去掉Payload的Gb和IuPS的用户面数据(此项功能为可选功能)。
⏹在开启原始数据抓取功能时,采集层把满足抓取条件的全量数据(包括控制面和用户面)按照pcap格式存储在本地磁盘供提取。
(此项功能为可选功能)
本地数据磁盘容量要求不低于1TB(1Gbps流量缓存1个小时)
5.7数据输出功能要求
●XDR输出:
采集层完成对控制面XDR和用户面业务XDR的合成和输出,需要输出的字段请参见《中国移动上网日志留存系统规范Gb/IuPs采集解析设备规范XDR结构》。
●控制面原始数据输出:
采集层支持把全量控制面信令数据输出给数据解码层
●用户面原始数据输出:
采集层支持把去掉payload的用户面数据输出给数据解码层。
(此项功能为可选功能)
●控制面全量原始数据抓取:
支持按照预设条件对全量控制面信令进行抓取并存储在本地磁盘,支持的预设条件包括:
⏹SGSN、BSC/RNC的IP(单个或多个IP地址)
⏹用户的IP地址,IMSI
⏹支持根据业务报文,也就是TCP的关键字(如TCP包头的40个字节内容)进行原始数据的抓取;(此项功能为可选功能)
●用户面全量原始数据抓取:
支持按照预设条件对全量用户面数据进行抓取并存储在本地磁盘,支持的预设条件与信令面相同。
(此项功能为可选功能)
6性能指标和可靠性要求
6.1性能要求
●单台或单套采集设备能够处理不低于800Mbps的数据流量。
(开启所有功能的情况下,同时开启的功能包括但不限于:
采集、解码、XDR合成、DPI、数据输出、原始数据捕获)。
●数据采集丢包率要求<10-7。
●原始信令数据从进入采集层到转发给数据解码层,最大转发时延应小于60S
●数据业务监测与分析系统能保证7×24小时稳定运行,当部署的设备出现故障时不影响现有系统的正常运行。
6.2软件要求
操作系统要求:
●操作系统应采用开放的系统,同时具有较高的可靠性、容错能力,系统不易崩溃和破坏,具有良好的故障恢复能力。
●操作系统应具有较强的网络功能,应能支持通用的网络协议,应支持对不同机型互联。
●操作系统应能满足实时要求,具有同时进行联机事务处理的能力。
●操作系统应具备升级能力,并能做到向后兼容。
●操作系统应支持多个终端进行操作,支持多用户进程。
●操作系统应同时支持字符界面和图像界面。
应用软件要求
●在保证技术先进性的前提下,采用成熟技术进行开发,并尽可能与硬件同步。
●以信令数据分析处理软件技术为平台核心应用技术,实现完善的信令数据分析处理体系,实现海量数据的接收、处理、分发的平台软件功能。
●支持多个远端工作站。
●多层处理结构,分布式处理,模块化设计,高内聚,低耦合,故障隔离,无存储瓶颈和处理瓶颈,具有良好的可扩展性,可平滑扩容。
●系统具有良好的开放性,应能实现纵向联网和横向联网。
6.3硬件要求
采集设备要求可靠、稳定,平均故障时间间隔应>5000h,故障平均修复时间<1h。
硬件设备应有较高的可靠性和容错能力。
为了适应系统的容量增加,硬件设备应具有较强的扩展能力,并应具备升级和向后兼容的能力。
系统的硬件性能优良、运行平稳可靠,并可以保证长时间的连续工作。
系统主要硬件的容量和性能指标(包括内存容量、处理器主频、硬盘容量、通信网带宽)应能适应整个系统处理能力、通信传输量、数据存储量和用户实际需求等各方面的要求。
系统应根据实际需要配备各类外设:
如磁带机或磁带库、光盘机、活动硬盘等设备。
6.4可扩展要求
网关设备应具备良好的可扩展性,能够适应系统容量的扩大和管理内容的增加,包括软硬件平台、系统结构、功能设计、管理对象。
随着纳入平台对象的扩展、管理功能的增加,要求系统具有灵活的扩展性。
6.5部署要求
系统的部署要充分考虑到各个逻辑单元的松耦合,各个单元模块可以独立部署在单独的物理实体上,对于采集规模较小或小型试验点也可以根据实际情况部署在同一物理实体上。
并且要保证各模块有较强的可扩展性,要充分考虑各模块中的功能点可以动态加载。
部署时要考虑性能冗余、系统的安全性、可靠性、网络传输速率等。
需要主机支持热备,系统支持集群,系统支持负载均衡,核心网络设备支持热备。
6.6可靠性
(1)系统应具备99.99%的高可用性。
(2)系统的平均稳定运行保障可用时间(MTBF)应大于1年,设计寿命应大于10年。
(3)故障平均修复时间小于1小时。
(4)系统的故障能隔离在模块内,不具备扩散性。
(5)系统要求支持在线升级且升级版本向下兼容,升级过程不影响网络性能,不影响现网业务,不丢失历史数据。
(6)系统可更换部件应具备冗余热备和热插拔功能。
(7)系统需配置冗余热备份的电源模块,所有电源模块支持-48V直流供电和220交流电,可按需配置。
系统须配置冗余热备份的风扇散热系统。
(8)设备应采用具有电信级高可用性的操作系统。
(9)支持Web界面或控制台界面,易于配置和管理。
(10)各类技术文档均应具有中文版本。
(11)对于机架式插板设备需支持以下可用性要求:
●机架式插板设备故障可定位到可更换板件;
●机架式插板设备所有板件可热插拔;
●机架式插板设备板件热插拔过程不引起业务中断;
●设备所有可更换板件现场更换时间小于10分钟。
7接口要求
系统应支持GE/10GE电口和光口,光接口支持:
多模接口、单模接口(包括短距、中距、长距)。
应支持全双工、半双工模式;支持自适应。
7.1千兆以太网接口
(12)系统应支持千兆以太网接口(符合IEEE802.3z)。
(13)系统应支持802.1P/Q和802.3ad。
7.1.11000BaseT接口
(14)1000BaseT接口应符合IEEE802.3ab。
7.1.21000Base-SX接口
(15)1000Base-SX接口的使用范围、发送光功率、接收要求、抖动规范应符合行标YD/T1097-2001《高端路由器设备技术规范》。
7.1.31000Base-LX接口
(16)1000Base-LX接口的使用范围、发送光功率、接收要求、抖动规范应符合行标YD/T1097-2001《高端路由器设备技术规范》。
7.210G以太网接口
上网日志留存系统采集解析设备应支持10G以太网接口(符合IEEE802.3ae)。
10G以太网物理接口可以支持10GBase-R、10GBase-W。
接口要求参见《支持IPv6的路由器设备技术规范核心路由器》。
上网日志留存系统采集解析设备应支持802.1p/q和802.3ad。
7.2.110GBase-S接口
(17)10GBase-S接口的使用范围、发送光接口参数、接收要求应符合行标《支持IPv6的路由器设备技术规范核心路由器》。
7.2.210GBase-L接口
(18)10GBase-L接口的使用范围、发送光接口参数、接收要求应符合行标《支持IPv6的路由器设备技术规范核心路由器》。
7.2.310GBase-E接口
(19)10GBase-E接口的使用范围、发送光接口参数、接收要求应符合行标《支持IPv6的路由器设备技术规范核心路由器》。
8时间同步要求
●Gb/IuPS采集解析设备需满足《中国移动时间同步网总体技术要求》中的相关要求。
●Gb/IuPS采集解析设备能够以统一的时间同步工作,以保证网管和上网日志留存、信令监测、采集的有序进行。
●Gb/IuPS采集解析设备需支持NTP协议,能通过IP连接,以NTP方式取得时间信号。
●Gb/IuPS采集解析设备能接受网管系统的指令,修改本地的工作时间。
●Gb/IuPS采集解析设备修改时间的过程不对系统产生启动或小启动的影响,不影响业务和信令采集的正常进行。
●Gb/IuPS采集解析设备的时间同步源需设置为省公司提供的统一时钟同步服务器,周期可按运营者要求设置为每60秒取一次时间,或可设置为按NTP协议的要求自动同步,同步可采用GPS时间同步;
●当Gb/IuPS采集解析设备与网络时间源的时间误差超过某一时间阈值时,Gb/IuPS采集解析设备应不进行自动同步时间,并提供相应告警。
按运营者需要,该阈值应可灵活设置。
●在时间源和网络工作正常的条件下,Gb/IuPS采集解析设备应保证与网络时间源之间的时间偏差不大于100ms;
●要求系统各采集设备之间的时间应保持同步,同一机房内
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 中国移动上网日志留存系统Gb IuPS采集解析设备规范 中国移动 上网 日志 留存 系统 Gb IuPS 采集 解析 设备 规范