1、中国移动上网日志留存系统Gb IuPS采集解析设备规范中国移动通信企业标准QB-W-025-2011中国移动上网日志留存系统规范Gb/IuPS采集解析设备规范Equipment Specification of China MobileNetlog System（Signal Collection Gb/IuPS Part） (Signal Collection Gateway Interface Part)版本号：1.0.02013-6-27实施2013-6-25发布中国移动通信集团公司 发布目录前 言本标准对中国移动上网日志留存系统中的数据采集层设备提出要求，是中国移动上网日志留存系统建设
2、需要遵从的技术文件。本标准主要包括以下几方面内容：系统功能要求、性能指标和可靠性要求、接口要求、时间同步要求、网管要求、操作维护要求、网络安全要求。本标准是中国移动上网日志留存系统系列标准之一，该系列标准的结构、名称或预计的名称如下：序号标准编号标准名称发布单位1中国移动上网日志留存系统总体技术要求 中国移动 2中国移动上网日志留存系统Gn采集解析设备规范 中国移动 3中国移动上网日志留存系统Gb/Iu-Ps采集解析设备规范 中国移动 4中国移动上网日志留存系统防火墙日志采集前置机数据传递要求 中国移动 5中国移动上网日志留存系统数据合成服务器设备规范（CS域） 中国移动 6中国移动上网日志留
3、存系统数据合成服务器设备规范（PS域） 中国移动 7中国移动上网日志留存系统数据合成服务器接口规范（CS域） 中国移动 8中国移动上网日志留存系统数据合成服务器接口规范（PS域） 中国移动 9中国移动上网日志留存系统网络日志服务器设备规范 中国移动 10中国移动上网日志留存系统网络日志服务器接口规范 中国移动 11中国移动上网日志留存系统用户上网日志查询系统设备规范 中国移动 12中国移动上网日志留存系统用户上网日志查询系统接口规范 中国移动 13中国移动上网日志留存系统日志上报网关系统设备规范 中国移动 14中国移动数据流量DPI识别能力规范 中国移动 15中国移动信令监测系统接口规范信令采
4、集网关分册 中国移动 16中国移动IDC/ISP信息安全管理系统接口规范 中国移动 17QB-W-026-2011中国移动手机恶意软件监测系统接口规范 中国移动 18中国移动性能管理系统数据接口规范数据业务监测与分析系统分册 中国移动 19中国移动性能管理系统数据接口规范信令监测系统分册 中国移动 20集中化经分系统与日志上报网关接口规范 中国移动 21中国移动上网日志留存系统“金库模式”实施指导意见 中国移动 本标准由中国移动通信集团公司网络部提出，集团公司技术部归口。本标准起草单位：中国移动通信集团网络部本标准主要起草人：赵恒1 范围本标准规定了Gb/IuPS采集解析设备的系统结构、功能要
5、求、接口要求、性能要求、时间同步要求、网管要求、操作维护要求、网络安全要求，供中国移动内部和厂商共同使用；适用于GPRS、EDGE及3G网络环境。2 规范性引用文件下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。表2-1 规范性引用文件序号标准编号标准名称发布单位1 客户信息保密管理规定中国移动通信集团公司2 中国移动GSM通信网路由组织与局数据设置原则（第二分册：GSM通信网网元数据设置原
6、则）中国移动通信集团公司3 防火墙部署总体技术要求中国移动通信集团公司4 中国移动网管系统监控平台需求规范中国移动通信集团公司5 中国移动网管系统监控平台推广阶段技术规范中国移动通信集团公司3 术语、定义和缩略语“必须”、“推荐”/“建议”、和“可选”等词语在本标准中的使用需遵循以下指导。- “必选”/“必须”项是指业务、产品和设备所必须提供的功能或性能要求；对应于RFC2119 MUST，REQUIRED，SHALL。- “推荐”/“建议”/“应”项是指在标准中未作强制要求，若业务、产品和设备提供的功能或性能要求被认为更佳；对应于RFC2119 RECOMMENDED，SHOULD。- “可
7、选”/“可”项指参考性要求，是业务、产品和设备在目前阶段可不提供的功能或性能要求；对应于RFC2119 MAY，OPTIONAL。- 必不能，不能，不得：表示绝对的禁止；对应于RFC2119 MUST NOT，SHALL NOT。- 不推荐，不建议：表示若业务、产品和设备按照所述内容制作，被认为略次；对应于RFC2119 SHOULD NOT，NOT RECOMMENDED。- 规范中除了明确指明为 “推荐”/“建议”、“可选”外，均为必须要求。表3-1 词语解释词语解释全量信令数据全量信令数据包含了被采集信令链路的全部信令内容XDR信令数据XDR信令数据是指基于全量信令数进行处理后，生成的供
8、上网日志留存和信令监测类应用使用的信令及业务的详细记录。DPIDeep Packet Inspection，深度包检测技术DFIDeep Flow Inspection，深度流检测技术IPInternet Protocol，IP协议ODBCOpen Database Connectivity，开放数据库连接OMCOperation Management Center，系统管理单元SDTPShared Data Transfer Protocol，共享数据传输协议SNMPSimple Network ManagementProtocol，简单网络管理协议TAPTest Access Point，
9、测试接入端口FTPFile Transfer Protocol，文件传输协议SFTPSecure File Transfer Protocol，安全文件传输协议4 设备在系统中的位置下图是中国移动上网日志留存系统的总体架构，系统分为采集、解码层、共享、应用四层。图4-1上网日志留存系统结构图本文档对Gb/IuPS采集解析设备功能进行描述，Gb/IuPS采集层采集解析设备位于上图采集层标示出的位置，完成Gb/IuPS原始数据的采集、消息的解码合成、DPI/DFI分析，生成XDR数据和全量数据并向解码层传送。5 功能要求采集层设备需支持对Gb、IuPS数据链路的采集、处理。采集方式需符合相关规定的
10、要求，对数据的采集不能影响到原有通信网络的正常功能。需要完成的功能如下： 数据旁路：在原有数据链路上复制一份或多份数据传输给采集设备进行处理，对原有数据链路没有影响。不同物理类型的接口，需要不同的旁路设备，包括： 光口链路：分光器 电口链路：TAP 数据接入：对于旁路出来的数据进行采集，能够同时接入多条不同类型的链路，包括但不限于：GE光/电、10GE光。需要完成的功能包括但不限于： 数据汇聚：在不超过单台采集机能力的情况下，能够实现对多条低速链路进行汇聚采集 分流：对于高速链路，在超过单台采集机处理能力的情况下，能够实现流量的负荷分担，分流时不允许采用静态IP配置的方法进行分流（比如按照BS
11、C/RNC IP进行分流），而是能够动态对流量进行分配，不需要现网相关的静态配置。 数据采集：从接入的端口上对数据包进行抓取、打时间戳等操作 协议解码：对采集下来的Gb、IuPS信令进行全协议解码 DPI/DFI：对采集的数据流进行DPI/DFI分析，识别业务类型、提取需要的字段（对于Gb/Iups接口，DPI/DFI功能为可选项，由省公司决定是否对Gb/Iups用户面数据进行分析输出） 数据存储：在特定场景下对数据进行存储 数据输出：输出信令面XDR（用户面XDR输出为可选项，由省公司决定采集层是否输出用户面XDR）下面分章节对上述功能进行展开说明。5.1 Gb/IuPS采集位置要求对于Gb
12、/IuPS接口的采集有两个可选位置，如下图所示： 图5-1 Gb/Iups采集位置两个可选采集位置各有优缺点，见下表，各省份和系统建设厂家可根据自身情况选择。优点缺点适用场景采集位置1链路数少，施工方便涉及施工的机房比较集中，便于实施每条链路上的数据量大，需要分流处理后再进行采集分析大规模采集采集位置2每条链路上的数据量小，采集设备可以直接采集链路数量多，工程量大机房分散，难于管理局部、小规模采集5.2 数据旁路功能要求5.2.1 分光器功能要求图5-2 分光器部署图分光器用于监测以光纤为载体的链路，采用1:9或2:8分光，应对主信号端衰减的信号较少，不影响主链路。5.2.2 TAP功能要求图
13、5-3 TAP部署图TAP设备用于监测百兆电口或者千兆电口的链路，并支持百兆、千兆自适应，其功能是将电信号复制一份，TAP的网络口接被测链路的两端设备，TAP的监测口接数据采集系统。TAP设备失电后被测链路主通道具备链路直通的功能。5.3 数据接入功能要求采集设备能够支持现网常见链路类型，包括但不限于：GE光口、GE电口、10GE光口。单台设备支持多种不同链路的混合接入。5.4 协议解码功能要求支持Gb接口协议栈：图5-4 Gb接口协议栈支持但不限于以下标准协议： 3GPP TS 23.060: General Packet Radio Service (GPRS); Service desc
14、ription; Stage 2； 3GPP TS 48.014: General Packet Radio Service (GPRS); Base Station System (BSS) Serving GPRS Support Node (SGSN) interface; Gb interface Layer 1； 3GPPTS48.016: General Packet Radio Service (GPRS); Base Station System (BSS) - Serving GPRS Support Node (SGSN) interface; Network Servic
15、e； 3GPP TS 48.018: General Packet Radio Service (GPRS); Base Station System (BSS) - Serving GP。支持Iu PS接口协议栈：图5-5 Iu-PS接口协议栈支持但不限于以下标准协议： 25.410 UTRAN Iu Interface：General Aspects and Principles； 25.411 UTRAN Iu interface layer 1； 25.412 UTRAN Iu interface signalling transport； 25.413 UTRAN Iu interf
16、ace Radio Access Network Application Part (RANAP) signalling； 25.414 UTRAN Iu interface data transport & transport signalling； 25.415 UTRAN Iu interface user plane protocols；5.5 DPI功能要求（可选）该功能模块为可选功能。采集设备能够利用DPI和DFI技术，对数据包解析，识别用户面数据中包含的业务类型，并提取相关元数据字段，以下是中国移动要求支持的业务大类列表：序号业务类型业务说明1即时通信互联网消息即时收发业务,如：
17、QQ、飞信等2阅读向用户提供在线或离线阅读服务的业务，如：移动手机阅读、熊猫阅读等3微博微博业务，如：移动微博、新浪微博等4导航提供浏览、查询、导航等功能的电子地图类业务，如：谷歌地图、高德导航等5视频向用户提供音视频内容的直播、分享和下载服务的网站和应用（不包括传统意义上基于P2P技术的视频业务），如：优酷、手机电视等6音乐提供音乐在线欣赏和下载服务的网站和应用，如：咪咕音乐、QQ音乐等7应用商店提供应用程序、音乐、图书等内容浏览、下载及购买服务的业务，如：Mobile Market、AppStore等8游戏基于客户端或者网页的游戏业务：QQ游戏、开心农场等9支付电子商务类业务，如：手机支付
18、、支付宝、网银等10动漫提供动漫在线欣赏和下载服务的网站和应用，如：手机动漫、爱看动漫等11邮箱电子邮箱业务，如：139邮箱、QQ邮箱等12P2P业务基于P2P技术的资源共享业务，包括下载和视频两部分，前者如：迅雷、eMule等，后者如：迅雷看看、PPLive等13VoIP业务互联网语音通信业务，如：Skype、Uucall等14彩信彩信业务15浏览下载基于HTTP、WAP、FTP等的普通浏览和下载业务16财经咨询金融咨询、股票证券类业务，如：手机商界、大智慧等17安全杀毒提供网络安全服务的应用，如：360安全卫士、麦咖啡等；以及网络恶意流量，如：病毒、攻击等18其他业务更加详细的要求请参考中
19、国移动数据流量DPI识别能力规范。要求采集层设备能够采用定期或是不定期方式更新业务识别能力，持续跟踪各种应用的发展和演进。可通过系统升级、导入新的应用特征等方式对已知应用变种和未知应用进行识别。5.6 数据存储功能要求系统在两种情况下需要对数据进行存储： 一般情况下采集层不对采集的数据进行存储，所有需要输出的数据都传输给数据解码层进行处理，但当链路出现故障时采集层应具备把无法传输的数据缓存到硬盘的功能，待链路恢复后再传输。需要缓存的数据包括：Gb和IuPS的全量控制面信令；去掉Payload的Gb和IuPS的用户面数据（此项功能为可选功能）。 在开启原始数据抓取功能时，采集层把满足抓取条件的全
20、量数据（包括控制面和用户面）按照pcap格式存储在本地磁盘供提取。（此项功能为可选功能）本地数据磁盘容量要求不低于1TB（1Gbps流量缓存1个小时）5.7 数据输出功能要求 XDR输出：采集层完成对控制面XDR和用户面业务XDR的合成和输出，需要输出的字段请参见中国移动上网日志留存系统规范Gb/IuPs采集解析设备规范XDR结构。 控制面原始数据输出：采集层支持把全量控制面信令数据输出给数据解码层 用户面原始数据输出：采集层支持把去掉payload的用户面数据输出给数据解码层。（此项功能为可选功能） 控制面全量原始数据抓取：支持按照预设条件对全量控制面信令进行抓取并存储在本地磁盘，支持的预设
21、条件包括： SGSN、BSC/RNC的IP（单个或多个IP地址） 用户的IP地址，IMSI 支持根据业务报文，也就是TCP的关键字（如TCP包头的40个字节内容）进行原始数据的抓取；（此项功能为可选功能） 用户面全量原始数据抓取：支持按照预设条件对全量用户面数据进行抓取并存储在本地磁盘，支持的预设条件与信令面相同。（此项功能为可选功能）6 性能指标和可靠性要求 6.1 性能要求 单台或单套采集设备能够处理不低于800Mbps的数据流量。(开启所有功能的情况下，同时开启的功能包括但不限于：采集、解码、XDR合成、DPI、数据输出、原始数据捕获)。 数据采集丢包率要求5000h，故障平均修复时间1
22、h。硬件设备应有较高的可靠性和容错能力。为了适应系统的容量增加，硬件设备应具有较强的扩展能力，并应具备升级和向后兼容的能力。系统的硬件性能优良、运行平稳可靠，并可以保证长时间的连续工作。系统主要硬件的容量和性能指标（包括内存容量、处理器主频、硬盘容量、通信网带宽）应能适应整个系统处理能力、通信传输量、数据存储量和用户实际需求等各方面的要求。系统应根据实际需要配备各类外设：如磁带机或磁带库、光盘机、活动硬盘等设备。6.4 可扩展要求网关设备应具备良好的可扩展性，能够适应系统容量的扩大和管理内容的增加，包括软硬件平台、系统结构、功能设计、管理对象。随着纳入平台对象的扩展、管理功能的增加，要求系统具
23、有灵活的扩展性。6.5 部署要求系统的部署要充分考虑到各个逻辑单元的松耦合，各个单元模块可以独立部署在单独的物理实体上，对于采集规模较小或小型试验点也可以根据实际情况部署在同一物理实体上。并且要保证各模块有较强的可扩展性，要充分考虑各模块中的功能点可以动态加载。部署时要考虑性能冗余、系统的安全性、可靠性、网络传输速率等。需要主机支持热备，系统支持集群，系统支持负载均衡，核心网络设备支持热备。6.6 可靠性(1) 系统应具备99.99%的高可用性。(2) 系统的平均稳定运行保障可用时间（MTBF）应大于1年，设计寿命应大于10年。(3) 故障平均修复时间小于1小时。(4) 系统的故障能隔离在模块
24、内，不具备扩散性。(5) 系统要求支持在线升级且升级版本向下兼容，升级过程不影响网络性能，不影响现网业务，不丢失历史数据。(6) 系统可更换部件应具备冗余热备和热插拔功能。(7) 系统需配置冗余热备份的电源模块，所有电源模块支持-48V直流供电和220交流电，可按需配置。系统须配置冗余热备份的风扇散热系统。(8) 设备应采用具有电信级高可用性的操作系统。(9) 支持Web界面或控制台界面，易于配置和管理。(10) 各类技术文档均应具有中文版本。(11) 对于机架式插板设备需支持以下可用性要求： 机架式插板设备故障可定位到可更换板件； 机架式插板设备所有板件可热插拔； 机架式插板设备板件热插拔过
25、程不引起业务中断； 设备所有可更换板件现场更换时间小于10分钟。7 接口要求系统应支持GE/10GE电口和光口，光接口支持：多模接口、单模接口（包括短距、中距、长距）。应支持全双工、半双工模式；支持自适应。7.1 千兆以太网接口(12) 系统应支持千兆以太网接口（符合IEEE802.3z）。 (13) 系统应支持802.1P/Q和802.3ad。7.1.1 1000BaseT接口(14) 1000BaseT接口应符合IEEE802.3ab。7.1.2 1000Base-SX接口(15) 1000Base-SX接口的使用范围、发送光功率、接收要求、抖动规范应符合行标YD/T 1097-2001高
26、端路由器设备技术规范。7.1.3 1000Base-LX接口(16) 1000Base-LX接口的使用范围、发送光功率、接收要求、抖动规范应符合行标YD/T 1097-2001高端路由器设备技术规范。7.2 10G以太网接口上网日志留存系统采集解析设备应支持10G以太网接口（符合IEEE802.3ae）。 10G以太网物理接口可以支持 10GBase-R、10GBase-W。接口要求参见支持IPv6的路由器设备技术规范 核心路由器。上网日志留存系统采集解析设备应支持802.1p/q和802.3ad。7.2.1 10GBase-S接口(17) 10GBase-S接口的使用范围、发送光接口参数、接
27、收要求应符合行标支持IPv6的路由器设备技术规范 核心路由器。7.2.2 10GBase-L接口(18) 10GBase-L接口的使用范围、发送光接口参数、接收要求应符合行标支持IPv6的路由器设备技术规范 核心路由器。7.2.3 10GBase-E接口(19) 10GBase-E接口的使用范围、发送光接口参数、接收要求应符合行标支持IPv6的路由器设备技术规范 核心路由器。8 时间同步要求 Gb/IuPS采集解析设备需满足中国移动时间同步网总体技术要求中的相关要求。 Gb/IuPS采集解析设备能够以统一的时间同步工作，以保证网管和上网日志留存、信令监测、采集的有序进行。 Gb/IuPS采集解
28、析设备需支持NTP协议，能通过IP连接，以NTP方式取得时间信号。 Gb/IuPS采集解析设备能接受网管系统的指令，修改本地的工作时间。 Gb/IuPS采集解析设备修改时间的过程不对系统产生启动或小启动的影响，不影响业务和信令采集的正常进行。 Gb/IuPS采集解析设备的时间同步源需设置为省公司提供的统一时钟同步服务器，周期可按运营者要求设置为每60秒取一次时间，或可设置为按NTP协议的要求自动同步，同步可采用GPS时间同步； 当Gb/IuPS采集解析设备与网络时间源的时间误差超过某一时间阈值时，Gb/IuPS采集解析设备应不进行自动同步时间，并提供相应告警。按运营者需要，该阈值应可灵活设置。 在时间源和网络工作正常的条件下，Gb/IuPS采集解析设备应保证与网络时间源之间的时间偏差不大于100ms； 要求系统各采集设备之间的时间应保持同步，同一机房内
