外场VoLTE测试报告之鼎利VoLTEMOS产品使用总结 1.docx
- 文档编号:11522702
- 上传时间:2023-03-02
- 格式:DOCX
- 页数:17
- 大小:25.91KB
外场VoLTE测试报告之鼎利VoLTEMOS产品使用总结 1.docx
《外场VoLTE测试报告之鼎利VoLTEMOS产品使用总结 1.docx》由会员分享,可在线阅读,更多相关《外场VoLTE测试报告之鼎利VoLTEMOS产品使用总结 1.docx(17页珍藏版)》请在冰豆网上搜索。
外场VoLTE测试报告之鼎利VoLTEMOS产品使用总结1
外场VoLTE测试报告
—鼎利VoLTE-MOS产品使用总结
2015年8月
外场优化专项组
写在前面
本次测试主要是针对鼎利VoLTE-MOS产品的测试使用总结,由于之前项目一直分的是CDS软件,存在一定习惯性。
本次测试上手,虽然有鼎利工程师现场支持,不过基本都是自己操作测试,鼎利工程师只有在操作错误情况下指出问题。
整体而言,操作简单,入手快,测试比较稳定。
先写几点直观感受:
1、软件上手比较容易,语音选择汉语后,基本功能分布一目了然。
直接选择VoLTE场景,对应需要查看的界面就配置好了。
2、设备配置就更简单方便了,直接点击了自动配置,GPS、测试手机就配置好了,都不用去记忆端口端口,想着如何设置。
【个人觉得这个比CDS方便,必须给个赞!
】
3、MOS测试设备连接简单,一端USB连接电脑,另外两个耳机线插入测试手机耳机口就行了。
个人觉得这里比CDS要方便的在于,耳机线和MOS盒是一体,减少了MOS测试异常问题的排查点,也不会出现中途耳机线和MOS盒连接松动导致MOS算分异常或者过低的问题。
【相比较而言,CDS的耳机线和MOS盒是独立的,测试过程容易出现松动,测试人员需要加以注意】
4、VoLTE场景功能。
直接根据测试任务选择对应场景,方便用户直接观察对应的测试信息,方便快捷,【这个必须给个赞了!
】
5、对于写报告而言,基本Pioneer软件现在将相关要素都提供了,比如:
渲染图、分段统计、PDF图、CDF图、指标统计、异常事件、MOS打分异常告警等等。
基本上报告90%工作都直接用软件完成,确实挺强大。
1.测试说明
1.1测试区域说明
本次测试由于网络侧原因,测试去程时从上桥到省公司这段路由于呼叫都是CSFB,这段路没有发起呼叫,回程网络侧处理好后,从省公司一直沿原路返回市公司测试均正常。
测试路线如下:
从哈尔滨分公司门口为起点✍进乡街✍三大动力路✍和兴路✍康安路✍前进路✍松北大道✍新湾路✍天元街✍世贸大道✍世贸大道与三环路交叉口掉头✍世贸大道✍…原路返回…✍哈尔滨分公司。
1.2测试设备说明
本次VoLTE测试,同时测试了POLQA的语音质量算分(MOS),使用设备如下:
软件:
鼎利Pioneer
【说明:
本来鄙人的电脑第一次自己安装的不是鼎利工程师提供的版本,在测试现场鼎利工程师指导下直接使用的在线升级功能,快速便捷。
这个必须得赞一下!
】
终端:
HTCM8(两部)
语音评估:
DingLicomMOSBox(一个)。
【说明:
鼎利MOS盒比较小巧,长度不到中性笔长度的3/4,宽度只有中性笔长度一半】
GPS:
环天GPS
1.3POLQA算分说明
本次测试VoLTE语音质量,使用POLQA算分标准,相关说明如下:
语料说明:
语料采用集团统一规定的48K语料。
【说明:
鼎利软件支持默认集团语料,也支持根据测试任务需要进行指定语料测试】
算法说明:
POLQASWB
【说明:
鼎利软件支持PESQNB、PESQWB、POLQANB、POLQAWB及POLQASWB多种算法,测试者可以根据测试场景设置】
播录方式:
双向交替(集团规定)
【说明:
鼎利软件支持单向、双向设置,测试者可以根据需要进行设置】
1.4测试数据说明
本次测试共记录2个log,去程和回程各一个。
其中去程时由于网络侧原因,从上桥到省公司这段路由于呼叫都是CSFB,这段路没有发起呼叫,并且去程log里面会有部分CSFB呼叫;回程一切测试正常。
2.数据统计
2.1业务指标统计
1.业务指标
由于本次测试包含部分CSFB呼叫,故统计分总体和分别统计两种:
【说明:
鼎利这点比较完善、将呼叫直接区分了VoLTE和CSFB,并提供了汇总一起的统计结果】
主叫呼叫次数
主叫接通次数
主叫掉话次数
被叫掉话次数
呼叫成功率
接通率
掉话率
26
26
2
1
%
%
%
主叫呼叫次数
主叫接通次数
主叫掉话次数
被叫掉话次数
呼叫成功率
接通率
掉话率
呼叫建立时延(s)
20
20
2
1
%
%
%
主叫呼叫次数
主叫接通次数
主叫掉话次数
被叫掉话次数
呼叫成功率
接通率
掉话率
呼叫建立时延(s)
6
6
0
0
%
%
%
性能指标
%
71
%
2.2覆盖指标统计
1.覆盖指标统计
%
%
%
%
51721
3958
17
45737
966
5001
3958
3
3594
44
317
2.覆盖渲染
3.覆盖分段占比
Range
Count
CDF
(-INF,-110]
137
%
%
(-110,-105]
207
%
%
(-105,-100]
423
%
%
(-100,-95]
583
%
%
(-95,-85]
1874
%
%
(-85,-70]
2866
%
%
(-70,-50]
174
%
100%
(-50,+INF)
0
%
100%
2.3干扰指标统计
1.干扰指标统计
%
%
%
%
2.干扰渲染图
3.干扰分段占比
Range
Count
CDF
(-INF,-3]
111
%
%
(-3,0]
140
%
%
(0,5]
478
%
%
(5,10]
807
%
%
(10,15]
1222
%
%
(15,20]
1677
%
%
(20,25]
1125
%
%
(25,+INF)
704
%
100%
2.4调度指标统计
上行平均RB
下行平均RB
下行平均MCS
上行平均MCS
码字0
码字1
2.5MOS详情统计
1、MOS地图分布
说明:
灰色部分为业务空闲,江北区域连续灰色为去程时江北区域呼叫CSFB,故未发起呼叫。
2、MOS分段占比
Range
Count
CDF
(-INF,1]
0
%
%
(1,2]
11
%
%
(2,3]
30
%
%
(3,4]
197
%
%
(4,+INF)
35
%
100%
3.数据分析思路
3.1VoLTE数据分析流程
VoLTE语音业务是承载在LTE网络的基于IMS语音控制的PS域语音实现方案,当前的LTE网络已经经历了一轮数据业务的优化过程,无线基础比较好,因此对于VoLTE语音业务的分析我们需要重点区分无线侧问题和非无线侧问题。
根据本次测试数据,结合鼎利Pioneer软件,建议分析思路:
一、指标概况统计,了解本次测试整体指标,确定分析重点
鼎利Pioneer软件有专门针对VoLTE语音测试的《VoLTE主被叫联合报表》,该报表统计了VoLTE业务的详细信息,包括:
KPI汇总、主被叫联合分析、VoLTE统计指标、CS域语音统计指标、覆盖统计、干扰统计、调度统计和MOS统计。
统计方式如下,在菜单“报表”--“语音业务报表”--“VoLTE主被叫联合报表”,如下图:
弹出如下界面,点击“工程文件”会显示已经在Pioneer打开的log(点击“本地文件”,则可打开目录选择文件),然后根据主被叫,通过勾选对应log,点击“向右箭头”,分别对应添加到右边的“MO”和“MT”下面,log对应加载完成后,即可点击“生成”按钮,开始生成统计报表。
统计结果即见第二章节。
根据第二章节指标,我们发现本次测试没有未接通,掉话3次,同时MOS分值存在%的比例低于2,因此掉话和MOS是本次分析重点。
二、根据需要分析的重点问题,按如下思路展开分析。
要区分无线问题与非无线问题,目前只能根据IMS的原因码进行定界,如果是无线问题,要么引起了VoLTE的掉话,要么导致VoLTE接入时的RRC建立失败、拒绝等,要么MOS值偏低;否则均会有IMS原因码下发(见附件1),毕竟IMS是VoLTE呼叫的最上层。
根据前期的数据分析经验,大致可以分为。
无线侧问题:
1、影响业务接入或保持的
ØRrcreject导致初始接入失败
Ø随机接入失败
ØRRC重建失败导致的掉话
Ø网内切换失败(Mod3、邻区切入异常、邻区禁止接入等)
ØeSRVCC切换失败
Ø……
2、影响用户感知的(MOS低)
ØIBLER过高,无法收敛
Ø语音承载强制配置为非保障的QCI9
ØMCS阶数波动太大
Ø路损过高(高于118~120一般认为会影响MOS)
Ø半持续调度功控目标bler不合理
Ø……
非无线问题:
1、终端问题
Ø终端invite请求里面的被叫号码格式编码错误
Ø终端注册请求的域名地址位数不对
Ø主被叫媒体协商不统一(非入网手机)
Ø呼叫请求和注册请求的用户端口不一致
Ø……
2、网络侧问题
ØDNS未正确配置域名解析地址,路由失败
ØAS鉴权失败,鉴权算法漏配
ØIMS-HSS的签约数据不全。
ØATCF路由锚定的IP配置错误,导致esrvcc失败。
Ø……
3.2VoLTE未接通分析
本次测试数据未产生未接通。
3.3VoLTE掉话分析
1.主叫掉话1
时间:
14:
15:
路段:
和兴路中段
问题描述:
从下面截图可以看出,掉话发现在从市公司去省公司方向的和兴路中段,从掉话前后看本次掉话是由于弱覆盖导致,同时由于现网还没开通eSRVCC切换,所以导致掉话。
处理建议:
增强覆盖或者开通eSRVCC切换。
2.主叫掉话2
时间:
14:
15:
路段:
前进路
问题描述:
本次呼叫在14:
19:
发起,于14:
19:
接通,并在14:
21:
发起挂机请求,而此时呼叫并未保持3分钟,从信令回看,在终端发起sipbyerequest前,网络侧下发了一个承载去激活的命令,从释放的EPSID看是默认承载,而从释放原因看:
ESMCause=(39)protocolerror,unspecified。
建议网络侧核查。
3.被叫掉话1
时间:
14:
15:
路段:
和兴路中段
问题描述:
同主叫掉话1.
3.4MOS低分值分析
注意:
MOS分析时,需要回看前8~10s的相关覆盖、信令情况,因为MOS评分的预料是8s时长,从放音8s结束到算分出结果至少要8s。
1.MOS低值路段一:
分公司附近天桥下面
从下面截图可以看出该处覆盖属于差点,并且从邻区窗口可以看出属于重叠覆盖区域,导致SINR较差,从而导致上下行的bler都太高,上行无法收敛,从而导致语音质量较差。
处理建议:
加强覆盖,并增强主导频覆盖。
2.MOS低值路段二:
三大动力路中段
从下面截图可以看出该处覆盖属于中点,但是从邻区窗口看428和248Mod3干扰,并且此处上行bler太高,可能存在上行干扰,从而导致语音质量较差。
处理建议:
排查上行干扰,查下对应小区及附近小区底噪情况。
3.MOS低值路段三:
世茂大道中段
从下面截图可以看出此处存在切换失败(302小区切换到454小区,且属于跨TA)引起的RRC重建,并且重建失败,同时此处属于覆盖弱场,SINR较差,信道质量无保障。
处理建议:
加强覆盖,并明确主导频。
4.VoLTE测试异常处理
【说明:
针对本次测试过程出现的问题,以及鼎利工程师的指导,本人将测试可能出现的异常做了个汇总,方便参考。
本次往返两次测试,第一次测试由于一些细节未注意,出现过异常,在鼎利工程师指导下解决后,同时注意鼎利工程师提示的细节,基本后面的测试非常稳定,未出现任何异常】
4.1算分异常处理
1.MOS分值较低(这里指持续低于2)
出现MOS分值较低时,进行如下检查:
1、检查是否有终端在G网或者TDS网络进行呼叫,一般在23G网络使用POLQA算分会相对VoLTE低一些(比如VoLTE在左右时,如果在23G可能会在左右);如果不是,则:
2、检查网络环境是否正常,比如RSRP是否过低(低于-110),SINR是否较差(低于-5)。
如果这些都正常,则:
3、检查手机音量,是否静音了或者音量没有正确设置,正确音量是“手机通话状态下,将音量调节至最大后减一”,如果这些都正确设置,则:
4、检查耳机口是否插紧,是否有漏音(可以耳朵贴近手机听下,是否有声音),或者插拔下耳机,如果这些都无法解决,则:
5、插拔一下MOS盒的USB接口,重新连接再次测试,如果还无法解决,则:
6、直接在当前环境,两个人用测试手机呼叫说话,检查是否正常通话的声音就不正常。
2.MOS算分失败
出现MOS算分失败时,进行如下检查:
1、检查算分环境“vcredist_x86”是否安装,直接重新安装一遍即可(如果该电脑之前测试正常,则跳过该步骤排查)。
如果算分环境正常安装,则:
2、检查算分权限文件《PolqaLicenseFile》是否复制到了正确的目录(有时候重新安装了软件或者安装了新版本会忽略这个)。
正确操作是:
复制该权限文件到pioneer安装目录下的PESQ文件夹下。
如果权限文件正确放置了,则:
3、检查算分权限文件是否过期。
双击打开《PolqaLicenseFile》,查看其中的“ExpirationDate”是否过期,如果权限正常,则:
……..
Polqa:
0-2
StartDate:
2015-5-18
ExpirationDate:
2015-11-19
Platform:
Windows,Linux
MacAddress:
5c260a68f244
4、检查MOS盒是否正常驱动,在设备管理器里面检查如下端口是否正常(异常时要么不存在该端口,要么提示黄色感叹号),如果MOS盒正常驱动,则:
5、插拔MOS盒,重新连接测试。
4.2呼叫异常处理
1.连续呼叫失败
出现连续呼叫失败时,建议检查:
1、直接拔掉手机,不连接软件,进行对呼,检查是否网络问题,如果正常,则:
2、检查业务脚本的“连接时长”是否设置过短,导致时间超时时还未接通而释放。
集团规范是30s。
2.被叫无法自动接听
出现被叫不自动接听时,建议检查:
1、检查是否给主叫配置了呼叫对象(被叫),如下“DialedMS”需要配置为被叫终端。
如果配置正常,则:
2、断开设备连接,重新连接后重新尝试,如果还无法自动接听,则:
3、插拔终端,重新连接测试。
4.3终端异常处理
1.HTC工具HTCSSDTesttool里面无法找到打开端口的四个菜单
这种一般是应用程序异常,请联系支持进行重新刷机。
2.测试过程设备丢失
正常测试过程中,出现设备丢失(如下图),
排查步骤:
1、请检查手机是否因电量不足在测试过程中自动关机;
2、请检查手机的数据线是否松脱,可以重新插拔试试;
3、在Graph窗口查看当前网络信号强度(若没有信号或信号太差也可能会导致掉设备);
4、检查手机端口是否驱动异常,可以在设备管理器里面查看对应端口是否正常驱动;
5、检查手机端口是否关闭了,打开HTCSSDTesttool工具进行检查;
6、检查设备温度是否过高(不要让阳光直晒设备)。
4.4GPS异常处理
1.测试过程中GPS出现无采样点
测试过程如出现GPS无采样点,建议检查:
1、测试所在位置是否高楼阻挡,导致GPS无法搜到卫星;
2、是否车速过快;
3、是否GPS异常,查看GPS的指示灯是否常亮
4、如果都正常,则插拔GPS重新尝试。
2.测试过程出现GPS丢失
测试过程过程如果出现GPS丢失,建议插拔GPS尝试。
5.VoLTE测试软件操作说明
【说明:
由于本人电脑之前未安装过鼎利的软件,对本次测需要安装的程序也做了个总结,方便后续同事参考。
基本上除了主应用程序Pioneer后续如果更新版本,需要安装(或者直接在线升级),其他的程序都属于环境或驱动类程序,安装一次就OK了。
】
5.1软件安装说明
对于一个未安装过世纪鼎利Pioneer测试软件的笔记本电脑,如要测试VoLTE,需要安装如下软件:
1.运行环境软件
《dotNetFx40_Client_x86_x64》
安装方式:
双击一直下一步即可,提示已经存在的,则不用安装。
《vcredist_x86》
安装方式:
双击运行,一直下一步即可,安装完成后重启电脑。
《PioneerDriverSetup》
安装方式:
双击运行,一直下一步即可。
安装完成后插上加密狗,看狗指示灯是否常亮;不是,则直接双击《》单独安装狗驱动。
2.测试软件
《》
安装方式:
双击运行,一直下一步即可。
安装目录可自行调整。
《PolqaLicenseFile》
安装方式:
复制该权限文件到pioneer安装目录下的PESQ文件夹下,否则无法进行POLQA算分。
3.驱动软件
《PL2303_Prolific_DriverInstaller_v10518》
GPS驱动安装方式:
双击运行,一直下一步即可
《驱动》
MOS盒安驱动安装方式:
双击运行,一直下一步即可
《HTC_M8_USB_driver__signed》
HTC手机驱动安装方式:
在手机上HTC工具里面打开对应端口,插上电脑后,在设备管理器里面在端口上右键更新驱动,选择到该驱动进行安装。
说明1:
运行环境软件安装一次即可,只要系统不重装或者恢复,永久生效。
说明2:
测试软件则需要根据实际版本情况安装对应版本
5.2终端端口开启说明
1.端口打开方式:
HTC工具HTCSSDTesttool打开,找到如下项并修改为表格要求值。
配置项
修改为
(操作后界面显示值)
ControlDiagPort
Disabled
ControlModem
Disabled
ControlRemNet
Disabled
QXDMLogger
Enable
操作界面如下:
a、打开HTCSSDTrailTool工具b、找到三个Control开头的选项
c、打开三个选项后点击Enable即切换为disabled、打开QXDMLogger选项点击Disable切换为Enable
2.手机需要进行的设置:
●在“设置”-“数据连接”里面最后勾上“增强语音IMS”
●USB调试必须关闭
●网络共享必须关闭,不管是热点还是USB共享,都不能开启。
●手机通话状态下,将音量调节至最大后减一格。
注意这个直接影响MOS分值高低。
5.3驱动安装说明
1.MOS盒驱动安装成功标识
MOS盒驱动安装完成后在设备管理器可以看到设备名称:
ASTRIDingLiDriver,如图:
2.GPS驱动安装成功标识
GPS驱动安装完成后在设备管理器可以看到如下端口:
3.HTC终端驱动安装成功标识
HTC终端驱动安装完成后在设备管理器可以看到如下端口:
当前HTC厂家的驱动在个别电脑会出现网卡无法正常驱动情况【即上图网络适配器里面的端口】,但是这个不影响VoLTE测试,只影响数据业务测试【这种情况下数据业务测试就无法用软件控制拨号,只能用USB共享的方式测试(和苹果手机测试方式一样)】。
5.4设备配置说明
世纪鼎利路测软件Pioneer支持自动配置设备,如下图点击“自动检测”按钮,即自动检测当前电脑连接的设备,并自动配置相关设备端口。
自动检测并自动配置设备后,会弹出对话框“是否连接”,点击“是”后,即连接上设备,并采集信令。
5.5业务配置说明
VoLTE业务测试采用主被叫配对模式测试,测试设置业务如下:
1、点击“Handset1”。
哪个终端做主叫,就在哪个设备配置业务。
此处举例是handset1做主叫。
2、在对应该设备的测试计划中,勾选“MOS业务”,并双击打开,进行MOS业务配置,如下:
a.连接时长、通话时长、空闲间隔和失败间隔参数根据集团规范设置;
b.MOS选项:
算法选择“POLQASWB”,MOS设备版本根据使用的MOS盒信息选择,当前一般单路测试选择“MOSVerLite”;
c.高级和语料里面不用任何设置,默认即可。
3、配置配对的被叫对象(否则被叫不会自动接听)。
点击“设备控制”按钮,如下:
在弹出的如下界面,在主叫(此处的即Handset1)行,对应的“DialedMS”下拉选择被叫设备(此处即Handset2)。
5.6测试记录说明
1、设备和业务配置完成后,点击如下图的“开始录制”按钮,即开始测试数据记录,数据保存目录可默认,也可根据需要调整。
建议默认即可。
2、为方便快速进行测试信息查看,鼎利Pioneer软件支持默认测试场景选择,如下图。
也可以用户自定义需要查看的界面。
【场景功能真的很方便,切换测试任务,直接切换场景就行了,简单方便】
VoLTE测试场景界面如下:
5.7测试界面观察
VoLTE业务测试过程主要需要观察如下截图几点:
1、基本的RSRP、SINR等测量,这些信息会影响MOS评分,以及接通和掉话;
2、呼叫接通、掉话、未接通等业务事件观察,查看是否呼叫正常;
3、MOS算分事件及分值观察,查看是否正常算分,并且分值是否在正常范围。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 外场VoLTE测试报告之鼎利VoLTEMOS产品使用总结 外场 VoLTE 测试报告 VoLTEMOS 产品 使用 总结