1、计算机视觉技术在 物流中的应用,2019,计算机视觉技术在顺丰物流中的应用,数字化场院,三维信息测量,目标检测识,别,异常,行为分析,智能化设备,室内定位导,航,机器视觉,无人,机,业务,自动化,文字检测识别,违禁品识,别,交通信息采集,智能运单识别X光违禁品 检测,智能运单识别,数据类型多包含30+字段,人员成本高完成数据录入,需要上百人的团队,人工成本高人员投入成本高（至少1人/台+倒班轮休）专业安检人员培训周期长（平均3个月）,数据量运大单量20万+/天,精度要求高电话、地址、费用等信息要求准确率100%,终端运单拍照,智能运单,运单系统集群,运单存储,识别系统,人工审单平台,能运单识别
2、,智,全面单识别包含字段（30+）：#,收、寄件电话收、寄件地址收、寄单位名称费用月结帐号,托寄物勾选项增值服务备注,运单录入系统,文本识别,汉字、数字、字母手写体、打印体,文本检测定位,文本区域检测,地址纠偏补全,基于地址库的文本处理,图像预处,理图像质量过滤版面分析柔性形变校正,智能运单识别,智能运单识别框架图,2柔性形变校正,3版面分析,智能运单识别图像预处理,拍照模糊、光照不均 等质量问题检测,对内容和位置关系进行解析,将图像最大化还原为模 板,1,图像质量过滤,智能运单识别模糊图像过滤,智能运单识别柔性形变矫正,不适用于严重形变,区域1,区域2,区域3,区域4,区域5,区域6,区域7
3、 区域8,智能运单识别,版面分析对版面内的图像、文本、表格的信息和位置关系进行自动 分析、识别和理解1 内容混杂,2 颠倒顺序,3 窜行排版,智能运单识别文本检测识别,1,2,文本检测,提取文本特征，区分文本与 非文 本区域，精确定位文本行,文本识别,训练文本分类器，识别图片 中的 数字、字母、汉字等内容,文本检测一般文本检测 常见问题有：#过大过小等定位不精确 多框少框等漏检误检文本倾斜、排版密集等导致分割不准EAST文本检测器Multi-channel FCN结构可检测长文本、带角度文本,智能运单识别,EAST,优化思路,1 改变负样本选择策略,2 改变卷积核，增大感受野,智能,运单识别文
4、本检测,运单文本特点：#表单背景文字需要抑制，不被检出文本长短不一，过短或过长的文本定位困难,文本识别模型：#CNN+BLSTM+CTC框架,智能,运单识别文本识别,文本识别,运单识别,智能,文本识别运单文本的难点,数据不足中文数据集较少、6000 多常见字、类别覆盖不 全、分布不均衡,类内变化多打印、手写多种字体混合,识别难度大汉字多字组合结构，不同类别 容易混淆、手写潦草、篡 改、错别字、排版形式多变,建立地址OCR文本与地址库文本间的翻译模型（Seq2Seq）,纠正OCR的识别错误对人为填写的地址错误、不标准或者不完整等情况进行纠 偏和补全,能运单识别,智,地址纠偏补全,广东省深州市,广
5、东省深圳市,总量 一致率,一致率收件地址识别结果对应的网点编号正确的数据占比,120.00%,100.00%,80.00%,60.00%,40.00%,20.00%,0.00%,可信度分布区间（测试总数272,714）,运单识别,智能,性能指标,免录率与人工水平一致的数据占比,总量 一致率,一致率收件地址识别结果对应的网点编号正确的数据占比,120.00%,100.00%,80.00%,60.00%,40.00%,20.00%,0.00%,可信度分布区间（测试总数272,714）,运单识别,智能,性能指标,免录率与人工水平一致的数据占比,城市,名称,测试量,一致率,免录率,智能,运单识别性能分
6、析,地址识别+纠偏模型,OCR识别,业务性能分析,智能运单识别X光违禁品 检测,漏检/误检率高,x光图片物体混杂，可分辨性差，,X光违禁品检测,危险系数高违禁违运品未申报，未采用专用 通道，在飞机货车的运输途中，会带来巨大的安全隐患,人员成本高安检人员需要持证上岗，培长 训时3个月以上，高级职称需要2年左右,数据获取困难安检机未联网，机器不存储数据、导致获取X光安检图片数据非常困 难,人工成本高,人员投入成本高（至少1人/台+倒班轮休）专业安检人员培训周期长（平均3个月）,专业人员也需经常开箱重验，存 在严重的错检、漏检,X光违禁品检测,X光成像原理,顶照式侧照式光源颜色代表成分亮度反映密度,
7、有机物,无机,物,轻金属和混合物,高密度材料,4 大类禁运品,枪支、军用或警用械具类（含主要部件）及其仿制品爆炸物品类及其仿制品易燃品易爆物品毒害品腐蚀性物品放射性物品管制刀具强磁化、有强烈刺激性气味等物品,物流场景中的违禁品9大类违法违禁品,X光违禁品检测,包裹中是否包含违禁品,检测出违禁品的类别和位置,违禁品检测,X光,场景特点分析,背景复杂，多种物体堆叠 特有的重叠、混淆现象,成像方式固定视角和尺度变化大,多实例密集排布,2,3,4 小目标类间差距小,5,数据收集困难品类定义困难划分不 明确,1,X光违禁品检测主要工作,XOR构建大型数据集,高性能的检测方法,模型加速,X光违禁品检测,X
8、-ray object recognition dataset,数据集规模60万个二分类的图像级标签40万个对象级标签37种类别和位置框违禁品26类和常规物体17类,X光违禁品检测违禁品检测模型FPN50Subnet（class+box）Focal Loss,X光违禁品检测性能分析,X光违禁品检测,模型加速不同规模使用场景高速安检机2m/s，响应速度要求更高加速方法构建轻量化网络结构合并计算通道裁剪近似框架,加速效果,图片分辨率1280*800,Full（FPN50）,Mobile（Mobilenet）,缺一张界面图v,VGA,安检机,一体显示终端,边缘计算,编码器,网络,云计算,数据存储,X光违,禁品检测工程化部署,集中管理平台,传统方式,网点方式,场院方式,VGA,智能运单识别v数据处理与分析手写汉字识别困难结合业务X光违禁品检测问题定义与分析数据采集特征工程模型加速,总结,
