1、最全的AR行业报告前言继智能手机、平板电脑之后，虚拟现实（VR）与增强现实（AR）有潜力成为下 一个重大通用计算平台。从当前来看，更多的公司选择从 VR 领域进行切入，各大研究公司、投行针对 VR 领域的研究报告也层出不穷，相比之下，AR 领域却稍显平淡。腾讯科技旗下 VR 次元发布全球首份 AR 行业报告，在这份报告中，我们将对 AR 的发展趋势、未来的挑战、潜在应用领域、可能创造和颠覆的市场进行分析和预 测。最后，感谢亮风台研发总监吴仑博士对本报告的支持，吴仑博士撰写了 AR 工作 原理、关键技术相关章节。特别提示：微信上搜索“qqtechvr”，关注“VR 次元”微信公众号，回复“AR”
2、， 即可获得 AR 报告 PDF 版。第一章 AR 与 VRVR 和 AR 有着不同的应用领域、技术和市场机会，因此区分两者之间的不同至 关重要。从技术角度来看，AR 是将计算机生成的虚拟世界套在现实世界上，即把数字想 象世界加在真实世界之上。最典型的 AR 设备就是谷歌眼镜。这种智能眼镜将触 控板、摄像头以及 LED 显示器结合起来，通过显示器，用户可以联网，并在视 野内使用地图、电子邮件等服务。其他知名的 AR 产品还有微软的 HoloLens， 创业公司则以 Magic Leap 为典型代表。AR 具备三个主要特征：1、融合虚拟和现实：与 VR 技术不同的是，增强现实技术不会把使用者与真
3、实 世界隔开，而是将计算机生成的虚拟物体和信息叠加到真实世界的场景中来，以 实现对现实场景更直观深入的了解和解读，在有限的时间和有限的场景中实现与 现实相关知识领域的理解。增强的信息可以是与真实物体相关的非几何信息，如 视频、文字，也可以是几何信息，如虚拟的三维物体和场景。2、实时交互：通过增强现实系统中的交互接口设备，人们以自然方式与增强现 实环境进行交互操作，这种交互要满足实时性。3、三维注册：“注册”（这里也可以解释为跟踪和定位）指的是将计算机产生的虚拟物体与真实环境进行一一对应，且用户在真实环境中运动时，也将继续维持 正确的对准关系。VR 是让用户置身于一个想象出来或者重新复制的世界，
4、或是模拟真实的世界。 VR 领域主要的产品包括 Oculus、索尼 PlayStation VR、HTC Vive 和三星 Gear VR。（有关 VR 更多的情况，可关注 VR 次元微信公众号，回复“高盛”和“德 银”，分别获得高盛 VR 中文版报告和德银 VR 中文版报告）区分 VR 和 AR 的一个简单的方法是：VR 需要用一个不透明的头戴设备完成虚 拟世界里的沉浸体验，而 AR 需要清晰的头戴设备看清真实世界和重叠在上面的 信息和图像。从目前来看，AR 比较适合服务企业级用户，而 VR 同时适用于消费者和企业用 户。有些情况下，两者还会出现重叠市场。例如，目前大多数游戏基于 VR 研发
5、， 但微软也用 HoloLens 重新创作了我的世界这样的游戏。AR 发展简史AR 技术的起源可追溯到“VR 之父”Morton Heilig 在上个世纪五、六十年代所 发明的 Sensorama Stimulator。Heilig 是一名哲学家、电影制作人和发明家。他利用他在电影拍摄上经验设计出了 Sensorama Stimulator，并在 1962 年获得了专利。Sensorama Stimulator 使用图像、声音、风扇、香味和震动，让用户感受在纽 约布鲁克林街道上骑着摩托车风驰电掣的场景。尽管这台机器大且笨重，但在当 时却非常超前。令人遗憾的是，Heilig 没有能够获得所需的资
6、金支持让这个发明 商业化。AR 历史上的下一个重大里程碑是第一台头戴式 AR 设备的发明。1968 年，哈佛 副教授 Ivan Sutherland 跟他的学生 Bob Sproull 合作发明了 Sutherland 称之为“终极显示器”的 AR 设备。使用这个设备的用户可以通过一个双目镜看到一个简单三维房间模型，用户还可以使用视觉和头部运动跟踪改变视角。尽管用户 交互界面是头戴的，然而系统主体部分却又大又重，不能戴在用户头上，只能悬 挂在用户头顶的天花板上。这套系统也因此被命名为“达摩克利斯之剑”。尽管这些早期的发明属于 AR 的范畴，但实际上，直到 1990 年，波音公司研究 员 Tom
7、 Caudell 才创造了“AR”这个术语。Caudell 和他的同事设计了一个辅 助飞机布线系统，用于代替笨重的示例图版。这个头戴设备将布线图或者装配指 南投射到特殊的可再用方板上。这些 AR 投影可以通过计算机快速轻松地更改， 机械师再也不需要手工重新改造或者制作示例图版。大约在 1998 年，AR 第一次出现在大众平台上。当时有电视台在橄榄球赛电视 转播上使用 AR 技术将得分线叠加到屏幕中的球场上。此后，AR 技术开始被用 于天气预报天气预报制作者将计算机图像叠加到现实图像和地图上面。从那时起，AR 真正地开始了其爆炸式的发展。2000 年，Bruce H. Thomas 在澳大利亚南
8、澳大学可穿戴计算机实验室开发了 第一款手机室外 AR 游戏ARQuake。2008 年左右，AR 开始被用于地图等 手机应用上。2013 年，谷歌发布了谷歌眼镜，2015 年，微软发布 HoloLens， 这是一款能将计算机生成图像（全息图）叠加到用户周围世界中的头戴式 AR 设 备，也正是随着这两款产品的出现，更多的人开始了解 AR。AR 硬件概览AR 硬件发展的驱动力源于计算机处理器、显示技术、传感器、移动网络速率、 电池续航等多个领域的技术进步。目前能够确定的 AR 硬件类型有以下几种： 手持设备（Handheld Devices） 固定式 AR 系统（Stationary AR Sys
9、tems） 空间增强现实（SAR）系统（Spatial Augmented Reality Systems） 头戴式显示器（Head-mounted Displays ，即 HMD） 智能眼镜（Smart Glasses） 智能透镜（Smart Lenses）手持设备智能手机正是手持设备的代表。我们正经历着智能手机、平板电脑等手持设备的 大爆炸时代，这将会促进 AR 的普及。这些设备正在变得越来越好显示器分 辨率越来越高，处理器越来越强，相机成像质量越来越好，传感器越来越多，提 供着加速计、GPS、罗盘等等功能这些成为了天然的 AR 平台。尽管手持设 备是消费者接触 AR 应用最为方便的形式，
10、但由于大部分手持设备不具备可穿戴 功能，因此用户无法获得双手解放的 AR 体验。固定式 AR 系统俄罗斯一家 Topshop 内的固定式 AR 衣橱固定式 AR 系统适用于固定场所中需要更大显示屏或更高分辨率的场景。与移动 AR 设备不同的是，这些极少移动的系统可以搭载更加先进的相机系统，因此能 够更加精确地识别人物和场景。此外，显示单元往往能呈现出更加真实的画面， 而且受阳光或照明等环境因素影响较小。空间增强现实（SAR）系统大众公司的 SAR 系统与其它所有系统不同的是，空间增强现实（SAR）系统的虚拟内容直接投影在现实世界中。SAR 系统往往固定在自然中。任何物理表面，如墙、桌、泡沫、木
11、块 甚至是人体都可以成为可交互的显示屏。随着投影设备尺寸、成本、功耗的降低 以及 3D 投影的不断进步，各种全新的交互及显示形式正在不断涌现。SAR 系统 最大的优点在于，现实世界的反射在这里更加精确，即虚拟信息能够以实际的比 例和大小呈现在眼前。此外在观看人数较多时，内容也能看清，这个案例可以用 来实现同步办公。头戴式显示器（HMD）佳能的混合现实头戴设备HMD 代表着另一种快速发展的 AR 硬件类型。HMD 由一个头戴装置（如头盔）， 以及与之搭配的一块或多块（微型）显示屏组成。HMD 将现实世界和虚拟物体 的画面重叠显示在用户视野中。换而言之，用户不会直接看到现实，看到的是现 实的增强视
12、频画面。如果显示屏只覆盖用户的一只眼睛，这样的 HMD 称为单眼HMD，另一种是两只眼睛都看显示屏的双眼 HMD。先进的 HMD 通常能够搭载具有很高自由度的传感器，用户可以在前后、上下、左右、俯仰、偏转和滚动 六个方向自由移动头部。该系统因此能够实现虚拟信息与现实世界的贴合，并根 据用户头部移动作做相应的画面调整。智能眼镜Vuzix M100 智能眼镜消费电子行业的许多公司认为，智能眼镜将会成为智能手机后下一大全球热卖消 费产品。这些 AR 设备实际上是带有屏幕、相机和话筒的眼镜。根据这一概念， 用户的现实世界视角被 AR 设备截取，增强后的画面重新显示在用户视野中。AR 画面透过眼镜镜片，
13、或者通过眼镜镜片反射，从而进入眼球。智能眼镜技术最为 突出的例子是谷歌眼镜和 Vuzix M100。不过，目前开发中的最令人激动的智能 眼镜要数 Atheer One该智能眼镜配有 3D 景深传感器，用户可以实际控制 眼前显示的虚拟内容。智能透镜华盛顿大学开发的透镜中含有金属电路结构智能眼镜绝不是故事的结局。越来越多的研究投入到能显示 AR 画面的智能透镜 上；微软、谷歌等公司也正忙于宣布自己的智能透镜项目。智能透镜的理念是在传统透镜中集成控制电路、通信电路、微型天线、LED 及其 它光电组件，从而形成一套功能系统。未来或许可以用成千上万颗 LED 直接在 眼前形成画面，从而让透镜变成显示屏。
14、然而，还必须克服一系列难题，比如说 如何给透镜供电，如何保证人眼不受伤害等等。在这一章的最后，我们简单看下 AR 技术会应用到哪些领域：考古：在古代遗迹上显示遗迹原本的样子。艺术：跟踪眼球移动并将这些移动显示在屏幕上，帮助残疾人进行艺术创作。商业：显示产品的多种定制选项或者补充信息。教育：将文本、图像、视频和音频叠加到学生周围的实时环境中。时尚：显示不同的妆容和发型用在一个人身上的效果。游戏：运用真实世界环境让用户在游戏中进行互动，获得不同的体验。医药：通过虚拟 X 光将病人的内脏器官投射到他们的皮肤上。军事：使用 AR 眼镜向士兵展示战场中出现的人和物体，并附上相关信息，以帮 助士兵避开潜在
15、的危险。导航：将道路和街道的名字跟其他相关信息一起标记到现实地图中，或者在挡风 玻璃上显示目的地方向、天气、地形、路况、交通信息，提示潜在危险。体育：显示橄榄球场的得分线、高尔夫球的飞行路线和冰球移动的轨迹。电视：在天气预报中显示天气视觉效果和图像。第二章 AR 的工作原理AR 介于 VR 和真实世界之间，VR 创造逼真的虚拟世界，AR 则将图形、声音、 触感和气味添加到真实的世界中。在介绍 AR 的工作原理之前，我们先通过一个例子，让大家有一个简单的认识。在 2009 年 2 月的 TED 大会上，帕蒂梅斯（Pattie Maes）和普拉纳夫米斯特 莱（Pranav Mistry）展示了他们
16、研发的 AR 系统。该系统属于麻省理工学院媒 体实验室流体界面小组的研究成果之，他们称之为 SixthSense（第六感）。它依靠众多 AR 系统中常见的一些基本元件来工作：摄像头、小型投影仪、智能手机和镜子。这些元件通过一根类似绳索的仪器串连起来，然后戴在佩戴者的脖子上。用户还 会在手指上戴上四个不同颜色的特殊指套，这些指套可以用来操纵投影仪投射的 图像。SixthSense 设备利用简单的、现成的元件来组成 AR 系统，它的投影仪可以将 任何平面变成一个互动的显示屏。SixthSense 设备利用摄像头和镜子来捕捉周 围的环境，然后将这种图片传给手机（手机处理这种图片，获得 GPS 坐标以
17、及 从互联网上搜索相关信息），然后将这些信息从投影仪投射到用户面前的任何平 面上，不管这种平面是一个手腕，一面墙，还是一个人。由于用户将摄像头佩戴 在胸前，因此 SixthSense 设备能够增强他所看到的一切。例如，如果他在一个 杂货店里挑选了一罐汤，SixthSense 设备将能够搜索这罐汤的相关信息，例如 成分、价格和营养价值甚或用户评论，然后将它们投射到平面上。利用手指上的指套，用户可以在投射的信息上执行各种操作，这些操作将会被摄 像头捕捉到，然后通过手机来处理。如果他希望了解这罐汤的更多信息，例如与 之竞争的同类产品，那么他可以用手指与投射画面进行互动，从而获取更多的信 息。Sixt
18、hSense 设备还能够识别一些复杂的手势，例如你在手腕上画一个圆圈， SixthSense 设备就能够投射一款手表来显示当前的时间。AR 的系统结构一个典型的 AR 系统结构一个典型的 AR 系统结构由虚拟场景生成单元、透射式头盔显示器、头部跟踪设 备和交互设备构成。其中虚拟场景生成单元负责虚拟场景的建模、管理、绘制和 其它外设的管理；透射式头盔显示器负责显示虚拟和现实融合后的信号；头部跟 踪设备跟踪用户视线变化；交互设备用于实现感官信号及环境控制操作信号的输 入输出。首先透射式头盔显示器采集真实场景的视频或者图像，传入后台的处理单元对其 进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场
19、景和真实场景的相对 位置，实现坐标系的对齐并进行虚拟场景的融合计算；交互设备采集外部控制信号，实现对虚实结合场景的交互操作。系统融合后的信息会实时地显示在头盔显示器中，展现在人的视野中。AR 的关键技术目前 AR 技术的技术难点在于：精确场景的理解、重构和高清晰度、大视场的显 示技术。1、 对现实场景的理解和重构在增强现实系统中，首先要解决“是什么”的问题，也就是要理解、知道场景中 存在什么样的对象和目标。第二要解决“在哪里”的问题，也就是要对场景结构 进行分析，实现跟踪定位和场景重构。物体的检测和识别技术物体检测和识别物体检测和识别的目的是发现并找到场景中的目标，这是场景理解中的关键一环。
20、广义的物体检测和识别技术是基于图像的基本信息（各类型特征）和先验知识模 型（物体信息表示），通过相关的算法实现对场景内容分析的过程。在增强现实 领域，常见的检测和识别任务有，人脸检测、行人检测、车辆检测、手势识别、 生物识别、情感识别、自然场景识别等。目前，通用的物体检测和识别技术，根据不同的思路可以分为两种：一种是从分 类和检测的角度出发，通过机器学习算法训练得到某一类对象的一般性特征，从 而生成数据模型。这种方法检测或者识别出的目标不是某一个具体的个体，而是 一类对象，如汽车、人脸、植物等。这种识别由于是语义上的检测和识别，所以 并不存在精确的几何关系，也更适用于强调增强辅助信息，不强调位
21、置的应用场 景中。如检测人脸后显示年龄、性别等。另外一种识别是从图像匹配的角度出发， 数据库中保存了图像的特征以及对应的标注信息，在实际使用过程中，通过图像匹配的方法找到最相关的图像，从而定位环境中的目标，进一步得到识别图像和目标图像的精确位置，这种识别适用于需要对环境进行精确跟踪的应用场景。就现阶段而言，识别检测技术的难点之一是技术的碎片化。这一方面是由于每一 类对象都会有其独有的特征，而不同特征的提取和处理都需要实现一一对应，这 对识别检测是一个巨大的挑战。另一方面，图像本身还受到噪声、尺度、旋转、 光照、姿态等因素的影响。近几年来，随着深度学习技术的不断成熟，检测和识 别方法也越来越统一
22、，而性能也在不断提高中。跟踪定位技术跟踪技术的方法可以分为基于硬件和基于视觉两大类。基于硬件设备的三维跟踪 定位方法在实现跟踪定位的过程中使用了一些特殊的测量仪器或设备。常用的设 备包括机械式跟踪器、电磁式跟踪器、超声波跟踪器、惯性跟踪器以及光学跟踪 等。光学跟踪和惯性跟踪是比较常用的两种硬件跟踪方式，HTC Vive 就是采用 了光学跟踪和惯性跟踪两种硬件来定位头部的位置。使用硬件设备构成的跟踪系 统大多是开环系统，跟踪精确取决于硬件设备自身的性能，其算法的扩展性要差 一些，且成本相对较高。HTC Vive 采用光学和惯性跟踪设备视觉跟踪方法具备更强的扩展性，其系统多为闭环系统，更依赖于优化
23、算法来解 决跟踪精度问题。相比于上述基于硬件设备的跟踪方法，计算机视觉跟踪方法提 供了一种非接触式的、精确的、低成本的解决方法，但是基于视觉的方法受限于 图像本身，噪声、尺度、旋转、光照、姿态变化等因素都会对跟踪精度造成较大 的影响，因此更好地处理这些影响因素，研发鲁棒性强的算法就成为下一步 AR 技术的研究重点。根据数据的生成方式，视觉跟踪技术的算法可以分为两种，一种是基于模板匹配 的方式，预先对需要跟踪的 target 进行训练，在跟踪阶段通过不断的跟预存训 练数据进行比对解算当前的位姿。这类方法的好处是速度较快、数据量小、系统 简单，适用于一些特定的场景，但不适用于大范围的场景。另外一种
24、是 SLAM 方法，也就是即时定位和地图构建技术。这类技术不需要预 存场景信息，而是在运行阶段完成对于场景的构建以及跟踪。其优点是不需要预存场景，可以跟踪较大范围，适用面广，在跟踪的同时也可以完成对于场景结构的重建。但目前这类技术计算速度慢、数据量大、算法复杂度高，对于系统的要 求也较高。Hololens 和 Magic Leap 的宣传视频中都展现了这方面技术，而亮 风台对相应的技术也在研发当中。SLAM 跟踪技术为了弥补不同跟踪技术的缺点，许多研究者采用硬件和视觉混合跟踪的方法来取 长补短，以满足增强现实系统高精度跟踪定位的要求。2、增强现实的显示技术透射式头盔显示器透射式头盔显示器 Ho
25、lolens目前大多数的 AR 系统采用透视式头盔显示器实现虚拟环境与真实环境的融合。 根据真实环境的表现形式划分，主要有视频透视式头盔显示器和光学透视式头盔 显示器两种形式。视频透视式头盔显示器通过安装在头盔上的微型摄像头获取外部真实环境的图 像，也就是通过摄像头来采集真实场景的图像进行传递。计算机通过场景理解和 分析将所要添加的信息和图像信号叠加在摄像机的视频信号上，将计算机生成的 虚拟场景与真实场景进行融合，最后通过类似于浸没式头盔显示器的显示系统呈 现给用户。虽然视频透射式头盔在显示上不受强光的干扰，具有比较大的视场，但由于真实 环境的数据来自于摄像头，因此会造成显示分辨率较低的不利因
26、素。另一方面， 一旦摄像机与用户视点不能保持完全重合，用户看到的视频景象与真实景象将会 存在偏差，因此会造成在某些领域（特别是工业、军事等领域）出现一些安全隐患。光学原理的透视式头盔显示器的基本原理则是通过安装在眼前的一对半反半透 镜融合呈现出真实场景和虚拟场景。与视频透射式不同的是，光学透视式的“实” 来自于真实的光源，经过透视光学系统直接进入眼睛，计算机生成的“虚”则经 过光学系统放大后反射进入眼睛，最后两部分信息汇聚到视网膜上从而形成虚实 融合的成像效果。光学透视式头盔相对来说结构简单，分辨率更高，因其能够直接看到外部，真实 感和安全性也更强。其缺点是，在室外强光条件下显示效果会受影响。
27、目前 Hololens 以及亮风台的 HiAR Glasses 都采用了光学透射式的成像方案。不难看出，两种方案各有优缺点，如何选择最优方案，目前来看，还应基于实际 应用场景来进行判断。由于光学透射式头盔跟实际场景结合更紧密，真实感更强，大多数厂家会选择这 种方案。对于透射式头盔显示器来说，单纯的强调厚薄或者视场大小并没有任何 实际意义。这是由于厚度和视场是矛盾的，要做得较薄，方便用户使用佩戴，视 场就必然变小；想要拥有大视场，则其厚度就必然增大，设备就目前来说也会显 得比较笨重，不易佩戴。因此在目前技术依旧存在障碍的情况下，大家都会采取 一些折中的方案。数字光场显示Magic leap 光场
28、显示随着 Magic Leap 的宣传视频，数字光场这个概念也变得广为人知。这种不采用 屏幕来做载体的显示方式，通过记录并复现光场来完成虚拟物体的显示。通过呈 现不同深度的图像，使用户在观察近景或远景时，可以实现主动的对焦，这也是 光场显示的一大优点。同样，光场显示也有不同的显示方案，一种方案是采用多层的显示器，如光场立 体镜。如 Magic Leap 采用的是光导纤维投影仪。这套方案的优势是可以做到很 大的视场角，显示更加符合人的真实感受。但这一方案同时也具有比较大的挑战 性，光场的显示需要比较大的计算量，并且需要有相应的手段记录或者生成想要 叠加的虚拟对象相应位置的光源信息，同时还要精细地
29、控制投影的内容和位置，目前这些技术还都处于研究阶段。尽管存在比较多的挑战，光场显示技术仍旧是非常值得期待的一种成像方式。第三章 布局从目前来看，绝大多数巨头和创业公司更愿意选择在 VR 领域开疆拓土，但这并 不意味着 AR 无人问津。苹果种种迹象显示，苹果可能和微软一样瞄准了 AR 领域，并非时下最热的 VR。苹果已经在 AR 领域进行过一些并购交易。2015 年 5 月，苹果收购了一家名为 Metaio 的德国 AR 公司。该公司主要开发基于智能手机的 AR 应用软件，比如 其曾经开发一款让家具视觉化呈现的工具。该公司被收购之后，实体被注销，人 员融入了苹果的开发团队。2014 年年底，苹果
30、收购了一家从事脸部视觉识别的公司FaceShift，该公司的技术能够利用摄像头对用户脸部图像进行实时捕捉，甚至可以生成虚拟的头像。 据悉，电影星球大战：原力觉醒的特效团队曾经使用了上述公司的技术，让 外星人的脸部形象更加栩栩如生。此外，苹果还曾经收购了以色列的硬件公司 PrimeSense，该公司主要为微软的Xbox 游戏机制造 Kinect 动感捕捉摄像头。该公司具备了先进的手势动作识别技术。在 AR 领域，用户一般不会使用手持控 制器，因此识别手部动作十分重要，这一技术也能够用于 AR 头盔中。除了各种并购之外，苹果也储备了一些和 AR 有关的技术专利。这些专利并不意 味着苹果一定会开发某
31、种技术或者硬件，但是可能披露了苹果未来产品开发的某 些思路。2015 年 2 月，苹果获得一个技术专利，主要用于让智能手机连接 AR 和 VR 头 盔。专利描述文字和谷歌、微软、三星电子和 Facebook 近些年推出过的产品十 分相似。不过迄今为止，苹果从未对外宣布过开发 AR 硬件、软件等产品的计划。苹果向 来并不喜欢做新技术的第一批尝鲜者，而是善于在市面已有的产品门类中拿出用 户体验十分优秀的产品，依靠苹果的品牌力大规模占领市场。因此在 AR 领域， 苹果也会选择一个相对成熟的时机再进入市场。微软微软应该算是布局 AR 比较超前的巨头公司，其在 2015 年就推出了 AR 头盔HoloLens，开发者版已经开启预订，售
