ABCAI+Big Data+Cloud Copmuinting+IOTWord下载.docx
- 文档编号:22537433
- 上传时间:2023-02-04
- 格式:DOCX
- 页数:44
- 大小:8.54MB
ABCAI+Big Data+Cloud Copmuinting+IOTWord下载.docx
《ABCAI+Big Data+Cloud Copmuinting+IOTWord下载.docx》由会员分享,可在线阅读,更多相关《ABCAI+Big Data+Cloud Copmuinting+IOTWord下载.docx(44页珍藏版)》请在冰豆网上搜索。
从这幅图中我们可以看出:
物联网对应了互联网的感觉和运动神经系统。
云计算是互联网的核心硬件层和核心软件层的集合,也是互联网中枢神经系统萌芽。
大数据代表了互联网的信息层(数据海洋),是互联网智慧和意识产生的基础。
包括物联网,传统互联网,人工智能、移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。
人工智能AI(ArtificialIntelligence)
人工智能打个比喻为一个人吸收了人类大量的知识(数据),不断的深度学习、进化成为一方高人。
人工智能离不开大数据,更是基于云计算平台完成深度学习进化。
人工智能(ArtificialIntelligence),英文缩写为AI。
它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
简单总结:
通过物联网产生、收集海量的数据存储于云平台,再通过大数据分析,甚至更高形式的人工智能为人类的生产活动,生活所需提供更好的服务。
大数据(DigData)
大数据相当于人的大脑从小学到大学记忆和存储的海量知识,这些知识只有通过消化,吸收、再造才能创造出更大的价值。
麦肯锡全球研究所给出的定义是:
一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。
换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。
大数据必然无法用单台的计算机进行处理,必须采用分布式架构。
它的特色在于对海量数据进行分布式数据挖掘。
但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
云计算(Cloud)
云计算相当于人的大脑,是物联网的神经中枢。
云计算是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
目前很多物联网的服务器部署在云端,通过云计算提供应用层的各项服务。
云计算可以认为包括以下几个层次的服务:
基础设施即服务(IaaS),平台即服务(PaaS)和软件即服务(SaaS)。
云计算IaaS:
基础设施即服务
IaaS(Infrastructure-as-a-Service):
基础设施即服务。
消费者通过Internet可以从完善的计算机基础设施获得服务。
例如:
硬件服务器租用。
云计算PaaS:
平台即服务
PaaS(Platform-as-a-Service):
平台即服务。
PaaS实际上是指将软件研发的平台作为一种服务,以SaaS的模式提交给用户。
因此,PaaS也是SaaS模式的一种应用。
但是,PaaS的出现可以加快SaaS的发展,尤其是加快SaaS应用的开发速度。
软件的个性化定制开发。
云计算SaaS:
软件即服务
SaaS(Software-as-a-Service):
软件即服务。
它是一种通过Internet提供软件的模式,用户无需购买软件,而是向提供商租用基于Web的软件,来管理企业经营活动。
亚马逊是最早意识到服务价值的公司,它把服务于公司内部的基础设施,平台,技术,成熟后推向市场,为社会提供各项服务,也因此成为全球云计算市场的领头羊。
物联网IoT(Internetofthings)
因此,应用创新是物联网发展的核心,以用户体验为核心的创新是物联网发展的灵魂。
以下图为例,物联网大致分为以下几个层级:
感知层,网络层,应用层。
感知层相当于人的感官和神经末梢,用来感知和采集应用环境中的各种数据。
包括温度、湿度、速度、位置、震动、压力、流量、气体等各种各样的传感器。
灵敏度和精度高,功耗低,可以无线传输是对传感层的要求。
网络层相当于人的神经系统,用来传输数据。
包括各种各样的无线通讯技术和标准,比如Zigbee/BLE/Wifi/NFC/RFID/LTE等。
低功耗,广域覆盖,更多连接是无线网络的发展方向。
目前新的通讯技术和标准NB-IoT,LoRa,eLTE-IoT都是往这个方向努力。
未来的5G会取代目前很多的无线通讯技术,一统江湖。
应用层相当于人的大脑指示和反应,通过指令反向控制输出。
如设备管理,环境监测,工业控制等。
三、应用
1.Example1:
ofo大数据分析
如上我提到的,ofo小黄车联合交通部科学研究院对外发布《2017年第一季度中国主要城市骑行报告》,这是中国首个全面、专业的对主要城市共享单车骑行情况做的集中梳理和数据研究,对透视我国城市慢行交通发展现状、追踪共享单车行业发展、推动智能绿色城市建设事业起到参考作用。
ofo大数据具有三个层面的价值。
在数据运营层面,大数据可以更高效地驱动公司业务,通过智能化的运营让出行变得更为便捷;
在数据共享层面,ofo可向行业共享出行大数据,一同用大数据改变未来城市的出行与生活;
在物联网数据的层面,ofo的数百万辆单车可以通过大数据平台进行联通,产生类似于智慧大脑的有机体,让共享单车为未来城市生活带来更大的想象空间。
ofo可以在每一个很小的地方标记出供需关系,绿点就是供给较为平衡,红点就是供给不足。
ofo可根据这些实时大数据形成一个预估,实时给到线下运营团队,及时调动附近车辆往红点移动,保证需求大地区的用户也都有车可用,最大程度的满足用户的出行需求。
与此同时,ofo大数据也为线下维护也提供了巨大帮助,让线下运维更加高效。
2.Example2:
交通大数据在城市交通分析方面的应用
先说高德,高德本身是一家地图软件起家的,一家是纯粹的传统测绘企业,高德是中国最早一批获得测绘资质的公司。
开始高德做全国地图数据的采集,然后高德开始是面向行业用户,后来慢慢面向公众服务,包括现在的高德地图几乎是在手机终端上最常用的几种导航软件之一。
因为高德为公众提供导航服务的话就离不开对交通信息数据的使用。
高德开始从事交通信息比较早,在2007年的时候就开始投入资源,来做全国交通信息的采集和发布。
当时城市还没有现在这么堵,但是高德发现交通日益成为对公众出行体验影响很大的方面,所以高德就和全国很多大厂商进行合作。
高德采用置换、给买的方式,获取他们包括出租车、物流车GPS的数据。
所以到现在的话,高德基本上已经能够对全国110多个城市,以及全国高速路网发布交通信息。
大家可以看到,高德拿的高德地图打开,基本上全国范围都可以覆盖一些路况,包括高速公路上的拥堵也可以很快的反映出来,全国高速覆盖能力超过90%,高德最近也发布了高德的一些交通报告。
目前所说的大数据主要是针对采集的浮动车回传数据,但是整个高德集体并不止这些数据。
高德包括其他的业务,高德有包括用户的定位,用户的访问以及很多的地图数据,这些都没囊括在内。
但是就高德采用的浮动车数据已经很大了,高德每天会采集数十亿次的GPS的回传,折算成公里程大概是100亿公里的里程。
高德现在的数据来源主要分成两种,一种是手机终端导航的回传,还有一种是高德以前采购的一些行业出租车,包括物流车辆的一些数据。
GPS点有三个字段组成:
时间、经度、纬度。
高德数据的组成分为两个大类:
第一,公众数据,也就是高德从用户身上拿到的数据,这里面分为两个来源:
第一,手机地图APP的导航回传;
第二,车载导航设备给高德传回的GPS点,目前这两类占到54%。
第二,行业数据,行业数据通过置换和购买的方式主要是出租车数据,高德大概有全国80%以上的出租车的数据,还有一部分是物流车和长途客车。
90%以上的车辆都会实时向高德回传他们的GPS信息,每月有100亿公里驾驶历程覆盖,70多万件交通事件向高德上报。
高德对全国的高速路网进行交通信息的发布,高速路高德可以发布90%,主干路可以发布50%以上。
拿到这些数据以后高德处理的流程遵循这样一个逻辑:
最基础的格式是GPS点,这个点跟普通的定位点不一样,一般每隔几秒钟、一分钟,它是连续的点的序列的信息,能够完整的复现一个用户出行的轨迹。
高德从这些点中做一些切分,得到具有明确的出发地和目的地的轨迹,基于此,高德根据拥有的地图数据把他匹配到地图上,再做一些数据挖掘方面的研究。
对于高德一个依赖于交通大数据运营的企业,做到这些是不够的。
前面有很多朋友抱怨获得数据是非常困难的事情,这件事情在高德这边并不困难,高德困难的是怎么样管理数据。
管理数据在我看来可以分为四个部分:
存储、运营、挖掘、应用。
如果用武功来比的话,挖掘和应用是一个招式。
更重要的是存储和运营,这是内功方面的修为。
GPS回传数据是高德最重要的数据,高德内部搭建一个实时处理的系统,把这些分布式消息列队,高德会把这些数据拿到做实时的处理,计算每条道路当前速度信息,结合道路等级发布他的拥堵状态,这是高德核心产品。
高德还会把离线的数据导入到高德的平台。
高德现在也会把数据传到阿里云的平台上,包括ODPS和其他的数据处理系统。
高德还会对这些东西做一个实时的评测和监控,这对于高德保证数据的管理和质量是非常重要的。
下面讲一下存储和运营。
最主要对实时数据的管理和监控,首先你要监控你的数据的量是不是发生最大的变化,一旦有异常就报警。
你要保证你核心产品发布的路况信息的准确性,如果用传统方式来看,你只能开一辆车到路上,看是不是堵,跟高德发布的信息比较,这种方式成本非常高。
高德内部开发了一个自己的自动化评测的系统,它通过挑选一些非常可信的GPS回传的终端样本,通过经过道路的状态和高德发布的状态做一个比较和自我校验,如果不一样的话,高德会自动的报警。
怎么样能够快速的响应用户的抱怨,迅速的定位问题,并修复问题,这是一个非常大的考验。
因为高德每两分钟就会发布一个全国路网交通信息情况,两分钟大概会有六七十万条的记录,你要达到实时的检索是很困难的事情。
通过设计出一套非常复杂的索引技术,基于HBase搭建一个系统,比如说某个客户说高德哪条路报的不对。
高德选中这条路,绿色的格子标注的是他的速度,红色的是状态。
右侧就会复现所有经过这个道路原始数据的情况,从这个地方来看,是高德的算法有问题,还是高德在去噪的过程中有不好的噪点没有去掉,导致高德交通信息发布的错误。
因为这个数据部门运营的人数就和高德研发部门的人数是一样的,说明了高德公司对这个问题的重视程度。
在这里附上“2016年度中国主要城市公共交通大数据分析报告”
国外——
1..制作事故地图,锁定事故多发区各类组织结构基于公开的公共交通及事故统计信息,制作出智能的事故地图,从而发现一座城市的“事故多发区”。
例如,以下这张地图标记了了德克萨斯州发生致命交通事故的地点,并根据事故原因进行分类。
研究这类地图有助于城市规划者了解哪些特征对道路安全至关重要,哪些地区需要改进,并可能有助于指导当地执法部门更好地为社区服务。
该地图清晰展现不同交通事故性质进行分类并在地图上标注。
2.实现座位共享和GPS的应用程序分析Uber、Lyft这类共享服务在生活中很常见,GPS和谷歌地图之类的应用也是如此。
公司利用这些数据帮助他们更好地为客户服务,将司机分配到新地点,调整价格和提供改进的服务。
然而,这些数据也可以用于为城市中的司机绘制“均衡”目的地、速度以及交通等信息。
这些信息可以被用来“理解”城市内的交通模式,并改善交通堵塞。
3..优化公共交通大约74%的美国人支持公共交通的支出,但是只有5%的美国人真正使用了公共交通工具。
这是为什么呢?
大多数人意识到公共交通系统的好处,但是诸如体验感、实用性和效率等因素阻碍了他们对它的实际使用。
反之,低使用率使政府不再在公共交通中投入更多的资金。
这是一个恶性循环,但这可能是可以解决的。
但这要凭借对“如何使用公共交通工具”的数据收集上。
更好的路线、更有效的交通工具和更加便捷的出行正是一个开端。
4..半自动和自动化的交通工具
像Waymo和Uber这样的科技公司,以及特斯拉和福特等汽车制造商,都竞相在市场上推出第一辆无人驾驶汽车。
这些无人驾驶汽车需要依赖于大量的内部数据,包括地图以及正确的驾驶程序的算法。
但是一旦它们被公开发布,每年将会创造出更多的数据,甚至达到2千兆字节。
这些数据会帮助工程师们创建更安全的自动驾驶汽车设计,并创造一个可响应的网络系统,在这个网络系统中,单个车辆可以“相互交谈”,交换有关其环境的信息。
这对于防止在危险环境中发生的事故尤为重要,比如暴雨或下雪。
5.重新评估变量:
车道越窄越安全?
高德对引起事故的原因做出了很多假设,但是这些假设不总是正确的。
对大数据的仔细检查能够挑战高德的假设,并准确地计算出特定的交通特点是如何安全或是不安全的。
例如,世界资源研究所最近的一项研究表明,车道宽度和安全性之间有一个“最有效点”。
3.Example3:
贵州省防汛抗旱指挥决策系统
贵州省水利厅在水利信息化建设过程中,与防汛密切相关的信息化系统主要有防汛指挥系统、山洪灾害监测预警系统、水文中小河流监测系统及水资源监控系统等,目前各个业务系统多由各个业务部门自主牵头建设,系统以“纵向建设”为主,缺少“横向协同”,“条强块弱”的现象严重,信息资源由各个管理部门分别管理,“信息孤岛”现象较为普遍,难以统一管理和利用,阻碍了贵州省水利信息化发展和业务应用水平的进一步提升,目前的防汛抗旱指挥决策支撑平台亟需升级改造。
同时,在防汛抗旱指挥系统中,其数据来源广,分别有水雨情数据、工情数据、气象数据、水利普查数据、山洪灾害数据、基础资料、测量数据、外系统成果数据等;
数据类型丰富,即有结构化数据,同时又有文档、图片、视频等非结构化数据;
数据及计算量大,系统需要对全省范围进行大中型水库、重点小一型水库、重点防洪城镇进行洪水分析;
实时性要求高,系统要在三维地图平台上对各类数据信息进行集成展示和联动交互查询,并要有较高的响应速度和图形化展示界面。
面对这样的形势,在本次升级改造中,传统的信息化手段已难彻底解决以上的问题和技术难点,只有运用大数据云技术才可以有效地管理这些数据,充分发现数据中蕴含的信息,提升数据价值,使指挥系统能够为防洪抗旱决策提供更有力的依据和支撑。
所谓处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产(来自维基百科),具有数据采集、存储、计算量大,数据增长和处理速度快,时效性要求高,数据种类和来源多样化,以及数据价值密度相对较低等4V(Volume,Velocity,Variety,Value)特征,防汛抗旱指挥系统的数据完全契合这些特征。
防汛抗旱指挥决策支撑平台总体架构
四、未来
1.马云:
云计算、大数据、人工智能,未来三十年会成基本公共服务
“未来三十年,云计算、大数据、人工智能,都会成为基本的公共服务,各行各业都会经受巨大的变化。
”阿里巴巴董事局主席马云18日出席2016中国保险业发展年会时表示,“物流业、制造业、服务业、金融业、教育,所有的行业,在这场技术革命之下改变是不可避免的。
”
在马云看来,零售业的变革只是浪潮的开始,这个浪潮不是电子商务代替零售,而是未来没有电子商务,一切零售都是线上线下的融合。
在谈及保险时马云指出,未来保险要从主要依赖销售,转向依赖从头到尾的动态大数据风控。
我很钦佩保险公司有几十万上百万的人力团队,但任何一场技术革命,都是从团队组织的变革而来。
保险公司的核心人员未来是大数据工程师。
他分析,如果今天保险业重视的是销售端,未来是走向确保防止风险发生的前端能力,对灾难的预防、处理,技术和服务的提升,风险的防控,这些才是保险业的核心能力。
互联网是接触用户、了解用户的界面,互联网是来帮助你了解你的用户到底需要什么,是你跟客户直接交流的平台。
2.马化腾:
未来的互联网是在云端用人工智能方式处理大数据
腾讯为什么要做云?
1、腾讯从5年前开始提倡开放战略,1年半以前提倡互联网+战略,腾讯的整个趋势都在向云的方向走。
以前同合作伙伴的关系是把账户、支付能力等等开放给合作伙伴,而这些其实都是云的能力。
越来越多的企业在互联网+的领域有很多空间开放云的能力。
2、互联网的发展中,分享经济的发展和“云”的发展息息相关、方向一致。
分享经济中发展较为靠前的一些领域,比如交通出行、房屋、快递等,其核心模式就是把生产力云端化,把社会中的资源通过云端共享。
互联网企业分工也在逐步精细化。
马化腾表示,每个企业都不可能是万能的,未来的趋势都是往生态化方向走。
每个企业都在往很薄但是很广的方向上发挥优势,同时在上下游进行合作。
他以腾讯上个月收购的芬兰游戏提供商Supercell为例,阐述了企业社会化分工和云端生产所能达到的生产效率的优势。
3、马化腾还认为,未来大部分的科技创新都会用云的方式来体现。
不管是地理位置信息LBS,还是人工智能、物联网、无人驾驶也好,后台核心都是云端的大脑。
未来互联网行业就是利用人工智能在云端处理大数据。
3.李彦宏:
大数据、云计算和人工智能“三位一体”
“人工智能技术其实是一个非常广泛的技术,它不仅涵盖了语音识别、图像识别、自然语言理解、用户画像,它其实越来越和大数据、云计算的界限在变得模糊。
”在当天的发布会上,李彦宏这样描述人工智能、大数据、云计算的关系。
三者的联系确实非常紧密。
人工智能之所以历经这么多年后才于近年大红大紫,原因归根于2006年出现的人工智能关键技术——“深度学习”,人工智能至此才有了实用价值,而深度学习正式在云计算和大数据日趋成熟的背景下才取得的实质性进展。
李彦宏曾在今年5月的大数据产业峰会上指出,2006年之所以是人工智能的一个拐点,因为数据量越来越大,计算能力越来越强,过去不实用的,到2006年逐步进入了实用阶段。
这意味着,在通往人工智能的路上,两个不可或缺的角色:
大数据、云计算,三者几乎是“铁三角”的关系。
4.刘强东:
技术京东的3大核心:
云计算、AI、大数据
“时代正在发生剧烈变化,在未来十年,科技进步的速度对人类、对企业产生的影响,将超过过去100年,并且会更加剧烈、更加快速。
对每一个人、每家公司、每个企业,甚至是学校、非政府组织,可能都会产生巨大的改变。
而云计算、大数据、人工智能也将会成为未来几年内蓬勃发展的基础性关键技术。
云计算已经成为一种社会化的基础设施,大数据则会被更深入地挖掘和应用,“云计算和大数据对每个企业都将发生关键的影响。
对于人工智能的发展,刘强东表示人工智能不仅仅可以打败全世界最好的棋手,在所有人类已知的领域里面,只要假以时日,只要给人工智能足够的数据,足够的培训,随着CPU、GPU的发展,人工智能在80-90%的领域都可以替代人类。
随着人工智能和机器人的联合发展,机器人将会像人一样行走、思考,甚至做自己从来没有做过的工作,不依赖于编程和控制。
而未来所有商品都将是智能的联网的,随着智能商品的不断发展,它对人们的生活、工作、商业以及社会的治理都将发生巨大的改变。
5.未来最赚钱的四大行业:
云计算、大数据、虚拟现实、人工智能
回顾历史的长河,全球经济的发展一直是由生产力和生产关系的相互作用推动。
从发明蒸汽机、发电机、计算机,再到因特网的广泛应用,新的科技浪潮一直主导着生产力和生产关系的大调整,并不断涌现出新的产业,促进社会进步。
十年前,全球市值前10名主要还集中在能源、金融等传统产业。
现在,已经被苹果、谷歌、亚马逊、谷歌等高科技与互联网企业占据半壁江山。
十年前企业全球市值TOP10
当前企业全球市值TOP10
一、云计算
企业向云端迁移是大势所趋。
可以看到:
1)公有云和私有云市场增长依然齐头并进,不是零和博弈;
2)IaaS层面:
拥有多元化的商业应用生态圈越来越重要,如亚马逊、谷歌、微软等;
3)SaaS层面:
主要集中在人力资源、OA、CRM、市场营销、B2B大宗商品采购等领域,如SalesForce、Sap、Oracle等;
4)PaaS层面:
没有出现独立巨头,未来更可能由IaaS巨头向上或SaaS巨头向下延伸。
国内云计算市场还处在萌芽期,市场蛋糕正变得越来越诱人。
二、大数据
大数据行业的融资总额2013-2015年分别为8亿美金、15.4亿美金及20亿美金;
2013-2015年融资事件分别为10起、42起及超过50起。
“大数据+”已经渗透到几乎所有行业,如“大数据+零售”、“大数据+医疗”、“大数据+房地产”等等。
三、虚拟现实
目前全球虚拟现实行业经过近百年的发展仍处于早期起步阶段,供应链及各类配套设施还在摸索。
然而虚拟现实的发展前景引人想象,具备广泛的应用空间,如游戏、影视、教育、体育、星际探索、医疗等等。
当前各大咨询机构均看好虚拟现实在未来5年将实现超高速增长,爆发近在咫尺。
四、人工智能
根据预测,2024年人工智能市场规模将增长至111亿美元。
初步的技术积累和数据积累已经在过去有了比较显著的规模效应,因而人工智能重塑各行各业的大潮即将来袭,并引发新一轮IT设备投资。
未来3-5年智能化大潮将带来万亿级市场。
五、焦化行业未来发展及大数据+云计算的运用
1.国家推进鼓励
未完待续……
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ABCAI+Big Data+Cloud Copmuinting+IOT ABCAI Big Data Cloud Copmuinting IOT