景区云数据中心建设实施方案文档格式.docx
- 文档编号:22753279
- 上传时间:2023-02-05
- 格式:DOCX
- 页数:48
- 大小:1.92MB
景区云数据中心建设实施方案文档格式.docx
《景区云数据中心建设实施方案文档格式.docx》由会员分享,可在线阅读,更多相关《景区云数据中心建设实施方案文档格式.docx(48页珍藏版)》请在冰豆网上搜索。
系统建设要符合用户对信息安全管理的要求,建立完善可靠的安全保障体系,对非法入侵、非法攻击和网络计算机病毒应具有很强的防范能力,确保系统具有严格的身份认证功能,并有相应的技术手段对数据安全和操作安全加以保护,严格杜绝对数据的非法操作,杜绝数据丢失、外泄。
4)易使用性:
主要体现在两个方面:
一是应用界面简捷、直观,尽量减少菜单的层次和不必要的点击过程,使用户在使用时一目了然,便于快速掌握系统操作方法,特别是要符合工作人员的思维方式和工作习惯,方便非计算机专业人员的使用;
二是应提供联机的或脱机的帮助手段。
5)开放性:
为了使系统具有较强的生命力和开放性,应遵循已有的国际标准和国内标准,以利于采用多种先进技术和产品。
6)可扩展性:
系统是一个不断发展中的应用系统,在系统设计时要考虑到新技术,新产品出现时对本系统的兼容性;
当业务需求、外部环境发生变化时,可以扩展系统的功能和性能。
软件设计要简明,各功能模块间的耦合度小,以适应业务发展需要,便于系统的继承和扩展。
7)可维护性:
系统应具有良好的结构,各个部分应有明确和完整的定义,使得局部的修改不影响全局和其他部分的结构和运行。
1.3项目特点
该项目具有以下特点:
1.3.1全局性特点
景区需要对信息化项目进行全局性考虑,不仅要结合国家、省、市发展规划,还要对辖区内各级部门和行业进行统筹管理,需要将现代通信技术、物联网技术、计算机技术、传感器技术等融入传统景区导览、景观照明、公共卫生等多个领域,成为智慧城市的有机组成部分,应用城市传感器、各类通信技术等,将景区中的部件串联起来,形成物联网,为未来智慧城市和城市大脑采集海量感知信息,利用计算机等信息处理技术对海量感知信息进行处理和分析,对包括民生、环境、公共安全等在内的各种需求做出智能化响应和智能化决策支持,实现景区综合服务的能力提升。
对信息资源统一梳理,建立景区发展与改革信息标准资源库和数据规范,消灭“信息孤岛”,加快推进数据资源整合,建设共享共用的云数据中心,实现业务协同。
1.3.2行业性特点
景区内有诸多条块,如景区导览、游船、市政市容、绿化、文物遗产、博物馆等,行业应用具有专业性和非通用性,但都需要云数据中心来支撑,这些行业型应用及其支撑平台对云数据中心同样有高效性、高可靠性等需求,因此需要明确总体目标和阶段性任务,科学规划建设项目,以用户为中心,以需求为导向,以服务为目的,突出重点,注重实效,加强平台可用性和易用性。
深入了解用户需求,密切跟踪信息技术发展趋势,不断深化应用、拓展新技术在应用中的广度和深度,促进跨界融合,丰富管理和服务手段。
1.3.3资源性特点
作为世界闻名的旅游目的地,景区具有浓郁的文化底蕴,如何利用景区资源,树立品牌形象,利用技术创新增强游客体验,将是今后需要重点考虑的问题。
除了树立景区品牌自身口碑外还需要结合旅游目的地的口碑,形成一种相对广域的联动品牌效应,发挥龙头作用。
景区已进入后门票时代,这种模式无论是利用自身丰富资源的IP开发还是文化的传播和品牌的推广,其中的核心都应与“创意”密不可分。
景区资源的内容所涵盖的范围非常广泛,景区在做好旅游六要素“吃、住、行、游、购、娱”的基础上,活用旅游新六要素“商、养、学、闲、情、奇”做好创新业态的开发与运营,找到适合自己的内容加以植入或者提升,既要做到“唯一”,又要力求优质。
1.4技术要求
1.4.1以“城市大脑”框架为基础
参照当前云数据平台的先进架构,以“城市大脑”框架为基础,搭建景区云数据中心,通过数据中台的中枢海量数据处理与服务能力,向城市大脑传送相关数据,共享城市数据大脑计算、数据、算法能力,实现全域一个“大脑”指挥下的分工协作、联动发展模式,满足未来几年景区数字化转型的需求。
1.4.2以数据汇聚和共享平台为基座
搭建云数据中心的数据汇聚与共享平台,作为云数据中心的数据基座,为景区行业系统、公众数据开放提供全量、即时数据。
通过采集并整合各部门信息系统的相关数据,建立景区主题数据域,各部门可以及时、方便的相互获取与当前业务密切相关的其他部门共享的业务信息资源,以实现政府部门之间的互联互通、资源共享及跨部门的业务协同。
1.4.3以创新智慧应用为组成部分
“一张图”应用、多维度数据分析(人流、车流、资金流)、和对讲系统作为云数据中心的应用组成部分,提供具体业务功能。
通过云数据中心的数据中台支撑能力,对各类多元异构的数据进行关联分析、建模分析,实现数据应用、智能报表、综合指挥,最大限度的提升景区运营与管理服务水平。
1.4.4以大数据、人工智能等先进技术为手段
通过云数据中心资源归集与应用系统建设,构建景区数据资源平台,实现景区统一指挥调度,为景区数字化管理提供基础条件。
基于景区各单位业务领域信息资源聚合开发,对信息数据进行高效发掘、科学分析研判,提供科学、合理、有效的辅助管理决策方案,为领导者提供切实可靠的决策辅助参考。
借助大数据、人工智能等技术手段,为景区数字化运营奠定良好基础。
2、项目功能实现
2.1需求分析
改革开放以来,我国旅游业快速发展,产业规模不断扩大,在国民经济中占有越来越重要的地位。
在旅游业大力发展的趋势下,景区资源保护和管理压力日益增大,加之很多风景景区自身“造血”能力有限,致使景区的管理、规划、运营等工作面临巨大挑战。
根据景区云数据中心项目要求和实施内容,建设云数据中心,建成后,将为景区(局、委)提供全域数据资源共享服务,通过对已建、待建业务系统的统一规划,形成标准化的数据规范体系,逐步实现与城市大脑无缝对接的景区中枢平台。
本期云数据中心项目建设内容主要包括:
建设数据中台和物联网平台基础;
基于景区“一张图”和指挥中心实现数字指挥调度应用平台;
基于物联网平台实现部分物联网试点应用;
归集已有数据资源,实现部分数据应用分析展示成果。
云数据中心融合大数据、云计算、物联网等技术,进一步实现景区数据管理、设施安全监测、资产管理和业务管理等功能及数据、网络、设备信息的管理和维护,并符合“城市大脑”的接入要求。
数字景区,是政府数字化转型的重要组成部分。
通过对景区的信息化改造,实现对动态人流采集、文物遗产监测、智慧旅游服务、“最多跑一次”服务等深化改革实现景区资源综合利用的大数据管理平台。
景区云数据中心未来将是智慧城市重要的信息采集来源,也是智慧城市的一个重要组成部分和重要入口,最终实现城市智慧化和旅游服务能力的提升。
1、数据中台
景区数据中台为景区(局、委)提供统一数据分析与应用平台,要求投标人提供成熟的数据中台产品支撑云数据中心项目建设需求。
产品需采用先进的底层技术,具备开放的体系架构,提供实时/离线计算框架,简洁易用的开发环境和平台接口,可支撑数据仓库、机器学习及更多应用的构建;
最大化的发现与分析数据价值,实现数据应用的完整闭环。
数据中台产品主要功能包括:
数据计算引擎、数据开发套件、数据治理套件、数据应用引擎、数据可视化引擎。
2、物联网平台
建设统一物联网运维管理平台,实现大范围物联网的互联和数据共享。
通过信息化手段实现对智慧灯杆集成的传感器工作运行状态数据进行实时、动态地采集、监测、统计,感知和接入城市的各类信息,在云端平台形成智慧城市所需的各种大数据,这些数据可与政府内部的交通系统、警务管理系统、市政管理系统等进行交互,为未来智慧城市的大数据应用提供多种数据支持。
同时,实现设备运行故障的自动报警以及故障自动派单和设备资产的管理、统计,通过本次新建的城市物联网管理平台,规范、完善现有运维管理流程,建立标准、有序、先进的管理体系。
物联网平台主要功能包括感知接入、资产管理和设备管理等。
3、业务应用系统
1.数字指挥调度平台
构建统一指挥调度平台,为景区面上秩序管理、山林防火、水域执法等人员配置相关设备,利用公网对讲方式接入移动终端,全面实现数字化对讲功能。
基于景区“一张图”展示人员定位和行动轨迹,满足指挥中心对人员的管理与调度需求,通过景区“一张图”展示景区部件、监控设备、招商物业等信息,真正实现指挥中心的统一指挥调度功能。
景区“一张图”主要是对各类景区资源空间数据进行集中管理,具备各类图形空间数据和属性数据的建库、查询、分析、维护和更新等功能,以一种合适的科学的方式将各种格式、各种来源的数据组织起来,形成一种具有较好可视化效果的数据表现方式,真正实现景区信息的资源整合、管理与服务。
2.物联网试点应用
(1)智慧厕所
基于物联网平台实现景区试点指挥厕所的应用系统,智慧厕所应用系统解决景区生态环保需求,达到生态性、智慧性和节约能耗的目的。
(2)智慧园区
利用LoRa/LoRaWAN等网络服务,将传感器植入园区,组建物联网感知网络,通过一系列感知应用,融通数据。
依托物联网平台,做到科学、及时的园区管理服务,实现园区所有资源合理及有效利用,为能耗节约提供量化分析,打造数字化和可视化的智慧园区。
4、数据分析应用
本期云数据中心项目主要针对已有数据资源进行分析展示,基于数据中台归集的应用系统数据资源,利用数据中台进行数据整合加工与建模开发,实现多源数据关联分析与可视化展示,满足景区管理与运营等多方面需求。
1.消费数据
景区消费类数据源包括门禁与统一支付系统,可获取景点门票、游船、游览车、停车场等游客消费数据。
数据中台可接入以上业务系统数据源,同步实时获取消费相关数据,后期可考虑接入景区商户支付消费数据。
通过多源应用系统的数据接入,利用数据中台的数据建模与加工分析能力,最终以统计数据、图形、报表等形式进行发布展现。
统一支付数据分析主要包括:
票务收入分析、游客接待分析、综合监测分析等。
2.最多跑一次数据
基于“一窗受理、集成服务、一次办结”的服务模式创新,整合景区相关数据,包括审批事项、三张清单、基础数据、四平台等业务系统数据源。
通过对接城市大脑最多跑一次全流程数据处理,以数字化管理模式,实现可视化数据分析能力,优化政府部门的行政服务能力,进一步提升景区办事效率,提高景区居民满意度。
3.数据资源综合分析
云数据中心已接入业务系统数据资源情况展示,从不同维度进行数据资源统计分析,包括数据来源、数据容量、数据类型、生命周期等基础信息。
根据数据资源使用情况,进行不同数据主题域的数据使用率、接口调用频次等统计,以可视化大屏或报表形式展示云数据中心的数据吞吐量、运行效率等相关指标。
2.2系统组成
按照景区云数据中心项目要求建立云数据中心,包含数据中台、物联网平台、业务应用系统和数据分析应用。
其中数据中台主要功能包括:
数据计算引擎、数据开发套件、数据治理套件、数据应用引擎、数据可视化引擎;
物联网平台主要功能包括:
感知接入、资产管理和设备管理;
业务应用系统包括数字指挥调度平台和物联网试点应用;
数据分析应用包含消费数据、最多跑一次数据和数据资源综合分析的多源数据关联分析与可视化展示。
图12.2.2系统组成
2.3系统架构
结合该项目以大数据平台为核心,多业务子系统并存的业务需求,以及存在不同种类操作系统、应用软件、系统软件的现状,我们采用面向服务的体系结构,即SOA架构。
SOA是一个组件模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。
接口是采用中立的方式进行定义的,它独立于实现服务的硬件平台、操作系统和编程语言。
这使得构建在这样系统中的服务可以以一种统一和通用的方式进行交互。
它的本质是实现服务和技术的完全分离,从而最大程度上实现服务的集成和重组。
SOA实施是以业务服务为导向的,业务服务独立于技术之上,技术处于从属地位,采用SOA架构的主要优势有:
SOA与平台无关,减少了业务应用及业务子系统整合的限制。
SOA具有低耦合的特点,各个业务子系统对整个业务系统的影响较低,在各个系统不断变化情况下,节省的费用会越来越多。
SOA具有可按模块分阶段进行实施的优势。
可以成功一步再做下一步,将实施造成的冲击减少到最小。
SOA服务交互示意图如下:
图12.2.3-1系统架构图
系统逻辑架构划分为:
基础服务、数据域、数据治理,数据开发和数据应用引擎,制定了面向资源的统一接口,保证系统提供的服务都是解耦的,改善系统的交互性与可重用性,通过引入分层规则层次设计,提高各层次之间的独立性,为整个系统的设置了边界,使服务器资源可以充分利用云计算水平扩展的能力,提高系统的可伸缩性。
基础服务:
包括了整个系统所涉及的集群运维和监测、多租户隔离和多集群管理。
数据域:
将采集数据分成六大域,分别为文物遗产、园林绿化、景区资源、管理服务、指挥调度和商业运营。
数据治理:
数据治理主要包括数据地图、数据模型、数据质量模块。
数据地图支持元数据,数据血缘分析,并和计算任务打通;
数据模型支持原子指标定义,衍生指标定义,数据分层定义,数据建模,模型检测等功能,辅助模型规范和任务开发;
数据质量支持主流的数据引擎,可配置常规稽核规则和自定义规则,数据结果全方位校验,并支持两张表明细自动比对。
数据开发:
提供可视化界面操作方式的大数据开发工具,包括数据同步,数据开发,数据管理,运维中心等模块,提供任务开发和管理、脚本开发和管理、资源管理、函数管理等功能,支持SQL和MapReduce任务开发,具备实时任务调度和调度依赖功能,支持任务多版本管理。
数据应用引擎:
数据应用引擎可支持Oracle,MySQL,SQLServer等主流关系型数据库,提供数据API接口可视化操作生成,并提供接口调用权限审批,接口调用监控等功能。
图12.2.3-2数据中台系统架构
感知层、网络层、平台层和应用层,建设统一物联网平台,通过信息化手段实现对物联网设备工作运行状态数据进行实时、动态地采集、监测、统计,实现设备运行故障的自动报警以及故障自动派单,实现设备资产的管理、统计,改变传统的人工运维管理方式,达到景区精细化管理的目的。
感知层:
感知层由基本的感应器件(例如RFID标签和读写器、各类传感器、摄像头、GPS、二维码标签和识读器等基本标识和传感器件组成)以及感应器组成的网络(例如RFID网络、传感器网络等)两大部分组成。
该层的核心技术包括射频技术、新兴传感技术、无线网络组网技术、现场总线控制技术等,涉及的核心产品包括传感器、电子标签、传感器节点、无线路由器、物联网网关等。
网络层:
包括了支持无线通讯的多种设备,如无线基站、短信网关等,同时也包括了Internet、VPN、LAN等。
通讯层的主要功能是提供数据的透明传输,是终端层与基础平台层的沟通桥梁。
平台层:
包括了整个系统所涉及的服务器、存储设备、系统软件等设施以及处理所产生的结构化和非结构化数据,通过数据工具,对数据进行抽取、转换、清洗和下载,经大数据工具对数据进行存档、整理和应用,并通过计算模型,对数据进行碰撞、比对和挖掘,使用消息总线对有效数据信息进行推送及查询等功能服务,并提供各种业务数据接口,供以后业务开展升级服务。
应用层:
应用层是物联网的信息处理和应用,最终面向各类行业应用,实现应用的决策等,包含园林、绿化、管理、安全等各种场景,将所需数据进行翻译并将结果呈现给用户。
图12.2.3-3物联网系统架构
2.4系统主要功能
2.4.1数据中台
数据中台是各个平台中的基础性和综合性平台,是解决“信息孤岛”、实现数据互连互通的基础设施,有利于提高各类信息资源整合共享,以及信息资源的综合利用。
(1)基本结构
1、数据接入---各类型数据接入;
2、用户数据管理服务---主要指用户账户信息、用户设备信息等;
3、用户应用管理服务---主要指租户用户的各种应用数据;
4、数据安全服务逻辑---平台提供安全可靠的数据服务,提供端到端的加密服务,提供设备数据入库的验证服务,提供设备的安全码验证服务等安全措施以保障平台的数据安全可靠。
5、数据服务业务逻辑---让数据服务于业务,系统通过对客户大量业务数据的分析,总结出该业务的特点,从而为降低成本,加速业务增长,提高利润,为景区突破创新发展提供支撑;
6、大数据平台产品门户网站---提供综合大屏方式展现平台内的数据分析的结果,同时提供平台管理的入口,如设备的管理,人员账户等基础信息的管理。
(2)主要功能
1.数据计算引擎
数据中台采用分布式大数据计算引擎,提供离线和实时计算引擎服务,支持结构化与非结构化数据处理,具备横向扩展能力。
Ø
分布式离线计算引擎:
基于HDFS分布式文件存储系统,支持大数据量分布式计算能力;
计算集群可基于异构硬件资源构建;
至少支持100个计算节点的集群规模。
分布式实时计算引擎:
支持分布式实时计算的系统架构;
支持将关系型数据库内的数据做维表,与流式数据进行Join查询、计算、统计。
2.数据开发工具
(1)数据同步
数据源配置:
主要进行数据源连接信息的新建、编辑、删除,包括例如MySQL、Oracle、SQLServer、PostgreSQL、Hive、HDFS、ElasticSearch、HBase、Redis、MongoDB、FTP等;
支持数据源应用状态记录,已被应用的数据源不可被删除。
同步任务配置与运行:
具备分布式数据同步引擎架构,具备高并发、大吞吐量的特性;
支持可视化配置同步任务,支持选择数据源、数据目标、字段映射等参数配置;
支持整库同步功能,对数据库批量生成同步任务;
支持同步错误比例配置,超过阈值比例时任务报错停止运行。
同步任务运维:
支持同步任务运行状态监控;
支持同步任务执行结果统计,如读取记录数、读取字节数、同步速度、写入记录数、写入字节数等。
脏数据管理:
支持脏数据管理,支持对同步过程中异常的数据自动保存,或存储至指定位置;
支持脏数据表管理,包括表的基本信息查看,支持脏数据产生趋势统计、脏数据产生原因分析。
(2)数据开发
离线任务开发:
支持基于WEB的SQL代码编辑,支持本地CSV、TEXT文件导入;
支持SQL、数据同步、MR(SparkJava)、Python(SparkPython)、虚节点等多种任务类型,用户可构建各种类型的任务来进行数据处理;
支持任务锁,防止多位用户同时编辑一份代码,用户在编辑任务内容时需要先获取锁。
调度与依赖配置:
支持多个任务间上下游依赖配置;
支持单个任务跨周期的自依赖配置与任务调度,支持自依赖、跨周期依赖等多种模式。
任务发布:
支持任务版本记录,发布任务时,支持对SQL代码、同步任务脚本、任务调度、环境参数等各类信息做版本记录,并标注当前版本与历史版本的区别。
资源管理:
支持Jar包、Python等资源的上传、删除、替换;
支持统一资源,不同用户上传的资源可以共享共用。
(3)数据管理
数据资产统计:
对数据概览、项目占用存储、表占用存储等数据资产进行统计。
数据表管理:
支持对表的结构变更操作进行记录,包括表结构变更语句、操作用户、操作时间;
支持对删表操作进行记录,表被删除时依然可以查询删除记录。
数据血缘:
支持表级血缘关系展现,支持沿表级血缘链路的逐层追溯:
支持对数据表相关的任务(包括同步任务)、脚本的相关性分析,将相关任务/脚本列出:
支持字段级血缘关系的呈现,根据血缘链路追寻每一个字段数据的来源和流向。
数据访问权限管理:
项目空间内支持用户自由访问任意数据表,但禁止跨项目空间自由访问;
支持申请权限访问不同项目空间的表数据。
支持授权后的数据访问,支持授权时效性控制,超出时效后权限自动回收。
3.数据治理工具
(1)数据地图
支持将大数据平台内的数据统一展现、统一管理,支持建立数据类目体系;
支持根据类目、表名等进行快速搜索,同时需要支持数据类目的构建和修改;
支持根据用户编写的SQL代码,对表、字段自动建立血缘关系,支持沿血缘链路的逐层追溯;
支持表的生命周期管理,支持建表时显式、隐式指定生命周期,支持生命周期的修改;
支持针对数据表的授权审批管理,一个项目空间内的用户可自由访问本项目空间的表,不同的项目内的表在授权审批的前提下可访问。
(2)数据质量
支持可视化的配置数据质量监控的表、字段以及具体规则,需支持对全表、部分字段建立质量校验规则,支持自定义配置监控规则;
支持对大数据存储系统进行质量校验,支持对分区表进行质量校验,支持对关系型数据库进行数据质量校验;
支持自动化周期性执行校验,用户仅需配置执行的周期、开始时间等信息即可自动运行,支持手动触发执行;
支持统计各监控项最近一段时间的指标波动情况,并以图表化展现。
支持远程调用,支持对监控规则配置远程调用服务,第三方系统可通过接口触发校验任务的执行,用户可将其集成至其他平台。
(3)数据模型
支持模型层级、主题域等多种参数的新增、编辑、删除;
支持对表名
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 景区 数据中心 建设 实施方案