辨析数仓大数据数据中台的实质内附21张架构图.docx
- 文档编号:7420415
- 上传时间:2023-01-23
- 格式:DOCX
- 页数:13
- 大小:513.94KB
辨析数仓大数据数据中台的实质内附21张架构图.docx
《辨析数仓大数据数据中台的实质内附21张架构图.docx》由会员分享,可在线阅读,更多相关《辨析数仓大数据数据中台的实质内附21张架构图.docx(13页珍藏版)》请在冰豆网上搜索。
辨析数仓大数据数据中台的实质内附21张架构图
辨析数仓、大数据■数据中台的实质
本人断断续续从事数据仓库约有五六年经验Z在移动公司前三年是负责数据仓库项目实施,后四年开发搞大数据平台,见证了从传统数据仓库转型到大数据平台的全历程,见证了大数据平台从O到1的全部过程,包括第一个MPP数据集市、第一个Hadoop集群项目、第一个流式数据处理项目,第一个完整的大数据平台的融合和构建,混搭式大数据平台的融合构建,大数据平台的迁移等等,我所经历的大数据平台从规模说大不大说小不小,每天处理数据量将近20T(实时处理月IOT左右),总集群约300台(其中HadoOP节点约200台),总容量约8P,实际使用容量约5P;包括了从数据仓库到大数据平台数据模型的重构,数据模型的拓展;也包括了大数据平台提供各种对内应用的规划,和向外提供大数据应用。
因此对数据仓库和大数据平台的优缺点、各自存在的问题、疑惑、发展方向,也算有一定的认知,包括对新生的数据中台的发展方向Z结合自己过往的经验,谈谈自己的一些想法。
1什么是数据中台?
说实在的,互联网是制造新名词的地方,现在各种新名词层出不穷,顶层的有数字城市、智慧地球、智慧城市、城市大脑;企业层面的有数字化转型、互联网经济,数字经济、数字平台;平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱;技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等,总之是你方唱罢他登场,各种概念满天飞…在比拼新经济的过程中,其实比拼的是流量也就是用户,但流量不等于用户Z用户也不完全等同于流量;有了流量和用户,就等于比拼了对用户的话语权。
各种互联网概念也是如此,单纯从传统的数据仓库或是大数据平台而言,金融或通信运营商在数据治理、数据管理、企业模型、应用效能、高可靠性上做的绝对不比BAT差的,但这些行业有看国企的内敛、同时承担了太多的安全、隐私、稳定要求Z空有用户和数据,却很难对外发挥应有的作用,导致在整个信息技术行业内的话语权不高;互联网公司在对数据使用的灵活性、技术的前瞻性、经济效益的引导性、适度容错方面做的远远超出其他行业,所以行业之间的相互吸收和借鉴也是值得探讨的。
新名词的推出,要被大众所能接受,在背后是要有话语权支撑的,而目的当然只有利益了,也不排除个别技术人员自己美好的想法和初衷。
回到正文,不管怎么说,数据中台这个概念已逐步火了起来,但数据中台是什么?
1、数据中台是聚合和治理跨域数据,将数据抽象封装成服务,提供给前台以业务价值的逻辑概念。
2、数据中台是一套可持续"让企业的数据用起来"的机制,一种战略选择和组织形式Z是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建一套持续不断把数据变成资产并服务于业务的机制。
3、数据中台连接数据前台和后台,突破数据局限,为企业提供更灵活、高效、低成本的数据分析挖掘服务,避免企业为满足具体某部门某种数据分析需求而投放大量高成本、重复性的数据开发成本。
4、数据中台是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。
数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。
5、数据中台,包括平台、工具、数据、组织、流程、规范等一切与企业数据资产如何用起来所相关的。
以上概念是从互联网上搜索并拷贝出来的,总的来说中台也好,数据中台也好,还缺乏一个标准的定义,仅从字面上理解,数据中台是解决如何用好数据的问题,既然是概念,数据中台也被赋予了很多扩大的外延,也上升到了数据的采集、计算、存储、加工和数据治理等方面,这就和传统的大数据平台在功能和作用上产生了很大的重養;而大数据平台又是从数据仓库发展起来的。
那到底这三者的关系是怎么样的呢?
个人认为数据中台就是数据服努化,服努化的核心是数据模型化和服务组件化,服势化的基础是大数据平台。
C<■>f1∏
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策和全局信息共享。
所谓主题:
是指用户使用数据仓库进行决策时所关心的重点方面,如:
收入客户、销售渠道等;所谓面向主题,是指数据仓库内的信息是按主题进行组织的,而不是像业务支撑系统那样是按照业务功能进行组织的。
所谓集成:
是指数据仓库中的信息不是从各个业务系统中简单抽取出来的,而是经过一系列加工、整理和汇总的过程f因此数据仓库中的信息是关于整个企业的一致的全局信息。
所谓随时间变化:
是指数据仓库内的信息并不只是反映企业当前的状态,而是记录了从过去某一时点到当前各个阶段的信息。
通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。
数据仓库的主题建模思想是:
1・面向主题:
采用范式模型理论中的主题划分方法对业务数据进行分类。
2.—致性保证:
采用维度模型理论中的总线结构思想,建立统一的一致性维度表和一致性事实表来保证一致性。
3.数据质量保证:
无论范式建模还是维度建模都非常重视数据质量问题,综合使用两个理论中的方法保证数据质量。
4.效率保证:
合理采取维度退化、变化维、增加冗余等方法,保证数据的计算和查询效率。
中国移动的经营分析系统数据仓库基础数据反映了省级经营分析系统涉及的中国移动核心数据,包括参与人、事件、服务、资源、帐务、营销和财务七大主题域,并依据实体-关系理论,遵照第三范式进行建模。
汇总数据来源于对基础数据中的常用指标数据进行轻量汇总,并对关键业务实体进行标准化处理。
汇总数据服务于信息子层,用以减少数据转换步骤,提高数据提供的效率。
信息子层是经营分析系统加工后的结果数据,通过数据封装服务,对外提供统一的信息视图。
汇总数据逻辑模型体现了基础数据中部分数据的轻度汇总。
汇总数据逻辑模型的设计采用自底而上和自顶向下两种方法相结合,首先将清单等汇总形成清单汇总,然后对应信息子层的数据需求,设计个人客户、集团客户、他网客户等主题的汇总。
信息子层逻辑模型的设计采用自顶向下方法,通过分析数据封装和业务规范的需求,形成基础数据视图(如KPL报表)、个人客户、集团客户、家庭客户、他网客户、产品、渠道、终端、校园客户、垃圾短信客户、网络和营销资源统一视图。
信息子层逻辑模型的设计采用自顶向下方法,通过分析数据封装和业务规范的需求,形成基础数据视图(如KPI、报表)、个人客户、集团客户、家庭客户、他网客户、产品、渠道、终端、校园客户、垃圾短信客户、网络和营销资源统一视图。
数据隼市是?
数据集市将数据仓库中的数据按照不同角度进行组织和存储,主要面向地市分公司或者特定业务部门、特定需求的业务,建立相应的应用专题。
数据集市的特点是数据粒度较粗,数据采取星型或雪花型结构,较少保留历史数据,便于访问分析和快速查询。
数据集市具有面向特定用户群、合理的查询响应时间、便于扩展的特点。
数据集市目前细分为地市数据集市和专业数据集市,其中专业数据集市又分为增值业务数据集市、集团客户数据集市和互联网数据集市。
数据集市通常是数据仓库的子集;它等数据通常来自数据仓库-尽管还可以来自其他来源。
数据集市的数据专门针对特定的
用户社区,以便他们能够快速找到所需的数据。
通常,数据保存在那里用于特定用途,例如财务分析。
数据湖是什么?
数据湖(DataLake)是一个存储企业的各种各样原始数据的大型仓库,其中的数据可供存取、处理、分析及传输。
数据湖是以其自然格式存储的数据的系统或存储库,通常是对象blob或文件。
数据湖通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分析和机器学习等任务的转换数据。
数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化数据(CSV,B志,XMLJSON),非结构化数据(电子邮件Z文档,PDF)和二进制数据(图像,音频,视频)。
如果没做好企业数据模型构建,我个人认为数据湖是懒人数仓。
3大数据平台
大数据平台是什么?
企业级大数据平台实现结构化、半结构化和非结构化数据统一存储计算功能,通过数据封装提供服务功能,提供自助报表工具,面向市场、网络以及企业外部提供服务。
・数据采集中心:
负责采集多样化数据。
・数据计算存储中心:
负责对数据进行加工、转换和汇总等工作,并将数据加载到不同的存储系统中。
・开放共享中心:
统一数据服务接口。
・数据管理中心:
负责系统数据的元数据、数据质量、数据模型和数据安全管理。
・运营管控中心:
负责系统运行任务的编排、调度,以及设备、平台和应用的全景运维监控视图。
随看平台厂家和应用厂家的分离,应用的凸显,为了实现数据价值,以数据应用为中心构建企业数据模型,为实现内外部应用支撑,又建设了开放共享平台,提供数据服务和OPenAPI服务,为了支持多应用厂家协作开发,又提供了多租户管理,安全管理、数据目录管理。
但在构建过程上缺乏标准化,大家看看是不是这就是数据中台的雏形。
3什么是数据中台?
数据中台是数据服务工厂。
数据中台对于业务的价值是"加速从数据到价值的过程f提高企业的响应能力"。
数据中台对是聚合和治理跨域数据,将数据抽象封装成服务,提供给前台以业务价值的逻辑概念。
总结:
数据中台是把生产资料转变为数務生产力的过程--数揺驱动决策、运驚
后文是对数据仓库、大数据平台、数据中台的一些总结性的架构材料,也是对自己这些年来的一些汇总和思考吧,看懂了前面的文字,后面的各种架构图也就无需赘述了。
数据仓库硬件架构数据仓库包括了文件服务器、调度服务器、数据仓库服务器、数据集市服务器、邮件服务器、4A认证服务器、应用服务器、数据备库,后来发展到分布式调度、MPPZ都是一点点演进出来的。
数据仓库功能架构
数据仓库-功能架构
数据仓库技术架构
数据仓库-技术架构
第一个HadooP平台硬件架构每天接入5T上网信令1、小机+数据库计
算存储能力不足2、小机+数据库扩容成本太高3、单机文件采集吞吐量不足
主要是为了解决海量离线数据的计算和存储,在HadOOP集群中实现明细数据、汇总数据存储,在mysql中实现报表数据存储。
HadooP管理和存储集群:
负责海量数据存储和计算分布式文件采集集群:
负责海量数据的文件采集分布式ETL调度集群:
负责海量数据的ETL编排和调度应用服务器:
负责应用系统的构建MySQL服务器:
负责报表层数据的存储。
第一个流式处理平台硬件架构每天接入7T上网信令+5T位置信令1、对信令的实时采集2、对信令的实时计算3、对信令的实时事件捕捉主要是为了解决海量实时数据的流式采集和计算,在HadOoP集群中实现明细数据、汇总数据存储,在mysql中实现报表数据存储;并通过实时事件处理集群实现流式事件的匹配。
Kafka集群:
负责将信令数据或数据库日志数据转入消息队列供下游消费实时事件处理集群:
负责获取消息队列数据,并进行数据实时统计和实时计算实时服务集群:
负责将实时事件数据放入redis缓存中,并结合静态数据进行结果输出。
I大数据平台系统规划
大数据平台规划
ΦV<9
=4 大数据平台规划-硬件规划 大数据平台规划-磁盘规划 ‰f∙a 仙・r*': -r! : >—';*1I? •! r>I*1Trf■∙'l∏1∙*VO∏∙! *•∏l*∣∣•*»''*»: -«•' s2" Cr•迪 LMd厶匚∙∙I*.'<«I∙-∙∙C+衣I J1.WLI辭1IaI..∙11.9Λ∑A―1-Mil^t^ZZl 大数据平台规划-平台软件规划 Rft 109? OktXO) 2∙1∙l∙bcl∙S.C KAWO? 邸 2・&dl∙S∙G TOT 2.e.O-UL3.4 BASE 1.1.3-bcL3.4 Z^o⅛ewx 3.4.5-bcL3.4 IlTe 1.1. SPalk 1.6.2-beL3.4 Eaflci 0.10.l-bcl.3.4 KxaeX O.S.3-bcL3.4 Slg 0.91.O-bcl.3.4 LMF 2・4・R KOC BWXf 2.2.4 畑 2.2.0 Iudm护平台 JnC« j≡ft≡ 2.1.1 W2≡ CMttIE 4.0.0 REDJS 切 3.2.0 HATOn 1.4.22 J≡> ∏JTAP 1.0.0 TOrAT D»? AT to.® TM 1.T.O,8O»64 大数据平台规划-内存库规划 IsS≡≡ 单实側 IP实例 CI C2 □ C4 C5 C6 C7 C8 C9 总计 内存占腮 (G) ImI (G) m(%) 10.200.211.11 8 3 8 4 6 6 2 2 4 8 SI 134 512 06% 10.200.211.12 8 3 8 4 6 6 2 2 4 8 51 134 512 D&% 10.200.211.13 10 8 4 6 6 2 2 4 8 50 136 512 @7% 10.200.211.14 10 8 4 6 6 2 2 4 8 50 136 512 β7⅝ 翔个购计: 36 6 32 16 24 24 8 8 16 32 202 540 2048 β6% 大数据平台规划-内存库规划 大数据平台规划-数据流向规划 WKKItMySQUBatX* aiT丙厦分桥趨门βmoΛwκ∙乂沁BM门 *m序龙hλ⅜xh RΛUtttΛ≡Π.••««»! <«MWe⅞r∙auXjftsWiCllΦ⅛HW'i*t∕maρredu OaeC∙eKM∙B*1I∣B O<*⅞MM∙WBMTB<*»•«) 徐譌辔翩烈: 裟般Sdw祕"税 tftτsιe仔储中心 EWst: J; wf⅛S: 件“ OQSMlIAIrR■旺押mτsΛtΛ⅛MΛΛ∣me: fHMaI 0MU n*xIlTHb <≡: WO K*K≡ΛΛ: KuWIBCHh3d<κφΛ≡itQa 分布式采第及ftfi处理M ≡ζ: l⅛∏orr∙^M⅜l*fN! MJ^X*MfCtt®.分/•MβWlMI期史T"3Wq和eMH作 WWtCt⅛-.*-∙V∙1 大数据平台规划-平台监控规划 Hs<βaai} *-^^∙,tιxT RoMC^t2 CPUftS XEf»出・ 、MRglV IHr^■ I畀左任IWJz,*Λn∣e矗8盖沖 MAWItWtV^Λ≡ HMO9CS化⅜⅝⅜l Hr^nIKBS: 4lHf! >RiafQftUfl CUUIU植入HP•入IHe ⅛¼Xtt≡U⅛λ⅛I-初心仁士些妙植 处・tt≡B*Jil2 矢b京磁 χ⅜tiħ<5iβ∣? yrat-ħ^βn^ι? \上^F¾a⅛ MMttStS.0ttw .如卜: - 大数据平台-技术栈 HTMLthtrrt 共字嗣 HTTP/SOAP.REST/JMS... JStO耐分磁眇薜棗分麵柴) ZOOKeeper{◎旬si®Kg 大数据平台-逻辑部署图 前制艮务鯛应用服务集辞 接口胶务集群 MPPg=W RediS 内存库集群 JStOrm 流式计算鹽 HadooP计算存储輛 调閲及务及 管i≡群 Kafka 消息集群 大数据平台-功能视图 应用中心 开放共■中心 多怕户甘理 WnswttMWXR «1MHfifi: 处∙∏尸 [业WI开崔H貝ILWWitfranam∣^HKWialtXM| 05f»(IM^H» AP! «»»«! 滋站幵成共♦工貝・ βrtttt⅛ Mffii+wmt中心 元”IPrPtl5 m→t∙ttδ力 烷一»11«片倆 髙线计■引驴 烷一业發皈义Hl堂 IMTt计W5I52 CHbSae(T饰fHIVe5;f^MPP^β⅝l⅛ X≡i∣M^∣9! 分≈ΛΓ∑WIS 艺布式文糾》统_>C内存敛JKE) ttΛl⅛0^WEB twβ⅛f仝Wr理 Vħ≡W 烷τ⅛tw⅜e发I 大数据平台-数据流向图 外SpF台 3Z⅛ 大数据平台-硬件架构 大数据平台-总体硬件架构图 大数据平台-Lambda架构和kappa架构 Lambda架构 I数据中台 数据中台整体架构 娶纹L存何淡时J计MΛ≡∏〔呵堵液坊处络櫛化血拟化」L«««11 1⅛ΛW 云平台 IMMIttIIIM«1(M**⅛I××MfltIXXMMEI 结论数据仓库实现了企业数据模型的构建,大数据平台解决了海量、实时数据的计算和存储问题,数据中台要解决什么呢? 数据如何安全的、快速的、最小权限的、且能够溯源的被探测和快速应用的问题。 数据中台不应该被过度的承载平台的计算、存储、加工任务,而是应该放在解决企业逻辑模型的搭建和存储、数据标准的建立、数据目录的梳理、数据安全的界定、数据资产的开放,知识图谱的构建,通过一系列工具、组织、流程、规范,实现数据前台和后台的连接,突破数据局限,为企业提供更灵活、高效、低成本的数据分析挖掘服务,避免企业为满足具体某部门某种数据分析需求而投放大量高成本、重复性的数据开发成本。 厚平台,大中台,小前台;没有基础厚实笨重的大数据平台,是不可能构建数据能力强大、功能强大的数据中台的;没有大数据中台,要迅速搭建小快灵的小前台也只是理想化的。 我想这才是数据中台的初衷。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 辨析 数仓大 数据 实质 21 架构