数据仓库 EDW.docx
- 文档编号:25946754
- 上传时间:2023-06-16
- 格式:DOCX
- 页数:19
- 大小:25.71KB
数据仓库 EDW.docx
《数据仓库 EDW.docx》由会员分享,可在线阅读,更多相关《数据仓库 EDW.docx(19页珍藏版)》请在冰豆网上搜索。
数据仓库EDW
数据中心ODS
随着企业信息化建设的发展,巨大的投资为企业建立了众多的信息系统,以帮助企业进行内外部业务的处理和管理工作。
随着信息系统的增加,各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。
同时随着时间推移,各系统不断沉淀大量的历史数据。
如何打破信息孤岛,充分利用现有的历史数据,为企业提供战略决策的数据支持是各行各业所必需考虑的事情。
为支持企业各项业务的长远发展,不断提高管理水平,建立实现企业数据交换、数据集成的企业级数据中心,并在此基础上初步建设数据管控平台,有效实现数据质量管理,为后续数据线规划的报表管理以及EDW等系统建设奠定基础,为企业提升核心竞争力,优化资源配置、实施有效管控,提高服务水平、科学可待续发展和加速发展奠定良好的基础。
一、系统规划蓝图
二、东南融通的优势
1、关键技术优势
数据交换、数据加工基于统一的调度监控
ETLPLUS、调度引擎
JSI模块封装SHELL、可执行程序、存储过程、Datastage作业等各种作业类型的执行接口?
高扩展性设计,实现ETL、调度监控和硬件的集群
报表工具(BI.OFFICE、其他)
成熟组件支持,文件交换组件,数据加工组件
2、团队优势
BI线条员工超过1200人,覆盖咨询、解决方案、研发、实施各个层面
参与众多的ODS/EDW/BI项目实施
团队彼此配合程度高、统一协调、合作经验丰富
随时进行同行信息共享与交流,及时进行方案提炼
数据仓库EDW
现代商业银行面临着诸多挑战,包括金融改革日益深化的挑战、面临来自外资银行的竞争、银行国际化的发展需要、客户的要求越来越成熟、监管机构对银行的监管越来越严格。
面对这些挑战,要求金融企业对企业经营数据和信息进行充分的掌握和分析,以帮助企业精确掌握企业的经营状况和准确决策。
建立企业级的银行数据仓库是银行业整体信息资产的管理,建立信息资产的运营服务体系,提升信息资产的业务价值。
东南融通投入了大量资源研究银行企业级DW&BI应用体系,如下图所示:
BI.Bank解决方案蓝图,包括以下关键内容:
一、数据仓库战略规划
参照国际银行领先DW&BI体系架构,规划银行企业级DW&BI的技术框架、数据模型、应用框架,结合银行的业务管理改革步伐制定整体实施计划,帮助银行循序渐进地逐步建成企业级DW&BI系统。
二、数据仓库技术平台
数据仓库技术平台,即设计企业级DW&BI的整体技术框架,涵盖数据仓库、ETL、BI前端工具、元数据管理、数据质量管理、系统管理等关键技术的设计与集成。
三、银行数据仓库模型
BI.BankDWM是一套预定的数据模型,描述了数据仓库各个主题域的实现,是对银行全行数据进行整合和组织的工具。
具有良好的完备性、扩展性和先进性。
四、商业智能行业应用
满足个人金融部、公司金融部、计划财务部、风险管理部、信用卡部等各业务部门的日常统计报表、分析报表、管理报表;提供高层领导需要的各类统计指标数据;满足监管机构的报表。
并提供ACRM、绩效考核、平衡计分卡、资产负债管理等应用系统。
五、数据仓库实施方法论
按照结构化的过程管理思想,结合数据仓库系统实施的特点,详细定义了建设一个满足客户需求的DW&BI系统所不可缺少的实施方法和项目管理方法,以降低系统实施的风险和成本,提高系统的可用性、可扩展性、灵活性。
六、数据仓库专业技术服务
LFT拥有一支优秀的BI专业实施服务团队,具备丰富银行经营管理知识和丰富的项目实践经验。
以客户为中心,提供优质、及时、高效的服务,帮助银行实现商业智能技术与先进业务管理模式的整合,提升经营管理的基础平台,为客户提供业务策略分析及优化服务,帮助企业获得市场优势和价值回报。
七、解决方案特点
1、LFTBI.Bank是东南融通大量项目实践经验的积累,能够为银行制度长期的建设规划。
2、提供商业智能应用平台LFTBI.Office,数据整合工具LFTETL-Plus、元数据管理平台LFTMetadata、调度与监控平台LFTDispatch、数据治理平台LFTGovernance。
3、具有大量的基于EDW的BI应用系统建设经验。
4、采用最开发的平台和技术架构。
5、最低的总投资成本。
6、最低的项目实施风险。
数据模型DWM
BI.BankDWM是LFT多年的DW/BI实施过程中积累的最佳实践,并结合国外的最佳模型,在国内多个银行拥有成功案例。
BI.BankDWM用于对企业数据进行整合和组织的工具,是预定义的、面向主题的、可扩展的数据模型,我司投入大量的研发力量不断的对BI.Bank进行更新。
BI.BankDWM保证数据组织独立于业务系统的数据处理逻辑,最大程度的适应银行业务系统的升级和更换,以及新业务的开展。
BI.BankDWM是当前和未来数据的数据集成蓝图,用以建设集成的、稳定的、历史的、面向主题的企业级数据仓库,可以满足不断变化的报表、分析和决策支持的需求。
数据开放服务ADS
随着企业数据中心的建立,企业已经构建了企业级数据视图,但如何快速高效的提供数据服务,真正实现数据资产的价值,已经成为企业面临的一个迫切问题。
一、目标场景
随着市场环境不断变化,企业需要进行动态的经营管理,业务部门需要能够快速的获取各种信息,特别是在如下场景的快速支持:
1.领导召开会议时需要的统计信息
2.业绩考核与经营分析的信息支持
3.时事相关的数据、临时的数据分析
4.外部机构的数据需求
二、服务对象
开放数据服务主要针对以上场景,对以下类型的数据需求提供快速直接的服务:
1.时效性要求很高,需要业务人员和IT人员高效协作
2.很多查询是一次性的,或使用频度不高
3.以明细数据为主,也有部分统计数据
三、解决的问题
开放数据服务既能解决上述的业务问题,同时还解决了企业数据中心建设后的如下问题:
1、建设周期长:
须先建设数据集市,再开发应用。
2、响应成本高:
目前,传统工具开发报表过于复杂,大量IT人员投入到重复性的开发工作。
3、业务人员缺乏主动获取数据的手段:
目前,没有操作简单、界面友好的取数工具。
4、IT与业务缺乏良好的协作平台:
缺乏对数据开放过程的协作管理、应用监控。
开放数据服务是用东南融通展现平台BI.Office构建的,通过灵活报表引擎、图形、Execl/pdf/txt/html导出、透视表、批量物化和透视表等数据开放服务技术,实现自助查询、灵活报表、临时IT需求、临时报表、明细报表、外部数据需求等开放式数据服务。
逻辑架构如下图所示
主数据管理ECIF
一、概述
目前金融企业正在面临前所未有的变革,集中体现在:
业务变化的周期越来越短,客户的个性化要求越来越高。
很多银行迫切需要及时洞察客户,在金融产品和服务都需要完整、全面、及时的客户及其相关产品信息,但由于历史的原因,这些信息分布在银行的多个业务系统,造成了客户信息的分散,无法共享。
东南融通总结多年来在各专业银行数据整合、客户信息管理系统成功案例基础上,参照国际先进经验和模型,专门为区域性金融企业设计的、全面提升银行营销水平的客户信息的整体解决方案,即ECIF(EnterpriseCustomerInformationFacility:
企业级客户信息整合系统)系统解决方案。
二、解决方案特色
1、LFT-ECIF基于整体数据整合的客户信息,在数据的起点实现数据的一致性,有效的避免了某些客户信息产品的数据失真在处理过程中的放大缺陷。
2、融合了元数据、ODS、ECIF、OCRM、ACRM等最新处理技术,实现了以完整信息对营销的全方位支持。
3、可分阶段、分模块的实施过程,最大限度的保护企业原有的投资。
4、架构设计具有高度的可扩展性,不仅能快速适应银行业务发展的需要,而且能通过加深数据挖掘深度来提升企业的经营水平。
三、方案内容
四、系统应用价值
1、为现有应用系统和未来新建的应用系统提供实时的、完整的、共享的、一致的客户信息。
2、推动银行新的业务流程再造
3、建立新的业务规章制度
4、规范客户营销、销售和服务流程,使客户体验更为亲切和方便
5、使银行员工操作更为简洁和高效
6、使内部管控和风险防范更有及时和有力。
元数据管理
东南融通元数据管理平台(BI.MetaManger)主要针对企业在建设数据仓库项目过程中,出现的以下问题:
1、每个工具都提供部分数据仓库结构信息即元数据功能,但没有全局的数据仓库视图;
2、大量存在同一个数据(用户、产品和数据字典)在不同部门或系统中重复出现现象,含义和取值有可能都不同;
3、代码和业务含义保存在某些人的脑子里或私有系统里,得不到共享,对开发和维护系统和理解系统带来天然的屏障;
4、数据质量问题严重,出现数据质量问题后,无有效手段分析和定位问题。
BI.MetaManger有效解决了以上问题,它保证了数据仓库数据的一致性和准确性,为企业进行数据质量管理提供有力支持。
一、端到端的元数据管理
作为真正端到端的元数据管理工具,提供跨工具和应用的企业级的元数据统一视图,提供了清晰定义和分析跟踪业务运作历史数据的实际可行的解决方案。
二、可定制的元模型管理
提供企业数据仓库环境内置的元数据类型支持;支持用户按需定制元模型结构,形成统一的元数据类,特别适合支持业务元数据的管理,同时多样性的类关系管理支持灵活、规范的元数据项关联关系。
三、自动获取和关联元数据
可连接其他软件工具(Oracle、DB2、ESSBASEOLAP、DB2OLAP、PowerCenter、Erwin等)自动获取元数据,保证了元数据的最新、一致、可用、极大减少人工维护工作量。
通过目录映射功能,在元数据采集时,自动映射两个来自数据库、BI工具的元数据。
减少人工映射的工作量。
支持SQL解析功能的元数据获取功能,大大减少已有存储过程或脚本语句等ETL作业的手工整理ETL映射元数据的工作量。
四、强大的分析功能
血统分析 影响分析表 重要程度分析 元数据属性差异分析
元数据关联异常分析 业务线数据流图分析 ETL生命周期分析
五、完整的生命周期和版本管理
系统提供元数据的生命周期管理,发布、删除和状态变更都有严格的流程,并提供了版本管理功能,这些都确保元数据的质量,保证了后续使用元数据系统的权威性和可靠性。
数据质量管理
系统数据质量问题按照问题的来源和具体原因,可以分为信息、技术、流程、管理四个问题域。
1、信息问题域
信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。
产生这部分数据质量问题的原因主要有:
元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。
2、流程问题域
流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节:
3、技术问题域
技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。
数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容。
4、管理问题域
管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题,如人员管理、培训和奖励等方面的措施不当导致的管理缺失。
人员管理所产生的质量问题主要指:
一、Longtop数据质量管理策略
数据质量做为众多业内客户IT建设过程中的普遍问题,其解决及管理之道主要可从以下几方面进行考虑:
逐步提高对于数据的认识
增加信息技术支撑及保障
建立数据质量管理体系
进一步建立并完善管理制度
贯彻数据标准
制定数据质量度量标准
二、数据质量管理产品简介
数据质量产品是东南融通公司在提炼多个数据质量管理实施项目的基础上研发的企业级数据质量管理产品,具有较强的数据质量管理功能,支持对企业数据进行多维度的数据质量检核,具备完善的检核问题的管理流程,产品基于J2EE架构,可以运行在主流的操作系统之上,其存储库支持主流的企业级数据库,产品在多家金融机构已成功实施并得到客户肯定。
三、功能体系
数据标准管理
企业级数据标准是为了规范各类业务系统建设时对业务的统一理解,而对数据的分类以及其中的业务和技术属性进行详细描述,以增强业务部门和技术实施部门对数据定义和使用的一致性。
数据标准的建设不仅包括要定义出一套全行都必需要遵照的在业务和信息技术层面的数据标准,还要将这套数据标准的定义真正地执行、落实到客户的各系统中,并为客户制定全面的数据标准管理流程和今后的管控、维护提供依据。
一、数据标准目标
数据标准的规划、定义和实施是一个复杂、持续、渐进的过程,周期较长,需要根据业务的优先级设定进行分阶段的实施和不断完善,本期数据标准项目的目标是:
1、数据标准实施路线规划
2、基础性数据标准定义框架
3、重要主题的统一业务定义
4、完善的数据标准管理流程
5、前瞻性的标准执行建议
二、数据标准的规划和实施路线图
通过进行业务调研和信息调研,根据设定的优先级和可实施条件(包括数据是否完备等)是否成熟,结合客户的实际情况规划并制定出详细的数据标准实施路线图。
三、数据标准定义
完成数据标准的业务和技术定义工作,确定对数据的业务含义的统一解释以及在应用环境中对数据的统一技术要求。
需涵盖主要的业务主题,并可以根据具体情况在每个主题体现的层次和深度有所侧重,但必须保持完整性,以便能在将来对标准进行扩展和完善。
四、数据标准映射
根据未来重点应用的要求,结合目前应用系统的实际情况,选择最重要的标准定义,从数据层面进行主要源系统或数据仓库的映射。
在此过程中发现的问题和不足可以作为对源业务系统和数据仓库的改进建议的重要输入。
五、数据标准执行
根据标准定义和数据映射的实际情况,提出有针对性的数据标准执行建议,实现数据标准的“落地”。
六、数据标准管理办法
制定全面的数据标准管理的具体工作流程,为今后数据标准的管理、维护提供指导建议。
七、数据标准管理工具
开发支持数据标准的维护和管理平台,支持未来的标准管理工作,作为数据标准化小组成员使用的工具,便于数据标准的维护。
统一报表管理平台
随着银行经营管理体系的不断完善,银行业务的不断拓展以及银行监管的日益严密,需要制作的报表也越来越多,同时生成的频度也越来越高,要求的数据也越来越精确。
而从另一方面而言,银行的规模越来越大,网点分布日益广泛,现有的报表系统业务数据分散、功能单一、界面不够友好,已经无法满足银行经营管理活动的需要。
国内大多数同业银行已建设完成或正在建设全行层面的报表系统。
因此,建立及时、准确、安全、可靠、便捷的报表生成、传播和使用机制是银行的当务之急。
一、技术架构
ODS是综合报表平台的主要数据来源,根据综合报表平台的应用需要,ODS提供加工好的明细数据综合报表平台,经过第三方厂商报表工具如Cognos等的加工和发布,用户最终通过通用展现平台访问报表。
二、报表数据集市
报表数据集市按照不同数据层次存放不同粒度、不同主题的数据模型。
通过多层次报表数据集市的数据存储,大大提高了前端应用访问的效率,用户能方便地实现灵活、动态、快速、多角度、多层次地分析业务报表数据。
三、前端展现平台
前端展现平台主要利用第三方厂商报表工具的功能进行报表、查询、KPI的展现,同时支持主动集成其他应用的服务和被动整合应用的服务。
第三方厂商报表工具是比较优秀的前端展现工具,能够支持多种的展现形式。
四、报表系统开发平台
利用第三方厂商报表工具自带的开发环境ReportStudio、QueryStudio和Transformer进行报表、查询和多维分析的开发。
同时我们根据多年第三方厂商报表工具使用经验,进行第三方厂商报表工具配套组件的开发,如自动化组件,它可以根据客户在Excel定义的模板自动生成MDL的Cube定义文件,从而大大提高第三方厂商报表工具OLAP的开发效率,有效的降低了第三方厂商报表工具开发技术门槛;再如应用功能组件,它可以进行第三方厂商报表工具代码封装进行某种特定应用功能的实现。
这些都大大的增强第三方厂商报表工具开发效率和进度,提高第三方厂商报表工具开发的质量。
五、报表系统管理平台
由于第三方厂商报表工具本身是前端展现平台和前端开发平台,本身对于报表管理的功能较弱。
基于我们在多个客户中实施经验,我们认为统一报表管理平台对于综合报表平台来说非常重要,他对于提升银行报表管理水平是大有帮助的。
主要包括有:
报表上报审核管理、报表使用统计分析和报表检索服务。
六、数据加工平台
数据抽取、转换和加载是将数据从综合报表平台提供的数据整合到报表数据集市的过程。
ETL平台主要包括的功能有:
调度功能、作业封装、事件管理、资源管理及ETL自动化。
七、系统运维管理平台
综合报表平台运维管理平台,是在系统上线后,为了保持系统良好的稳定性而开发实施的IT平台。
运维管理主要是针对报表数据集市、数据加工平台进行管理,面向的最终用户是IT人员。
主要功能包括:
监控、备份、恢复、安全和异常处理。
八、通用展现平台
在一个统一的B/S架构下,基于通用展现平台,实现用户统一的登录、认证和授权,实现用户统一的前端访问平台。
综合报表平台未来将实现业务报表,另外,综合报表平台还包括工作台、公告发布、数据补录、访问统计、平台监控等功能,实现人员角色和功能的集成管理,极大的方便最终用户的操作。
九、功能设计
报表系统功能如图所示:
信用卡分析管理
我们为银行卡中心提供一整套从底层数据平台搭建、业务数据分析应用、数据挖掘应用、策略管理应用到综合的市场营销管理、账户管理等一系列的项目实施及咨询服务。
具体如下图:
一、数据平台领域
我们建设信用卡数据平台是按照信用卡数据集市模型CCM来整合银行信用卡业务的方方面面的数据,所有相关的信息均在FDM模型进行存储。
目前我们BI.BankCCM数据模型涉及10个主题、500+个实体、2000+个属性。
以下是我们CCM中FDM主题域划分:
二、业务分析领域
我们提供信用卡管理业务分析体系功能,如:
市场概貌性分析
客户管理与分析
渠道管理
精准营销
风险概貌性分析
资产管理
额度管理
绩效管理
灵活查询平台
灵活查询平台是东南融通公司最新研发的面向关系数据库的BI前端工具。
它提供了强大的语义层定义和管理能力、灵活的查询和分析能力、丰富的报表展现和完善的门户(Portal)管理能力,并且部署简便,为企业级数据分析提供了高性能、高效率的灵活查询报表系统解决方案。
1、允许企业建立详细和易于理解的可视化查询对象,以帮助报表设计者和最终用户可以快速访问到他们所需的信息。
2、采用Ajax技术开发,用户在Web浏览器中能够直接拖拽业务对象,不用写SQL语句,就能够生成灵活的查询和分析,构建查询即方便又灵活。
3、集数据源管理、语义层定义和查询分析以及Portal展现于一身,并通过安全可靠的权限管理机制来控制不同用户的数据权限及操作权限。
4、使项目开发及维护的过程都更加轻松,易于和任何第三方系统进行整合。
一、强大的语义层管理
灵活查询平台通过语义层定义,将数据库中的表和字段,按业务主题重组为面向用户的业务对象。
业务对象通常有多个属性,业务对象的属性由数据库中的表、字段、连接以及多字段运算的结果构成。
在项目开发阶段,通过语义层定义之后,当有新的报表开发需求时,只需要重新定义业务查询即可,大大节约了开发成本和新增开发人员熟悉项目的时间。
快速的业务查询定制?
1、可视化查询定义
可视化查询是对经过语义层封装后的业务对象进行操作、建立各种查询。
根据业务需要,业务人员通过简单的界面拖拽操作,可以灵活地定制可视化查询以实现各种数据处理逻辑。
可视化查询之间可以互相嵌套,以实现可视化查询的复用。
2、传统查询定义
业务查询也支持通过传统的SQL查询和存储过程查询来实现。
二、灵活的分析报表
1、表格分析
分析报表通过一个业务查询直接生成,浏览业务查询生成的结果以表格形式展现。
2、图形分析
灵活查询平台提供柱图、线图、饼图、堆积图、双Y轴、仪表盘等图形分析方法,图形具备形象、动态的视觉效果,帮助用户更加直观、更加快速的把握表格中的有用信息。
3、分析跳转
分析跳转功能允许用户建立一个报表链接,将多个报表关联起来,实现从一个报表跳转到另一个报表。
4、告警
告警功能可实现对关键信息的实时监控,帮助用户及时发现问题并采取相应的措施。
三、丰富的信息展示
1、个性化主页
灵活查询平台为用户提供个性化的个人主页。
通过门户管理,将最新、最关键的信息发布到个人主页上。
页面简洁亮丽,带给用户良好的视觉感受。
随需而变的主页内容,满足用户个性化需求。
2、输出方式
灵活查询平台支持业务分析结果以Excel、TXT、HTML、CSV等文件类型导出。
四、整体系统特性
1、易用性
系统对管理员和业务用户提供统一的web页面,功能入口清晰,帮助信息明确,操作更加简易灵活。
语义层定义,使用户看到和操作的数据是自己所熟悉的业务对象。
即使是普通的业务用户,也可以轻松灵活地定制自己所需要的查询和分析。
Ajax技术的大量应用使Web服务的易用性达到新的水平,通过鼠标的拖拽操作,无需书写SQL语句,即可完成查询分析操作。
2、安全性
灵活查询平台提供完善的安全管理机制。
基于角色的安全策略:
按权限分等级管理用户及业务查询,业务分析等资源;
系统安全:
所有的密码采用DES或MD5加密算法进行加密;
数据完整性:
采用MD5withRSA算法保证数据完整性验证;
通讯安全:
前端与服务器的通信安全支持使用SSL/HTTPS协议,保证传递数据间的安全性;
数据安全:
对数据库的访问控制粒度可以达到字段级别,同时也支持数据行的访问限制;
功能安全:
可设置不同角色对不同功能的使用权限;
资源安全:
可设置不同角色/不同用户对不同资源访问权限。
3、平台独立性
灵活查询平台的平台独立性体现在以下几点:
独立于操作系统平台,支持部署在WindowNT平台及主流Unix平台;
独立于底层关系数据库,支持DB2、Oracle、SQLServer、Informix、Sybase等。
独立于应用服务器平台,支持遵守J2EE标准的Web应用服务器,包括WebSphere、WebLogic、JBoss、Tom
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据仓库 EDW