海洋信息数据库系统技术报告.docx
- 文档编号:7362425
- 上传时间:2023-01-23
- 格式:DOCX
- 页数:16
- 大小:743.88KB
海洋信息数据库系统技术报告.docx
《海洋信息数据库系统技术报告.docx》由会员分享,可在线阅读,更多相关《海洋信息数据库系统技术报告.docx(16页珍藏版)》请在冰豆网上搜索。
海洋信息数据库系统技术报告
海洋信息数据库管理系统技术报告
目 次
1引言
1.1建设目标及意义
随着奉贤区“三区一基地”建设的深入,“十二五”期间,奉贤区海洋经济也将展现新的格局,一大批涉海项目将在奉贤31.6公里海岸线及417平方公里海域上规划建设,如三一集团重工基地围填海项目、游艇制造基地建设项目、游艇俱乐部项目、金汇港闸改建工程、岸线生态修复项目,以及海上城市项目等。
随着大量的大型用海项目、南桥新城和海湾地区的建设将带来人口和企业的大规模聚集,也将给奉贤区海域管理和海洋环境保护带来新的考验。
为适应海洋发展的新形势,使海洋管理工作能基本实现“快速、准确、全面、专业”管理要求,设计建设“奉贤区海洋管理信息系统----数据库”能为今后有效运行海洋信息系统奠定基础。
依据《中华人民共和国海洋环境保护法》、《中华人民共和国海域使用管理法》和奉贤区海洋局的职责,以上海市“四个中心”建设和上海世博会的召开为契机,统筹考虑海洋资源开发利用与海洋环境保护,以服务重大涉海项目建设为重点,以依法动态用海管理和控制海域排污总量为主线,加强海域使用管理和海洋环境监测力度,并通过数据库建设,提升管理能力,为奉贤区海洋经济健康发展保驾护航。
2010年根据奉贤区海洋工作的新形势和新定位,通过奉贤海洋数据库的建设,达到以下主要建设目标:
(1)海洋工程咨询方面:
对大量的海洋水文、海洋气象、海洋底质、地形地貌等海洋工程建设必不可少的数据进行专业分类和信息化管理,为海洋工程项目的立项决策、涉海科研、工程设计参数确定和防汛防灾部署等提供专业咨询分析,提高资料利用效益,保障海洋工程的顺利进行。
(2)海洋环境保护方面:
对大量已开展的奉贤区海域海洋环境质量状况与趋势、海洋功能区等常规监测,陆源入海排污口、水源地水资源环境等各类专项监测与评价数据进行信息化管理,能及时提供相关咨询,为海洋保护、项目决策、环境容量控制和污染应急措施等提供专业参数,为海洋管理者和行政决策者提供科学参考依据,以预防和减轻海洋环境灾害带来的损失,提高城市安全,保障市民财产与生命安全。
(3)海域使用管理方面:
对大量用海状况的信息(包括用海主体、年限、面积、坐标、属性、分类、宗海图等)进行信息化管理,实现快速、准确的各类用海状态动态查询,及时掌握用海动态,为海域管理、项目用海决策、用海矛盾协调、用海规划制定提供专业参数,为海洋管理者和行政决策者提供科学参考依据,达到依法管海、科学用海的目的。
(4)海洋经济统计方面:
对海洋经济类数据进行储存、处理、统计分析,掌握海洋经济发展动态,为海洋经济发展规划的制定、海洋经济运行的监测以及海洋综合事务协调提供宏观决策依据。
(5)通过建设奉贤海洋信息数据库,为后续的奉贤区海洋局信息化工作打下坚实基础。
1.2术语说明
在本设计中主要用到如下专业术语及定义:
奉贤海洋信息数据库:
在奉贤海洋信息数据库管理系统的数据中,从组成上包括海洋气象、海洋水文、水下地形、底质沉积物、海洋生物、水质、沉积物质量、海域使用的信息和海洋经济类数据。
2建设内容
奉贤海洋信息数据库管理系统建设的内容概括如下:
1)数据库建设
奉贤海洋信息数据库管理系统涉及到的数据有:
海洋气象、海洋水文、水下地形、底质沉积物、海洋生物、水质、沉积物质量、海域使用的信息和海洋经济类数据。
上述数据主要来源于调查和各历史专项资料,数据分散分布、数据量大,数据模型复杂多样。
通过概念设计、逻辑设计、物理设计,确定使用的数据模型,给出数据库的ER图,合理设置关键字、引用,保证数据库的完整性和一致性。
2)奉贤海洋信息数据库管理系统的总体设计和实现技术
利用SQLServer2008R2数据库提供的中间件等工具和技术,利用当前流行的编程语言环境搭建基于B/S架构的奉贤海洋信息数据库管理系统,验证上述技术方案的可行性和有效性。
提出奉贤海洋信息数据库管理系统的总体结构设计和各功能模块设计技术方案,包括:
功能结构设计,数据流分析图,软件设计流程,软件模块接口设计。
主要的研究内容包括:
(1)设计和实现数据管理功能,包括:
数据导入功能:
按照国家数据标准定制Excel,将原始数据放入Excel,再将Excel数据导入数据库。
数据查询功能:
按用户的需求动态组织数据查询条件,实现了灵活的用户个性化检索的要求。
数据维护功能:
系统提供了利用导入工具批量导入数据的方式对数据库进行更新,同时在浏览数据过程中为用户提供了局部数据更新功能。
数据统计、图表输出功能。
(2)系统安全控制功能:
用户、权限管理。
(3)系统配置功能:
为了提高奉贤海洋信息数据库管理系统的可扩展性,系统对各模块都提供了相应的配置功能。
3总体设计
3.1总体逻辑结构
奉贤海洋信息数据库管理系统建设内容包括:
奉贤海洋信息数据库、数据存储与管理、数据安全控制。
图3-1为奉贤海洋信息数据库管理系统的逻辑结构图。
1)奉贤海洋信息数据库构成奉贤海洋数据资源平台,为奉贤海洋局提供数据支撑。
2)奉贤海洋信息数据库管理系统作为奉贤海洋局数据存储基础设施,是整个奉贤海洋局工作信息化的核心。
本管理系统针对奉贤区海洋管理人员,根据当地海洋局的基本职能,为海洋工程咨询、海洋环境保护、海域使用管理以及海洋经济统计提供数据管理和数据服务。
3)数据安全控制保证数据的存储、管理、发布都在安全的环境下进行,防止信息泄露与窃取等。
图3-1奉贤海洋信息数据库管理系统的逻辑结构图
3.2总体功能模块结构
奉贤海洋信息数据库管理系统的功能模块设计包括:
系统首页、海洋工程咨询模块、海洋环境保护模块、海域使用管理模块、海洋经济统计模块和系统维护模块。
其功能结构如图3-2所示。
图3-2奉贤海洋信息数据库管理系统总体功能结构图
4建设技术路线
奉贤海洋信息数据库管理系统建设的技术路线如图4-1所示。
图4-1奉贤海洋信息数据库管理系统建设技术路线图
1)统一规划、整体布局、分步实施、先进实用、共建共享;
2)建立标准、规范体系,保证系统的统一性、可靠性和高效性;
3)通过业务系统调查,明确系统需求和功能,构建系统业务流和数据流;
4)采用模块化的设计方法,确保系统建设和服务的灵活性与适应性;
5)建立包括数据查询、更新维护和数据管理平台操作权限控制等信息安全保障体系。
5数据依赖识别和数据规范化技术
奉贤海洋信息数据库管理系统的数据来源基本为调查数据,一般为仪器监测记录数据和采样化验数据,比如气象、水文、地形等。
针对奉贤海洋信息数据之间因缺乏业务逻辑无法确立依赖关系的现状,本系统提出了根据现有数据模式识别数据依赖的方法,并应用于数据库模式的规范化设计,通过理论分析和实际应用证明海洋信息数据库模式设计达到3NF范式。
奉贤海洋信息数据库系统中数据表的组成结构包括:
1)基础调查数据,来源于调查中的数字化仪表的自动记录文件格式;2)根据海洋管理职能以及海洋信息的公众需求,抽取内容不同的调查数据并组合为专题信息,对应的表称为组合表。
下图为海洋环境质量监测的规范化数据模式。
图5-1海洋环境数据库中基表和组合表数据模式
重金属、氮磷硅等观测数据和水环境质量监测站位信息为基表,水环境质量监测站位航次信息嵌入到不同的质量监测数据中,形成组合表,即在上图中,组合表中定义外键“站位编号”和监测站位信息表的主键“ID”实现信息关联。
5.1基表的数据冗余和数据依赖分析
基表即调查数据为仪器监测或分析数据,相互之间无业务逻辑从而缺乏明确的数据依赖关系,为了满足1NF范式要求,现有基表的主键为数据库管理系统自动生成的ID号。
缺乏业务逻辑上的数据依赖,导致基表之间不存在传递函数依赖,基表中的函数依赖可以归结为:
部分函数依赖导致的数据冗余。
比如潮位观测数据如下表所示。
表5-1潮位观测数据记录
潮位观测数据
站位代码,观测年,观测月
,观测日,潮时,潮高
潮位观测站位数据
站位编号,站位名称,站位经度,站位纬度,邮编,联系电话,联系地址,建站时间,站址
联系人,备注
来自于仪器自动记录的单次记录中都包含有:
潮位观测数据、观测站位信息和验潮仪的状况信息。
根据常识可知:
观测站位信息和验潮仪的状况信息是客观存在且较固定的,与固定时间的潮位记录没有依赖关系,在原始记录中导致这样的信息大量冗余。
按数据库模式规范化设计理论中消除部分函数依赖规范化方法,定义嵌入的实体为一个基表,则可归结为以下组合表规范化的第一种情形:
一个实体信息完全嵌套在基表中,规范化处理如下节所示。
5.2组合表的数据冗余和数据依赖分析
组合表和单表之间因为嵌套关系——完全嵌套和部分嵌套而呈现的数据依赖归结为部分依赖和传递依赖。
定义(组合表的嵌入字段)将组合表A中具有的来自于基表B的字段统称为A嵌入B字段。
第一种情形:
组合表A嵌入基表B的字段集合C非空,C中包含B的任意关键字,即B完全被嵌套在表A中。
消除部分函数依赖实现数据模式规范化可采取以下方法:
组合表A嵌入基表B字段集C只保留B表的关键字P作为外键,C中其他字段则从A表的数据模式中消除。
在表1中,潮位观测站位数据是一个不依赖于潮位观测数据的数据实体但却被其完全嵌套,按部分函数依赖的规范化处理达到2NF范式,潮位观测站位数据为一个独立的基表,由于该表的字段之间不存在数据依赖关系,按已有文献可知它的所有字段组合为一个关键字,为了引用表中元组的方便,通常为该表定义一个系统自动增值的标识码ID,即为该表的关键字并作为潮位观测数据表中的外键,从而消除了部分函数依赖并实现了信息的引用。
第二种情形:
组合表A嵌入基表B的字段集合C非空,C不包含B的任意关键字,即B部分嵌套在表A中。
因为C未包含B的任意关键字,设A的所有字段集合为C′,此时A表中{C′-C}的值和C的值为1:
n的关系。
按1NF范式要求,解决办法有:
(1)嵌入字段集C完全嵌套在A的数据模式中,此时表A中相同的{C-C}值与n组对应的C值组合在一起。
即基本字段{C′-C}在n个元组中具有相同的值,存在一定的数据冗余,若修改或插入{C′-C}中某个字段的值就必须维护n个元组,以便保持数据的一致性。
(2)嵌入字段集C并不嵌套在A的数据模式中,而是根据A表的数据模式中出现{C′-C}的值和C的值出现1:
n的关系重新定义一个基本表P和一个关联表M表。
基本表P的数据模式组成为:
系统自动增值的标识码ID和字段集C;基表B的模式基于基表P进行改造,增加一个字段为对应基表P的标识码ID的外键ID_P,并从基表B中去掉已定义在基表P中的字段集C。
上述规范化处理,缘于B表原来的数据模式中数据依赖PID_B→C,即B中所有字段集C′′具有属性:
{C′′-C}的值和C的值出现1:
1的关系。
由于字段集C已经从表B的数据模式中消除,并定义到表P的数据模式中,按数据库规范化定理可知B表已经消除了传递函数依赖带来的数据冗余和更新、插入异常。
相反地,表A中没有包括B的关键字,根据上述描述,A的数据模式中存在{C′-C}的值和C的值为1:
n的关系。
A表的规范化方法如下。
关联表M的数据模式定义为:
系统自动增值的标识码ID_M、对应表A的标识码的外键PID_A、对应基表P的标识码的外键PID_P,并从基表A中去掉已定义在基表P中的字段集C。
由于A表中不包含B表和P表中任意字段,故A表中不存在函数决定字段集C的数据依赖,也就不存在导致数据冗余和更新、插入异常的部分函数依赖和传递函数依赖。
由于关联表M的数据模式中未包含表A的数据模式中字段集C′,表P的数据模式中字段集C,故根据规范化理论,表A,表P和关联表M的数据模式不受上述传递函数依赖的影响所带来的数据冗余和更新、插入异常。
5.3海洋信息数据库模式规范化
按上述规范化方法,通过嵌套层次关系分析和实体关联分析、识别海洋信息数据库的数据模式中的数据依赖,并通过构造外键和关联表的工程方法,实现数据库模式的规范化,解决了避免数据冗余和保持数据更新和维护一致性的困难。
表5-2奉贤海洋信息数据库模式规范化算法MED_Normalization
奉贤海洋信息数据库模式规范化MED_Normalization
输入:
数据库模式:
基表和组合表的数据模式
输出:
规范化的数据模式
步骤1对数据库模式中任意基表B,若发现存在独立实体,则按部分函数依赖的规范化方法,定义新的基表P,并将B表定义为组合表,完全嵌入表P;
步骤2对数据库模式中任意组合表A和嵌入的基表B,1)如果A完全嵌入表B,则按步骤1中部分函数依赖的规范化方法进行规范化;2)否则A部分嵌入表B,则按上述传递函数依赖的规范化方法定义一个新的基表P和关联表M进行规范化。
因为奉贤海洋信息数据库模式中所有基表以系统自增加的标识码为主键,基表之间无数据依赖关系,即基表之间不可能存在传递函数依赖。
根据规范化方法中步骤1,将所有基表中的部分函数依赖转化为组合表和基表之间的完全嵌套关系进行规范化,按步骤2,组合表和基表之间为完全嵌套关系、部分嵌套关系或无嵌套关系,1)当组合表和基表之间的为完全嵌套关系,它们之间存在部分函数依赖;2)当组合表和基表之间的为部分嵌套关系,它们之间存在传递函数依赖;3)当组合表和基表之间无嵌套关系,显然它们之间无部分或传递函数依赖关系。
按上述规范化方法,消除了基表中的部分函数依赖以及组合表和基表之间的部分函数依赖和传递函数依赖,按定义可知规范化后的数据库模式是3NF。
根据奉贤海洋信息数据库的数据模式因为海洋综合调查的业务性质带来的模型特征,结合数据库理论中数据依赖和规范化的方法,本项目根据数据模型中对象的嵌套关系提出了海洋信息数据库中数据依赖的识别方法和规范化处理方法,使该数据库模式设计达到3NF的工业设计标准。
6基于BlazeDS的Java与Flex的通讯模块技术
6.1概述
奉贤海洋信息的数据需要在内部进行Flex与后台Java之间的通信,为前台应用系统的丰富展示提供数据支撑,将后台需要分析的数据和成果数据通过BlazeDS在前台展示。
FlashRemoting的原理类似于Resin的Hessian,都是使用基于HTTP协议的轻量级二进制协议,即AMF。
FlashRemoting使用AMF来和服务器通讯。
基本过程的原理可以参考Flash网站上面的文档。
简单来说就是在服务器端,需要有一个Servlet,接收Flash的HTTP请求,然后把AMF格式封装的HTTP请求解析成为对服务器端对象的调用;在客户端,FlashRemotingAPI接收服务器端的HTTP Response,把AMF格式封装的Response解析成为Flash数据对象。
使用RemoteObject+BlazeDS作为Flex端同Java服务器端的通信框架有如下优点:
1)以二进制的AMF协议传递数据,转换和传输数据的性能高于XML格式。
2)使用RemoteObject+BlazeDS能够实现Flex对象与Java对象之间的自动转换,更加有利于开发者编程。
3)使用开源框架BlazeDS所开发的企业应用可以更容易地升级为采用高端商业软件LCDS作为数据通信框架的企业应用。
6.2功能设计
在奉贤海洋信息数据库管理系统设计中,为满足快速发展的海洋信息化对海洋基础信息的需求,为形成统一信息平台,需要对系统内各个模块的信息进行整合及标准化改造。
具体功能模块设计如图6-1所示。
图6-1应用访问接口功能结构图
6.3数据流分析图
根据自身业务需要,应用系统将用户添加的数据与其本身的应用模块进行绑定,从而进行数据的分析处理等业务功能,同时对于应用过程中生成的数据,奉贤海洋信息数据库管理系统也提供相应的接口对其进行数据的更新。
具体数据流图如图6-2所示。
图6-2应用程序数据访问及更新数据流图
6.4程序流程图
奉贤海洋信息数据库管理系统在接受到用户的服务请求后,首先判断其用户权限,根据其请求服务类型进行相应的处理。
具体程序流程如图6-3所示。
图6-3应用服务数据访问接口程序流程图
7数据库系统安全
7.1用户、权限管理
7.1.1功能设计
该系统设计提供一种集成操作权限、系统表权限、栏目功能权限和数据表权限的解决方法,以满足多层次组织中权限管理方面的集中控制。
具体模式采用用户-权限-模块3级管理模型进行权限管理。
一个用户可拥有指定的权限,每种权限可与多个模块、多个用户相对应。
用户、权限管理功能设计示意图,如图7-1所示。
图7-1用户、权限管理功能设计示意图
在此设计思想的基础上,该系统的功能主要是对用户、权限进行管理操作,其功能结构如图7-2所示。
图7-2用户、权限管理功能结构图
以上图中,系统管理分为2个子模块:
1)用户管理模块对用户信息进行插入修改删除操作,包括用户名称、密码、对应权限;
2)权限管理模块对权限信息进行插入修改删除操作,包括权限名称、权限对应功能模块、用户、可操作类型等。
系统管理模块的存储采用关系型数据库。
存储用户信息、用户权限关联信息、权限信息、权限模块关联信息、模块信息。
在实际使用中,用户分配了相应权限后,即可对特定模块进行相应操作。
7.1.2数据流图分析
在系统管理中,系统管理员通过访问系统管理子系统,添加和删除系统用户,配置和修改系统用户权限。
在系统访问中,一般用户在访问数据库系统,需要进行相应的用户权限验证,以保证系统和数据访问的安全性和合法性。
用户、权限管理数据流图,如图7-3所示。
图7-3用户、权限管理数据流图
7.1.3程序流程图
1)用户访问时,系统对其权限处理流程如图7-4所示。
图7-4用户权限系统处理流程
2)对用户信息管理软件设计流程如图7-5所示。
图7-5用户信息管理软件设计流程
3)对权限信息管理软件设计流程如图7-6所示。
图7-6权限信息管理软件设计流程
8关键技术与创新点
8.1多源、复杂类型数据资源共享与集成管理技术
拟采取的解决方法:
多源、复杂类型数据的集成处理流程如图8-1所示。
图8-1多源、复杂类型数据处理与集成技术流程图
1)数据标准化、规范化设计
按照已有的国家标准、行业标准进行,若无国家标准和行业标准,则参照国际标准进行;如无上述两个标准,则采用本研究制定的内部暂行标准。
暂行标准的制定原则有利于信息的共享和信息集成分析,它是使信息能够共享的必备条件。
2)数据转换
建立统一数据转换标准,并开发相应的转换软件,数据库在对数据进行改造时,利用转换工具把所有数据转换成标准格式。
3)建立数据服务器并完成相关文档
将完成的数据转入数据库中,建立数据服务器,完成有关文档,包括数据库建设和改造报告、数据字典、使用说明等,从而完成数据库的规范化、网络化建设和改造。
8.2不同规格标准的数据质量控制技术
信息的质量直接影响到系统的运行效率和结果的可靠性。
所以,在对数据应用分析之前要根据相关的规范、标准对各种数据信息记录进行规范检查和过滤,保证数据的有效性。
1)在数据完整性与一致性的检查方面,包括实体完整性、域完整性等5个方面的要求。
本系统的建设将充分利用大型网络数据库管理系统所提供的数据完整性功能,以及根据信息业务规则,对用户输入的数据及其元数据进行一致性检查的策略来保证数据的完整性与正确性。
2)在数据安全性控制方面,主要是通过Windows2000操作系统的安全机制、SQLServer2008R2的安全机制以及数据库连接脚本文件中的用户名与保密字来实现。
3)立体动态监测数据方面。
由于受监测平台、采集方式、传输手段、技术条件和地理空间分布的制约,表现为多源、分布、异构且表现为时、空、特征量的多维复合,如各类监测台站、浮标/潜标监测等数据都是基于不同功能、目的和不同技术条件下的多源数据。
因此必须对监测数据进行质量控制。
4)历史数。
对历史数据进行统计分析,建立全等性检验、递增性检验、变化范围检验、合理性检验和相关性检验等质量控制模式,对所接收的资料与其它来源的资料进行质量检验和控制,是保证数据准确、统一的重要基础。
其中关键是确定质量控制方法和基本的质量控制参数。
由于系统是对整个奉贤海域及毗邻海域进行实时和准实时的动态立体监测,随着时间的推移,必然会产生大量的历史性数据,这些数据对研究海洋资源及其环境的动态演变和发展预测相当重要。
而对这些历史数据质量进行实时的记录、管理对以后的应用起到至关重要的作用。
所以需要对所接收的资料与其它来源的资料进行严格记载。
为此必须采取以下措施解决:
利用各种途径广泛搜集国内有、国外相关行业、部门的相关资料;
对近年来掌握的资料进行整理、分析和研究;
进行质量控制技术比较和相关性研究;
对奉贤区应根据其历史资料,经过统计分析处理,确定质量控制方法和基本的质量控制参数。
开发科学合理的质量控制技术模式。
研究完善的机制对数据的质量信息进行管理、记录和备份。
数据的质量要求是参照相关标准得来的,没有参照标准的可以有数据分析应用的要求来导出。
一些质量要求是必不可少的,如对数据的精度要求,不符合精度要求的数据就不可以入库;而有一些质量要求可以认为是辅助性的,如对数据完整性要求,在入库时要进行必要的完整性检查。
奉贤海洋信息数据库及其信息管理系统的质量控制过程,根据各专业历史、现状以及用户需求,采用分阶段(粗筛与精筛)自动与人机交互相结合进行,以确保数据入库的质量与速度。
8.3数据导入
数据导入包括对原始数据进行加工和将Excel数据导入数据库两部分内容。
其流程图如图8-2所示。
1)原始数据加工
(1)按照国家数据标准定制Excel;
(2)将原始数据放入Excel。
2)将Excel数据导入数据库
(1)按照指定时刻将Excel导入到服务器;
(2)读取服务器上的Excel;
(3)将Excel数据入库。
数据入库时需要进行数据校验和数据异常处理,若数据入库失败,则从服务器删除该数据。
图8-2数据导入流程图
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 海洋 信息 数据库 系统 技术 报告
![提示](https://static.bdocx.com/images/bang_tan.gif)