大数据技术与应用赛项规程文档格式.docx
- 文档编号:19977081
- 上传时间:2023-01-13
- 格式:DOCX
- 页数:17
- 大小:112.52KB
大数据技术与应用赛项规程文档格式.docx
《大数据技术与应用赛项规程文档格式.docx》由会员分享,可在线阅读,更多相关《大数据技术与应用赛项规程文档格式.docx(17页珍藏版)》请在冰豆网上搜索。
Hadoop、Spark平台的配置和部署
集群免密配置和基础软件安装配置
考察Hadoop+Spark集群的部署能力,掌握常用的基本配置和基础软件安装,能够部署和管理高可用集群。
掌握Web平台的搭建。
Hadoop集群搭建
Spark集群搭建
可视化平台的搭建
数据获取与分布式文件系统操作
查找指定源数据文件
掌握Linux基础命令。
考察Hadoop文件系统的常用命令,掌握分布式文件系统命令行操作与API操作。
HDFS创建目录及上传源数据
使用HadoopAPI操作源数据
Spark数据清洗与分析
基于SparkJavaAPI的本地项目搭建
考察对分布式计算和分布式存储架构下的数据读写、数据清洗、数据转换、数据分析等综合应用能力,使用Java开发语言,完成Spark框架下的HDFS读写、内存表构建、SQL函数关联合并过滤等一系列数据操作
导入本地Java项目的依赖库
掌握在Spark框架下的JavaAPI编程
熟练使用SparkSQL读写HDFS
使用检索和清洗函数处理Spark内存表数据。
根据实验任务书编写分析模块代码
进行编译、打包、提交集群,执行Spark程序,监控任务执行情况。
输出目标数据文件。
Web数据可视化
构建Web平台项目,使用HDFSAPI读取Spark任务提供的目标数据集。
通过常见的数据可视化方法,将数据分析结果以图表的形式进行呈现,使用Java、Python及HTML等编程语言,实现数据源分析结果展现
编写前端代码,对数据分析结果进行呈现。
综合分析
通过项目代码和架构,根据数据分析结果及可视化图表进行报告编写,形成决策分析报告。
考察学生对大数据技术与决策分析和归纳概括表述的综合操作能力和表达能力
竞赛各阶段分值权重分布如下:
主要涉及的知识和技能点
分值权重
25%
10%
20%
15%
团队分工明确合理、操作规范、文明竞赛
5%
四、竞赛方式
大数据技术与应用赛项为团体赛。
每支参赛队由3名参赛选手组成,须为同校在籍学生,其中队长1名。
每支参赛队可配2名指导教师。
指导教师须为本校专兼职教师。
同一学校的报名参赛队不超过3支。
参赛选手和指导教师报名获得确认后不得随意更换。
竞赛设单一场次,所有参赛队4小时内完成比赛,比赛形式以实践操作为主,采用小组合作的形式完成赛项任务,以现场过程评价与完成任务结果评价为主要考核方式。
竞赛采用在线考试系统,客观题由系统自动统计评分,主观题如大数据应用开发、工程报告明确每项公开评分标准和得分点。
考试系统通过场外大屏,可实时跟踪竞赛进度。
赛项采用统一规格的硬件、软件和辅助工具,确保竞赛平台统一。
五、竞赛流程
根据竞赛任务要求,参赛队伍在4小时竞赛时间内须完成竞赛任务,参赛队伍须按顺序完成各项任务,但每项任务用时可自行掌握。
(一)竞赛流程
(二)竞赛时间安排
日期
时间
内容
比赛前1日
12:
00之前
各参赛队报到;
裁判报到
10:
00—11:
00
裁判工作会议;
工作人员(含监考)培训会
15:
30—16:
赛前领队会
16:
00—16:
30
参赛队熟悉比赛场地
比赛当日
17:
00—18:
现场裁判赛前检查,封闭赛场
7:
00—7:
参赛队集合前往比赛现场
30—8:
开赛式
8:
00—8:
10
赛场检录
10—8:
20
一次加密:
参赛队抽取参赛编号
20—8:
二次加密:
参赛队抽取赛位号
40
参赛队进入比赛赛位,进行赛前软、硬件检查、题目发放
40-12:
比赛
40—13:
收取各参赛队赛题及比赛结果文档
40—14:
申诉受理
13:
00—13:
三次加密:
竞赛结果等文件加密
30—21:
成绩评定与复核
六、竞赛试题
(一)赛项执委会下设的命题专家组负责本赛项命题工作。
七、竞赛规则
1.参赛选手须为高等职业学校全日制在籍学生。
本科院校中高职类全日制在籍学生,五年制高职四、五年级学生可报名参赛。
参赛选手年龄须不超过25周岁(年龄计算的截止时间以2020年5月1日为准)。
凡在往届山西省职业院校技能大赛中获本赛项高职组一等奖的选手,不能再参赛。
2.竞赛前1日安排各参赛队领队、参赛选手熟悉赛场。
3.严禁参赛选手、赛项裁判、工作人员私自携带通讯、摄录设备进入比赛场地。
4.参赛选手所需的硬件、软件和辅助工具统一提供,参赛队不得使用自带的任何有存储功能的设备,如硬盘、光盘、U盘、手机、随身听等。
5.所有参赛选手都必须携带参赛证件进行检录。
6.参赛队在赛前10分钟领取比赛任务并进入比赛工位,比赛正式开始后方可进行相关操作。
7.比赛过程中,选手须严格遵守操作规程,确保人身及设备安全,并接受裁判员的监督和指示。
因选手原因造成设备故障或损坏而无法继续比赛的,裁判长有权决定中止该队比赛;
非因选手个人原因造成设备故障的,由裁判长视具体情况作出裁决。
8.比赛结束(或提前完成)后,参赛队要确认已成功提交竞赛要求的配置文件和文档,裁判员与参赛队队长一起签字确认,参赛队在确认后不得再进行任何操作。
比赛时间终了,选手应全体起立,结束操作。
经工作人员查收清点所有文档后方可离开赛场,离开赛场时不得带走任何资料。
9.比赛结束,经加密裁判对各参赛队提交的竞赛成果进行三次加密后,评分裁判方可入场进行成绩评判。
竞赛成绩经复核无误后,由记分员将解密后的各参赛队伍成绩汇总成比赛成绩,经裁判长、监督组签字后,在指定地点,以纸质形式向全体参赛队进行公布。
公布2小时无异议后,将赛项总成绩的最终结果录入赛务管理系统,经裁判长、监督组长和仲裁长在系统导出成绩单上审核签字后,在闭赛式上宣布并颁发证书。
10.其它未尽事宜,将在赛前向各领队做详细说明。
八、竞赛场地和环境标准
1.竞赛现场设置场内竞赛区、现场裁判工作区、技术支持区等。
竞赛工位内设有操作平台,每工位配备220V电源,工位内的电缆线应符合安全要求。
竞赛工位标明工位号,并配备竞赛平台和技术工作要求的软、硬件。
环境标准要求保证赛场采光(大于500lux)、照明和通风良好。
2.场内竞赛区为参赛队提供统一的竞赛设备;
选手无需自带任何工具及附件。
3.监考人员协助裁判长和现场裁判做好负责工位范围内的秩序维持。
4.技术支持保障人员在技术支持服务区候场,有需要时在现场裁判的带领下到相关的工位进行赛场技术支持保障,在条件具备时,技术支持区可不设置在考场内。
5.竞赛现场通风良好、照明符合教室采光规范。
九、技术规范
本赛项的技术规范将包括:
相关专业的教育教学要求、行业、职业技术标准,以及根据高职目录修订后的大数据技术与应用相关专业人才培养标准和规范,适时地修订本赛项遵循的技术规范。
表1:
基础标准
标准
内容
GB/T11457-2006
信息技术、软件工程术语
GB8566-88
计算机软件开发规范
GB/T12991-2008
信息技术数据库语言SQL第1部分:
框架
GB/T21025-2007
XML使用指南
GB/T28821-1012
关系数据管理系统技术要求
LD/T81.1-2006
职业技能实训和鉴定设备技术规范
-T-469:
信息技术云数据存储和管理第1部分:
总则
信息技术云数据存储和管理第2部分:
基于对象的云存储应用接口
GB/T20009-2005:
信息安全技术数据库管理系统安全评估准则
已发布
GB/T20273-2006:
信息安全技术数据库管理系统安全技术要求
信息技术安全技术信息安全管理体系实施指南
表2:
软件开发标准
GB/T8566-2001
信息技术软件生存周期过程
GB/T15853-1995
软件支持环境
GB/T14079-1993
软件维护指南
GB/T17544-1998
信息技术软件包质量要求和测试
十、技术平台
比赛器材、技术平台:
大数据技术与应用平台(合作企业:
南京云创大数据科技股份有限公司;
品牌:
云创;
型号:
cServer1208),技术平台软硬件设备组成如下:
(一)硬件设备
1.服务器:
内嵌大数据实验一体机平台软件。
基本配置如下:
2颗英特尔至强银牌41081.8G,8C/16T,9.6GT/s2UPI,11M缓存,HT(85W)DDR4-2400/256GB内存/3×
2TB7200转SATA6Gb硬盘/支持RAID5/1Gb×
2管理网络接口/1Gb×
2数据网络接口/1+1冗余电源。
2.网络设备:
为市场通用设备。
3.客户端:
客户端基本配置要求:
2.0GHZ处理器,2G以上内存,显示器要求1024*768以上。
(承办学校提供)。
数量:
3*参赛团队+0.3*参赛团队(备份)
(二)软件平台
1)服务器软件:
1.1操作系统(CentOS7)
1.2Hadoop分布式计算平台
1.3大数据实训管理系统
1.4Web站点
2)客户端软件:
2.1操作系统(windows7)
2.2开发语言包(jdk1.8)
2.3数据分析工具(kettlepdi-ce-7.1.0.0-12)
2.4浏览器(Chrome)
2.5文档编辑器(WPS或office)
2.6OpenVPN客户端(OpenVPN2.4.7)
2.7远程连接工具(Xshell6教学/家庭版)
2.8上传/下载工具(WinSCP5.9.0.6786)
十一、成绩评定
(一)评分标准
总分100分,竞赛结果文件的提交按照题目要求,提交符合模板的WORD文件和源码文件以及相关要求截图文件。
(二)裁判工作原则
1.按照《2019年全国职业院校技能大赛专家和裁判工作管理办法》建立全国职业院校技能大赛赛项裁判库,裁判长由赛项执委会向大赛执委会推荐,由大赛执委会聘任。
赛前建立健全裁判组。
裁判组为裁判长负责制,并设有专职督导裁判1名,负责比赛过程全程监督,防止营私舞弊。
本赛项计划需要裁判7名,分别为裁判长1名、专职督导裁判1名、加密裁判1名、现场裁判2名和评分裁判2名。
2.赛项需进行三次加密,加密后参赛选手中途不得擅自离开赛场。
分别由1名加密裁判组织实施加密工作,管理加密结果。
监督员全程监督加密过程。
3.第一次加密裁判,组织参赛选手进行第一次抽签,产生参赛编号,替换选手参赛证等个人身份信息,填写一次加密记录表连同选手参赛证等个人身份信息证件,装入一次加密结果密封袋中单独保管。
4.第二次加密裁判,组织参赛选手进行第二次抽签,确定赛位号,替换选手参赛编号,填写二次加密记录表连同选手参赛编号,装入二次加密结果密封袋中单独保管。
5.第三次加密裁判对提交的竞赛文档进行加密。
确定竞赛文档号,替换赛位号,填写三次加密记录表,装入三次加密结果密封袋中单独保管。
6.所有加密结果密封袋的封条均需相应加密裁判和监督人员签字。
密封袋在监督人员监督下由加密裁判放置于保密室的保险柜中保存。
(三)评分标准制定原则
1.竞赛评分制定严格遵守公平、公正的原则,大数据技术与应用赛项评分采用赛项结果评分方法,始终贯彻落实大赛一贯坚持的公平、公正和公开原则。
2.赛项评分依据选手固化在实操任务中的成果,通过评分裁判对比赛成果再现的方法评分,并兼顾团队协作精神和职业素养综合评定。
3.选手在完成任务之后,请务必向赛场中心竞赛系统提交任务完成结果,由赛项工作人员统一将提交的结果拷贝至U盘中。
选手在确认U盘拷贝文件的内容与本工位操作内容一致后,由参赛选手队长签字确认。
因选手未能正确提交任务完成情况,致使在竞赛系统中没有正确记录内容的或者记录内容为空的,将计为零分。
4.客观性结果评分,采用优先判断功能实现评分原则,依据功能实现的状态信息截图,判断功能项是否实现,如果未实现功能,再按照配置步骤命令进行给分。
5.三层加密原则。
比赛过程采取三层加密,通过抽取参赛编号、赛位号和竞赛成果号,屏蔽参赛队信息,每个环节设置一名独立裁判,每个环节结束后,数据立即封存于裁判长,加密裁判直接隔离,确保成绩评定公平、公正。
6.独立评分原则。
根据裁判分工,负责相同模块评分工作的不同裁判采取随机抽签独立评分,确保成绩评定严谨、客观、准确。
裁判进行随机抽签分组,杜绝主观意愿组队,各自完全独立评分,裁判员间互不干涉,比赛监督人员可随机监督。
7.错误不传递原则。
各环节分别计算得分,错误不传递,按规定比例计入团队总分。
当总分相同时,再按照效率→成本排序。
效率即用时少的排名靠前。
8.参赛队提交比赛任务结束请求或者在比赛时间终止后,不得再进行任何操作。
否则,视为比赛作弊,给参赛团队记警告一次。
9.在竞赛过程中,选手如有不服从裁判判决、扰乱赛场秩序、舞弊等不文明行为,由裁判按照规定扣减相应分数并且给予警告,情节严重的取消竞赛资格,竞赛成绩记0分,队员退出比赛现场。
(四)评分标准
裁判员执裁过程中,各模块由分组裁判员进行背对背评分,由小组长负责裁定成绩一致方提交到成绩统计组,统计组再次核对每小题的得分,并汇总产生每套竞赛文档号的对应成绩。
裁判长正式提交竞赛文档号对应的评分结果并复核无误后,加密裁判在监督人员监督下对加密结果进行逐层解密,形成成绩一览表,成绩表由裁判长、监督员签字确认。
竞赛评分严格按照公平、公正、公开的原则,评分标准注重考查参赛选手以下各方面的能力和水平:
任务
考查点
评分标准
分值(分)
Linux命令、配置文件
主要评分点包括Linux系统基本操作、集群免密配置、基础软件安装配置、Hadoop集群配置、Spark集群配置。
25
Linux命令、Hadoop命令、HDFS编程
主要评分点包括Linux基础命令、Hadoop文件系统的操作命令、HadoopAPI操作代码。
SparkJavaAPI编程、SparkSQL函数应用、HDFS读写编程
主要评分点包括SparkJavaAPI编程、
SparkSQL组件编程、数据读写、数据清洗、数据转换、编译打包、Spark任务提交。
HDFS读写编程。
Web编程、可视化
主要评分点包括Web平台搭建、后台代码开发、前端代码开发、图表展示。
报告编写、决策分析
主要评分点包括能够按照赛项要求编写报告,关键点截图、分析归纳、文字表述、决策分析能力。
15
团队协作
主要评分点包括:
竞赛团队分工明确合理、操作规范、文明竞赛。
5
参赛选手应体现团队风貌、团队协作与沟通、组织与管理能力和工作计划能力等,并注意相关文档的准确性与规范性。
竞赛过程中,参赛选手如有不服从裁判判决、扰乱赛场秩序、舞弊等不文明行为,由裁判组按照规定扣减相应分数,情节严重的取消竞赛资格。
选手有下列情形,需从比赛成绩中扣分:
1.违反比赛规定,提前进行操作或比赛终止后仍继续操作的,由现场裁判负责记录并酌情扣1-5分。
2.在竞赛过程中,违反操作规程,影响其他选手比赛的,未造成设备损坏的参赛队,扣5-10分。
3.在竞赛过程中,造成设备损坏或影响他人比赛、情节严重的报竞赛执委会批准,终止该参赛队的比赛,竞赛成绩以0分计算。
(五)成绩复核与公布
1.为保障成绩评判的准确性,监督组将对赛项总成绩排名前30%的所有参赛队伍(选手)的成绩进行复核;
对其余成绩进行抽检复核,抽检覆盖率不得低于15%。
如发现成绩错误以书面方式及时告知裁判长,由裁判长更正成绩并签字确认。
复核、抽检错误率超过5%的,裁判组将对所有成绩进行复核。
2.竞赛成绩以复核无误后,经项目裁判长、监督人员审核签字后确定。
竞赛成绩通过赛场显示屏和网络直播等方式进行实时公布。
同时,在赛场及赛场外张贴纸质成绩。
若有异议,经过规定程序仲裁后,按照仲裁结果公布比赛成绩。
十二、奖项设定
由2020年山西省职业院校技能大赛组委会统一设置,只设团体奖。
赛项设参赛选手团体奖,以赛项实际参赛队总数为基础,一等奖占比10%,二等奖占比20%,三等奖占比30%,小数点后四舍五入。
十三、赛项安全
赛事安全是技能竞赛一切工作顺利开展的先决条件,是赛事筹备和运行工作必须考虑的核心问题。
赛项组委会采取切实有效措施保证大赛期间参赛选手、指导教师、裁判员、工作人员的人身安全。
(一)组织机构
成立由赛项执委会主任为组长的赛项安全保障小组,成员包括承办院校主抓安全的校领导、学生工作处、后勤处、保卫处、合作企业技术工程师等相关人员。
与地方行政、交通、司法、安全、消防、卫生、食品、质检等相关部门建立协调机制,制定应急预案,及时处置突发事件,保证比赛安全进行。
(二)比赛环境
1.赛项组委会须在赛前组织专人对比赛现场、住宿场所和交通保障进行考察,并对安全工作提出明确要求。
赛场的布置,赛场内的器材、设备,应符合国家有关安全规定。
如有必要,也可进行赛场仿真模拟测试,以发现可能出现的问题。
2.赛场周围要设立警戒线,要求所有参赛人员必须凭赛项组委会印发的有效证件进入场地,防止无关人员进入发生意外事件。
比赛现场内应参照相关职业岗位的要求为选手提供必要的劳动保护。
在具有危险性的操作环节,裁判员要严防选手出现错误操作。
3.提供保证应急预案实施的条件。
对于比赛内容涉及高空作业、可能有坠物、大用电量、易发生火灾等情况的赛项,必须明确制度和预案,并配备急救人员与设施。
4.配备先进的仪器,防止有人利用电磁波干扰比赛秩序。
大赛现场需对赛场进行网络安全控制,以免场内外信息交互,充分体现大赛的严肃、公平和公正性。
(三)组队责任
1.各学校组织代表队时,须安排为参赛选手购买大赛期间的人身意外伤害保险。
2.各学校代表队组成后,须制定相关管理制度,并对所有选手、指导教师进行安全教育。
3.各参赛队伍须加强对参与比赛人员的安全管理,实现与赛场安全管理的对接。
(四)应急处理
比赛期间发生意外事故时,发现者应在第一时间报告赛项组委会,同时采取措施,避免事态扩大。
赛项组委会应立即启动预案予以解决。
出现重大安全问题的赛项可以停赛,是否停赛由赛区组委会决定。
事后,赛区执委会应向大赛执委会报告详细情况。
(五)处罚措施
1.因参赛队伍原因造成重大安全事故的,取消其获奖资格。
2.参赛队伍有发生重大安全事故隐患,经赛场工作人员提示、警告无效的,可取消其继续比赛的资格。
3.赛事工作人员违规的,按照相应的制度追究责任。
情节恶劣并造成重大安全事故的,由司法机关追究相应法律责任。
十四、竞赛须知
(一)参赛队须知
1.各参赛队要发扬良好道德风尚,听从指挥,服从裁判,不弄虚作假。
如发现弄虚作假者,取消参赛资格,名次无效。
2.各参赛队领队要坚决执行竞赛的各项规定,加强对参赛人员的管理,做好赛前准备工作,督促选手带好证件等竞赛相关材料。
3.竞赛过程中,除参加当场次竞赛的选手、执行裁判员、现场工作人员和经批准的人员外,领队、指导教师及其他人员一律不得进入竞赛现场。
4.参赛队若对竞赛过程有异议,在规定的时间内由领队向赛项仲裁工作组提出书面报告。
5.对申诉的仲裁结果,领队要带头服从和执行,并做好选手工作。
参赛选手不得因申诉或处理意见不服而停止竞赛,否则以弃权处理。
6.参赛队领队应对本队参赛队员和指导教师的参赛期间安全负责,参赛
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 技术 应用 规程