关于某竞赛网评结果的建模与分析.docx
- 文档编号:4446308
- 上传时间:2022-12-01
- 格式:DOCX
- 页数:37
- 大小:207.03KB
关于某竞赛网评结果的建模与分析.docx
《关于某竞赛网评结果的建模与分析.docx》由会员分享,可在线阅读,更多相关《关于某竞赛网评结果的建模与分析.docx(37页珍藏版)》请在冰豆网上搜索。
关于某竞赛网评结果的建模与分析
A题关于某竞赛网评结果的建模与分析
摘要
本文模糊数学综合评判,灰色评价模型,聚类分析模型等,对网评成绩与最终成绩之间的关系进行全面分析评价,并给出如何有效利用网评成绩得出最终成绩的建议。
问题一首先根据附录标准分计算公式及Excel表格附加的原始数据,通过Matlab编程,把A-E题的每个题目的专家打分的标准分计算出来,并计算出每个专家的平均分,均方差。
然后依据Excel生成的图表先粗略说明下网评成绩与最终成绩的相关性,可以大致得到网评成绩即总标准分与最终成绩基本上是正相关,为了进一步说明网评成绩与最终成绩相关性,再建立了模糊数学综合评判模型。
问题二:
从不同角度出发,首先分析了每个题目评委公正性、评阅水准、责任态度,发现评委之间公正性、评阅水准、责任态度稍微存在差异。
又考虑到评委的基本素质是多因素、多指标的综合反映,然后采用多元智能理论,结合结合表6-2分析数据,从所有评委所评阅的所有论文的平均分、阅卷的数量等方面考虑,最后构建了3个评价模块(一级指标)、10个评价指标(二级指标)评委的基本素质实力综合评价指标体系见表6-8。
问题三:
依据问题二给出的评委的基本素质指标,首先建立灰色评价模型,
选用的评价指标主要是由二级指标里的职业道德(阅卷的公正性)和评审水平指标组成,得到E组专家评委,A组专家评委一般,B组专家评委较差,C组专家评委最差。
为了进一步分析不同题目评委差异,然后建立聚类分析模型,从公平性和评阅水准两个指标出发,得到A题评委A07、A13等表现较差,B题评委B26、B29、B37、B44、B54表现较差,C题评委C01、C05、C11、C12、C13、C17表现较差,D题评委D03、D11、D20、D22、D32、D37、D44表现较差,E题评委E05、E06、E13、E19、E28表现较差。
问题四:
依据问题一Matlab编程处理得到每个题目专家打分的平均值、标准分,首先把每个题的专家的平均值、标准分作为一组数字集合,通过Excel表格生成专家平均值整体分布函数、标准分整体分布函数,可以得出平均值、标准分大致呈正态分布,然后建立单因素方差分析模型,取一定的专家打分的平均值、标准分进行评委的整体显著差异分析,可以得出B题较难,C题、A题、E题基本一样,A题的波动性大,不稳定,题目难易程度,不同题目评委基本素质不同导致不同题目发生显著差异主要原因。
问题五:
关键词:
模糊综合评判;灰色评价模型;聚类分析模型;
队号:
173A
一、问题重述
某竞赛的评阅过程分两阶段进行,分别称为网评阶段与集中评审阶段。
在网评阶段,竞赛论文被随机平均分配给每位评委,每份竞赛论文由四位评委评阅,每位评委以“百分制”记分,通过标准分计算公式(见附录),将评委的“原始分”转换成“标准分”,按照标准分总分排序,前55%的论文进入集中评审。
集中评审阶段每份论文由三位评委按“百分制”独立评审,所有评委评审结束后,换算成标准分,然后将每份论文的三个标准分与网评中该论文的平均标准分一起求平均分,即为该论文的最终成绩。
请完成以下建模任务:
1、竞赛组织者希望知道网评成绩与最终成绩的相关性,请根据附件中的评审结果,给出你们的结论,并对网评结果作出评价。
2、从不同角度出发,对竞赛评委有不同的基本素质要求,请给出你们认为合理的度量评委基本素质的指标体系。
3、建立评价评委基本素质的数学模型,并将其运用于附件中的评审数据,给出你们的结论。
4、附件中ABCDE表示不同题目,试分析不同题目的评委的整体表现之间是否存在显著差异?
如果存在,分析出现差异的可能原因。
5、试分析将网评成绩加入总成绩的利弊,并对如何更有效地利用网评成绩给出你们的建模结论。
二、问题分析
2.1背景分析
竞赛的评阅过程一般分网评阶段与集中评审阶段进行。
在网评阶段,竞赛论文被随机平均分配给每位评委,每份竞赛论文由四位评委评阅,每位评委以“百分制”记分,通过标准分计算公式:
设某个评委评阅的论文为N={1,2,3,…,n},第k份论文的原始分为xk,该评委所评阅的所有论文的平均分为,均方差为σ,则该评委第k份论文的标准分为:
,将评委的“原始分”转换成“标准分”,按照标准分总分排序,前55%的论文进入集中评审。
集中评审阶段每份论文由三位评委按“百分制”独立评审,所有评委评审结束后,换算成标准分,然后将每份论文的三个标准分与网评中该论文的平均标准分一起求平均分,即为该论文的最终成绩。
因此,本文依据这样的背景知识,分析网评成绩与最终成绩的相关性,从不同角度出发,考虑竞赛评委有不同的基本素质,建立评价评委基本素质的数学模型,来探讨评委的整体表现之间显著差异性,最终评判网评成绩加入总成绩的合理与否,预测目前竞赛的评阅模式优缺点与发展趋势,对今后科学地规划与调整竞赛评阅模式,具有重要的价值意义。
2.2具体问题分析
2.2.1问题1的分析
针对问题一竞赛组织者希望知道网评成绩与最终成绩的相关性,根据附录标准分计算公式及Excel表格附加的程序,通过Matlab编程,把A-E题的每个题目的专家打分的标准分计算出来,并计算出每个专家的平均分,均方差。
首先我们根据excel生成的图表先粗略说明下,总标准分与最终成绩的相关性,每个题目,获奖率在总标准分区间的分布情况,可以大致估计总标准分与最终成绩应该是正相关,为了进一步说明网评成绩与最终成绩相关性,我们又建立了模糊数学综合评判模型
2.2.2问题2的分析
问题二要求从不同角度出发,考虑不同角度对竞赛评委要求的基本素质也不同,给出合理的度量评委基本素质的指标体系。
先对附件中评阅数据处理分析,评判评委的公正性、评阅水准、责任态度。
又考虑到评委的基本素质是多因素、多指标的综合反映。
再充分借鉴多元智能理论,结合社会对网评阅卷的需求,遵循全面性、可操作性、科学性原则,并结合表格分析数据分别从3个角度对评委教师的基本素质实力指标体系进行分解,从所有评委所评阅的所有论文的平均分、阅卷的数量等方面考虑,最终构建了出合理的度量评委基本素质的指标体系。
2.2.3问题3的分析
问题二给出了每个题目的评委的度量评委基本素质的指标体系,在此基础上,依据评委的基本素质,先对评价指标组成进行定义,建立灰色评价模型,选用的评价指标主要是由二级指标里的职业道德(阅卷的公正性)和评审水平指标组成,每组阅卷所对应的2个二级指标的评价数据形成一个参评数据序列,大致分析每个题目不同评委的公正性,然后为了进一步分析不同题目评委,建立聚类分析模型,从“公平性”和“评阅水准”为主要因素考察评委指标体系出发,对每个题目具体评委给出评价。
2.2.4问题4的分析
针对问题四让分析不同题目的评委的整体表现之间存在显著差异性,根据问题一Matlab编程得到不同题目评委的平均分与标准差,结合图表初步说明这些数字具有的特征,然后把同题目评委的平均分与标准差作为一组数字集合,计算出其平均分的及方差,最后具体说明不同题目的评委的整体表现之间是否存在显著差异,分析出现差异的可能原因。
2.2.5问题5的分析
三、模型假设
为了使实际问题能够使用数学模型进行具体的描述,本文需要假设一些条件,这些条件的假设对建立模型起到了关键作用,但是,具体实际问题的解决,还需要根据模型的修改而对假设条件进行调整。
1.假设附录给的A、B、C、D题目专家的打分数据真实可靠,能够反映指标所代表的真实含义;
2.假设A、B、C、D题目的难易程度大致一样;
3.假设评委认真公平打分,不出现打错分的现象;
4.假设评委之间没有讨论商量打分现象,打出的分数之间没有联系;
5.假设评委分数在计算统计的时候不会出现错误;
6.;
7.
四、重要符号说明
模型类型
符号
符号定义(单位)
模糊综合评判
灰色评价模型
,
聚类分析模型
五、问题一模型的建立与求解
5.1模型的建立于求解
竞赛的评阅过程一般分网评阶段与集中评审阶段进行。
在网评阶段,竞赛论文被随机平均分配给每位评委,每份竞赛论文由四位评委评阅,每位评委以“百分制”记分,通过标准分计算公式:
设某个评委评阅的论文为N={1,2,3,…,n},第k份论文的原始分为xk,该评委所评阅的所有论文的平均分为,均方差为σ,则该评委第k份论文的标准分为:
,将评委的“原始分”转换成“标准分”,按照标准分总分排序,前55%的论文进入集中评审。
集中评审阶段每份论文由三位评委按“百分制”独立评审,所有评委评审结束后,换算成标准分,然后将每份论文的三个标准分与网评中该论文的平均标准分一起求平均分,即为该论文的最终成绩。
因此,本文依据这样的背景知识,分析网评成绩与最终成绩的相关性,从不同角度出发,考虑竞赛评委有不同的基本素质,建立评价评委基本素质的数学模型,来探讨评委的整体表现之间显著差异性,最终评判网评成绩加入总成绩的合理与否,预测目前竞赛的评阅模式优缺点与发展趋势,对今后科学地规划与调整竞赛评阅模式,具有重要的价值意义。
表5-1
A题
一等奖
二等奖
三等奖
没获奖
总数(355)
15
58
77
205
所占比例
4.22%
16.33%
21.69%
57.76%
总标准分平均值
271.9363693
258.2163404
244.7793046
239.5778403
表5-2
B题
一等奖
二等奖
三等奖
没获奖
总数(1366)
28
243
306
789
所占比例
2.04%
17.78%
22.40%
57.75%
总标准分平均值
269.4561341
259.1130390
244.66110040
237.0778403
表5-3
C题
一等奖
二等奖
三等奖
没获奖
总数(488)
18
80
104
286
所占比例
3.69%
16.39%
21.31%
58.61%
总标准分平均值
265.5900056
259.2655575
254.1556971
221.1499455
表5-4
D题
一等奖
二等奖
三等奖
没获奖
总数(1709)
34
307
394
974
所占比例
1.98%
17.96%
23.05%
56.99%
总标准分平均值
273.0414560
260.0156704
251.0879640
235.0704435
表5-5
E题
一等奖
二等奖
三等奖
没获奖
总数(958)
24
172
214
548
所占比例
2.51%
17.95%
22.34%
57.20%
总标准分平均值
279.08175
268.4610651
255.5907322
246.0911332
图5-6
表5-7
A题
一等奖
二等奖
三等奖
没获奖
大于290
13.33%
5.17%
0
0
280-290
26.67%
10.34%
1.30%
0
270-280
33.33%
13.79%
3.90%
0
260-270
26.67%
27.59%
20.78%
2.44%
250-260
0
31.03%
35.06%
4.39%
240-250
0
12.07%
35.06%
20.00%
小于240
0
0
3.90%
73.17%
图5-8
B题
一等奖
二等奖
三等奖
没获奖
大于290
10.71%
0.41%
0
0
280-290
25.00%
1.23%
0.65%
0
270-280
32.14%
23.46%
16.34%
3.30%
260-270
14.29%
36.63%
26.47%
5.07%
250-260
3.57%
27.57%
54.58%
14.32%
240-250
0
3.29%
3.27%
25.48%
小于240
0
7.41%
1.96%
51.84%
表5-9
图5-10
表5-11
C题
一等奖
二等奖
三等奖
没获奖
大于290
5.56%
1.25%
0
0
280-290
22.22%
3.75%
0.96%
0
270-280
22.22%
12.50%
14.42%
0.35%
260-270
27.78%
36.25%
17.31%
1.75%
250-260
5.56%
30.00%
38.46%
6.64%
240-250
11.11%
10.00%
21.15%
15.38%
小于240
5.56%
6.25%
7.69%
75.87%
图5-12
表5-13
D题
一等奖
二等奖
三等奖
没获奖
大于290
14.71%
0.65%
0
0
280-290
20.59%
9.77%
0.51%
0
270-280
23.53%
11.40%
0.76%
1.44%
260-270
14.71%
25.41%
33.25%
3.59%
250-260
20.59%
34.20%
42.39%
6.78%
240-250
5.88%
8.79%
15.23%
20.84%
小于240
0
9.77%
7.87%
67.35%
图5-14
表5-15
E题
一等奖
二等奖
三等奖
没获奖
大于290
16.67%
1.16%
0.93%
0
280-290
25.00%
12.21%
1.40%
0
270-280
33.33%
31.40%
3.74%
1.82%
260-270
20.83%
36.05%
27.10%
2.55%
250-260
4.17%
14.53%
37.38%
12.23%
240-250
0
4.07%
23.83%
18.43%
小于240
0
0.58%
5.61%
64.96%
图5-16
1、确定因素集。
对网评成绩与最终成绩的相关性,分析A-E题目,综合考虑各方面进行模糊评判,如每个题目一等奖获奖率、二等奖获奖率、三等奖获奖率、未获奖比率,所有这些构成评价指标体系组合,即因素集,记为
2、确定评语集,由于每个指标的评价值的不同,会形成不同的等级,如每个题目最终成绩有一等奖、二等奖、三等奖、未获奖。
这样的不同的决策判断构成的集合,称为评语集合,记为
3、确定各个因素的权重,一般情况下,因素集中的各因素在综合评价中所起的作用是不同的,综合评价结果不仅与各因素的评价有关,还在很大程度上依赖于各因素对综合评价所起的的作用,这就需要确定一个因素权重分配,它是
上一个模糊向量记为
4、确定模糊综合评判矩阵,对指标
来说,对各个评语的隶属度为
上的模糊子集,对指标
的评判记为
对指标的模糊综合评判矩阵为
它是一个从
到
的模糊关系矩阵,
5、综合评判,假如有一个从
到
的模糊关系
,那么用
就可以得到一个模糊变换,
由此转换就可以得到综合评判结果
六、问题二模型的建立与求解
6.1评委的基本素质
问题二要求从不同角度出发,考虑不同角度对竞赛评委要求的基本素质也不同,给出合理的度量评委基本素质的指标体系。
结合对附件中评阅数据处理分析,尽可能全面分析针对评委的评价指标,提出以下几个指标:
公正性、评阅水准、责任态度。
6.1.1公正性:
文中说明,竞赛评阅过程分网评和集中评审,网评阶段按照转化后的标准分总分排序,前55%的论文进入集中评审,进入集中评审才有获奖的机会。
在处理数据的过程中,分别求出A-E题所有阅卷的标准分总分,按照总分从高到底排序,算出每道题目进入前55%的数目,分析发现存在55%以后的阅卷有获奖情况。
如果按照文中规定的55%标准,获奖的阅卷只能存在55%之前,55%之后阅卷不能进入集中评审,就没有获奖可能,而附件数据中55%以后获奖,说明评委阅卷存在不公正。
例如A题,参评阅卷355份,按照网评标准分总分从高到底排序,取前55%比例,应该是195.25人(取为193人),发现排在193人之后,还有获奖阅卷,反映评委阅卷存在不公平性。
如下为A题55%前后获奖情况:
表6-1
A题
获奖人数
所占比重
55%/196名前获奖
147
98.00%
55%/196名后获奖
3
2.00%
同样C题,参评阅卷488份,按照网评标准分总分从高到底排序,取前55%比例,应该是268.4人(取为269人),发现排在269人之后,还有获奖阅卷,反映评委阅卷存在不公平性。
如下为C题55%前后获奖情况:
表6-2
C题
获奖人数
所占比重
55%/269名前获奖
189
93.56%
55%/269名后获奖
13
6.44%
6.1.2评阅水准:
网评阶段,竞赛论文被随机平均分配给每位评委,每份竞赛论文由四位评委评阅。
由于竞赛论文标准分总分是四位评委评分求和所得,总分的高低势必影响排名先后顺序。
分析附件A-E数据,可以看出同一论文的四个评委给出的分值有的相差10-30分左右,反映评委专家评阅水准存在层次差异。
如下表,分别列举A-E中任意两个论文分析,横向对比每篇论文的四个专家评分,存在高低分差异较大现象。
例如阅卷号A6,专家A01,A07,A05评分在70-80区间,而专家A04评分为45,较大偏离其他专家评分分值,相比A01专家打分80,相差35分。
反映评委专家之间存在评阅水准之间差异。
表6-3同一论文四个评委之间打分差异性
序号
阅卷号
评委
打分
评委
打分
评委
打分
评委
打分
成绩
6
A6
专家A01
80
专家A04
45
专家A07
79
专家A05
70
二等奖
10
A10
专家A03
50
专家A13
60
专家A10
63
专家A02
25
7
B7
专家B12
84
专家B34
46
专家B28
42
专家B40
40
三等奖
16
B16
专家B19
50
专家B12
62
专家B16
74
专家B35
44
5
C5
专家C15
65
专家C01
33
专家C03
67
专家C17
25
8
C8
专家C01
60
专家C16
62
专家C07
80
专家C10
50
一等奖
5
D5
专家D46
40
专家D58
68
专家D68
67
专家D54
68
12
D12
专家D45
92
专家D18
60
专家D21
77
专家D03
67
二等奖
8
E8
专家E05
62
专家E23
30
专家E15
36
专家E35
35
33
E33
专家E03
71
专家E14
60
专家E28
95
专家E08
72
二等奖
6.1.3责任态度
按照A-E五个题目,每个题目卷数分配给四个评委,一般来说分配给每个评委的题目数量应该是均等,在分析附件数据发现每个评委评阅卷数并不完全相等,反映不同专家之间责任态度不相同。
如下表,统计C题488套论文,分配给20个专家,统一论文先后被4个评委评阅,统计C01-C20共20个专家评阅论文卷数如下,每个评委评阅份数在100上下波动,而专家C19仅仅评阅22份,相比100份评阅份数,差异较大,侧面说明专家C19工作的责任态度一般,存在不负责的情况。
表6-4
专家C01
专家C02
专家C03
专家C04
专家C05
专家C06
专家C07
专家C08
专家C09
专家C10
101
102
101
101
102
100
102
101
103
101
专家C11
专家C12
专家C13
专家C14
专家C15
专家C16
专家C17
专家C18
专家C19
专家C20
102
102
100
100
102
102
103
102
22
103
6.2评委基本素质的指标体系的构建
评委的基本素质是多因素、多指标的综合反映。
充分借鉴多元智能理论,结合社会对网评阅卷的需求,遵循全面性、可操作性、科学性原则,并结合表格分析数据分别从3个角度对评委教师的基本素质实力指标体系进行分解,从所有评委所评阅的所有论文的平均分、阅卷的数量等方面考虑,最终构建了由3个评价模块(一级指标)、10个评价指标(二级指标)构成的评委的基本素质实力综合评价指标体系,见表1。
表6-5评委的基本素质实力评价指标体系
评价目标
一级指标
二级指标
评委素质实力
基本素质
思想道德、人文素养、心理素质
知识素质
专业素养、受教育程度、评审水平
职业素质
职业道德、工作态度、工作责任心、敬业精神
表6-6
评委
A01
A02
A03
A04
A05
A06
A07
平均分
51.44
50.04
59.76
56.31
49.55
44.95
68.89
评委
A08
A09
A10
A11
A12
A13
A14
平均分
59.75
44.84
57.12
58.16
66.45
72.99
43.63
图6-7
以上是A论文的专家评委所评阅的所有论文的平均分,从表中各个评委评卷的平均分角度来考虑各个评委的评分素质,可以看出各个评委评卷的平均水平的高低,A组的平均值围绕在56%左右,通过中位数可以大致反映A组的评分水平,专家A13的评分均值最高,说明这个专家打分的程度比较偏高,相反,A14专家的评分均值最低,这个专家专家打分的程度比较偏低。
表6-8
评委
平均分
评委
平均分
评委
平均分
评委
平均分
评委
平均分
评委
平均分
B01
51.18
B10
42.46
B19
42.11
B28
50.39
B37
73.99
B46
48.55
B02
47.19
B11
61.31
B20
50.11
B29
31.31
B38
52.22
B47
61.03
B03
58.61
B12
58.83
B21
47.10
B30
44.98
B39
51.55
B48
44.70
B04
51.31
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 关于 竞赛 结果 建模 分析