理论教育 信息管理及信息系统专业核心能力检测方案及分析报告

信息管理及信息系统专业核心能力检测方案及分析报告

时间:2023-05-25 理论教育 版权反馈
【摘要】:检测方案及实施① 检测方案说明为提高大数据时代商科学生商务数据分析与决策能力,信息管理与信息系统专业针对第一批课程群建设项目的三门课:统计学、商务智能和数据分析和预测进行学生“商务数据分析能力”的第三方评测,用来作为支撑北京联合大学2018年评建重点项目校内专项:“基于商科专业核心能力的课程群及质量保障体系建设”的信息管理信息系统专业数据分析能力课程群建设的材料。

信息管理及信息系统专业核心能力检测方案及分析报告

(1)数据分析方向能力检测背景

为提高大数据时代信息管理信息系统专业学生的商务分析与决策能力,第一批建设针对课程群中的三门课统计学、商务智能和数据分析和预测,进行学生“商务分析与决策能力”的第三方评测,以相对客观地了解在商务分析能力培养方面的学生能力情况,并根据此评测作为后续课程建设中对学生数据分析能力培养的依据,调整课程群培养的教学方案和教学重点,以更好地达到专业培养目标。

(2)信息管理专业商务数据分析方向专业核心能力评测检测维度说明

数据分析能力评测需要先确定能力量表,在校企共同探讨研究后,将第一批检测数据分析能力评测量表分为六大能力维度:业务理解能力、数据准备能力、数据分析能力、数据可视化能力、结果评估能力、数据报告能力。该六大类能力是在企业中从事数据工作的人员所需的较全面的能力,如表4−4−1所示。

表 4−4−1 数据分析能力量表

续表

业务理解能力:指在项目中能够理解项目的业务意义,并能从中抓取痛点提出需求。对该大类划分了三个指标,分别是:能提出合理的业务问题;能构思完整的解决思路;能选取正确的业务指标。

数据准备能力:指在项目中能够针对企业已有的数据进行归类、整理、抽取、清洗、转换,以便于分析数据。对该大类划分了三个指标,分别是:能根据业务需求对数据进行理解;能对数据进行整理、存储;能对数据清洗、规范化处理。

数据分析能力:指在项目中能够采用正确的分析工具、分析方法来对业务理解提出的需求进行分析,对该大类划分了三个指标,分别是:能选择适当的数据分析工具;能从多个维度进行分析;能采用正确的分析方法处理数据。

数据可视化能力:指在项目中采用合适的图表、配色、布局,使分析的结果可视化。对该大类划分了两个指标,分别是:能应用正确的图表进行数据的展示;图表展现多样化、美观,利于数据解读。

结果评估能力:指在项目中利用正确的图表来展现需求,并能够解释自己的分析,且对企业的决策能够提供支持,对该大类分为两个指标,分别是:能验证分析结果的正确性;能为商业决策提供支持。

数据报告能力:指编写能够逻辑清晰、格式规范、展现优美的报告。对该大类分为三个指标,分别是:能够形成逻辑清晰的业务报告;数据报告书写规范;能够完整提交交付物。

数据分析能力除了上述6个方面的维度,还有团队合作能力即建立在团队的基础之上,发挥团队精神、互补互助以达到团队最大工作效率的能力。在数据分析项目中,团队成员能有效沟通,合理分工,有责任心,遵守规章制度。团队合作能力是学生应该具备的能力,本次检测由于检测中以历史数据作为第三方检测的依据,课程群中有些课程的大作业是个人完成,不能够反映团队合作能力,因此,能力量表中暂时未将此项能力列入。

(3)检测方案及实施

① 检测方案说明

为提高大数据时代商科学生商务数据分析与决策能力,信息管理与信息系统专业针对第一批课程群建设项目的三门课:统计学、商务智能和数据分析和预测进行学生“商务数据分析能力”的第三方评测,用来作为支撑北京联合大学2018年评建重点项目校内专项:“基于商科专业核心能力的课程群及质量保障体系建设”的信息管理信息系统专业数据分析能力课程群建设的材料。

根据研究制定的“商务数据分析与决策能力”评价量表,对信息管理与信息系统两个年级,即信息管理2015B班、信息管理2016B班二年级提交的统计学、商务智能及数据分析和预测三门课程的课程大作业进行评测,产生评量报告,报告内容对于学生综合数据分析的各种能力进行综合的分析。

② 评测方案的实施

第一轮项目的评量共分为两个批次进行,具体如表 4−4−2 所示。因统计学课程在课程群建设时已经完成该学期课程教学,因此两轮的作业形式都采用的是个人作业形式。

表4−4−2 第三方能力评测实施安排

(4)检测结论及说明

① 第一轮次评测说明

第一轮评测是以企业的实际需求作为能力评测标准,这和学校的教学要求有所不同,能力要求标准较高,因此,评测只能通过一个侧面反映学生在校的能力情况,并不代表教学目标是否已达成。评测可以从一定程度上反映出学校教学要求和实际企业需求的数据分析能力的区别,并不代表实际课程群的教学水平问题。

评测的评量较为全面,学生并不需要全部掌握,此次的评量能力是从企业的角度出发,列出了从事数据分析人员所要具备的能力,且能力较全,所列出的能力要求也是递增的,例如数据整理、数据报告是较为基础的能力,结果评估能力是较高阶的能力,在部分企业中,即使从事了三年的数据从业者也不能完全满足。但通过此次第三方评测,可以充分了解数据行业的能力,并在今后的教学实训中进行对应能力训练补充,在整体能力的基础上,还需要针对具体工作需求进行能力补充。

此轮的评测是以提交交付物为结束,从企业的标准来进行评测,缺少过程因素,会导致部分能力无法反映出来,最终评测成绩也会和实际有所出入。要进行评测一般是先制定标准,再根据评测标准出具对应的题目来进行评测,需要在完成过程中进行追踪记录,或者评测前依据列出能力明细项,在题目设计和上交成果反馈信息上体现出相关训练内容。另外可以让学生自己根据能力要求指标从中查缺补漏。

② 检测结论

第一轮评测整体情况如表 4−4−3 所示,其中可以看到整体优良比率在9.53%,合格比率为56.23%,不合格比率占34.24%。统计学在能力得分上整体较好。为更加清晰,将上述评测结果用柱形图表示,如图4−4−1所示。

表 4−4−3 评测整体情况

本次评测各能力指标的详细结果如表 4−4−4所示。从该表数据可以看出:第一,针对评测整体情况,学生们在业务理解能力、数据可视化能力和结果评估能力三个方面,不合格比率较高,优良率较低;第二,相对较好的是数据准备能力和数据报告能力,这两个能力指标在测评结果中相对而言比较理想。对评测的6个指标结果进行比较,可以得出课程群维度得分对比图,如图4−4−2所示。图4−4−3则显示出各维度的详细指标对比结果。

图4−4−1 三门课程能力评测情况

表4−4−4 课程群评测各能力维度整体评测情况

续表

图4−4−2 评测 6 个维度对比

图4−4−3 各维度的指标对比

从图 4−4−2可以看出,整体上学生的数据分析能力、数据准备能力和数据报告能力较好,但业务理解能力、数据可视化能力以及对结果的评估能力较弱。从图 4−4−3可以看出,在业务理解能力中“能构思完整的解决思路”这部分能力较弱,数据可视化能力中“能应用正确的图表进行数据的展示,并能正确解读图表”这方面能力较弱,结果评估能力方面,能为“能验证分析结果的正确性”方面能力较弱。这也正说明通过教与学的过程,学生在深入利用工具和知识解决实际应用的深层问题的能力需要在今后的培养过程中多加训练。

再通过深入挖掘每个指标下的细分项情况,可以看出数据可视化能力及结果评估能力在三门课程测评中都较弱,三门课程更加偏向于技能的教学,在页面布局、可视化这种能力的应用上需要加强。今后课程要求中对“能应用正确的图表进行数据的展示”及“图表展现多样化、美观”方面要增加训练。在结果评估方面需要通过大量的经验积累,才能有效提高,建议在后续课程群的教学和实践内容中,多加入典型案例的深层解读,为学生提升结果评估方面的能力奠定基础。在数据分析能力,即能够采用正确的分析工具、分析方法来对业务理解提出的需求进行分析方面,今后可以在能从多个维度进行分析及能采用正确的分析方法进行分析数据方面多加练习,以不同案例展现分析方法的具体应用,并对于基于业务理解不合理的案例进行有效的讨论,提升学生对于业务理解、数据分析的认知。

整体上看,学生在数据报告能力方面较其他能力强,数据报告是较为基础的能力,通过给出标准要求,让学生按照标准完成,因此成绩较好,今后可以保持,更加强化。数据分析能力、数据准备能力方面也较好,说明几门课程以往的学习目标基本达到,在课程学习中这部分训练相对较充分。在今后的课程群建设的能力培养中要关注业务理解能力、数据可视化能力及结果评估能力几方面的能力训练,这一部分也恰恰是难度较大的部分,今后的课程方案中要多借助于案例分析的业务解读、数据可视化展现及结果验证等方面加强训练。

在第一轮检测15级学生后,又对16级学生进行了能力检测。从检测结果可以看出,16级学生的能力均分高于15级学生,但能力维度中发现的问题和15级的问题大体一致,此部分详见附件 4。在今后的课程群建设中要从业务解读、数据可视化展现及结果验证等几个方面对课程教学、实践的内容进行相应调整,为提高从此次评测中发现的短板做好准备。

最后需要说明的是,商务学院信息管理与信息系统专业课程群,以数据分析方向能力为检测目标,与独立第三方——德昂信息技术(北京)有限公司合作,针对学院2015级、2016级两个年级的信息管理与信息系统专业学生的商务分析与决策能力开展独立检测,形成了针对学院信管专业学生商务分析与决策能力的独立检测报告。完整的内容参见附件3和附件4。

附件3:德昂信息技术(北京)有限公司提供第三方检测报告(第一批)

1. 背景和需求

为提高大数据时代商科学生商务分析与决策能力,北京联合大学商务学院信息管理与信息系统专业,针对开设的三门课:统计学、商务智能、数据分析和预测,进行学生“商务分析与决策能力”的第三方评测。

参加检测的班级为信息管理2015B班,检测对象为上述两个班级提交的统计学、商务智能、数据分析和预测三门课程的课程大作业(有些为分组完成)。根据制定的商科学生“商务分析与决策能力”评量表进行评测,并由此产生一个评量报告,报告内容以图表报告的形式,对于学生各种能力进行综合的分析。

2. 能力评量表

能力评量表分为六大能力:业务理解能力、数据准备能力、数据分析能力、数据可视化能力、结果评估能力、数据报告能力。该六大类能力是在企业中从事数据工作的人员所需要的较全面的能力,但从单个课程的作业中还不能完全体现。其中这六大项又划分了17个子项,每个子项总分5分,总计85分,在后面的计算中将总分折换成了百分制进行了分析。

业务理解能力:指在项目中,能够理解项目的业务意义,并能从中抓取痛点提出需求。对该大类,我们划分了三小类,分别是:(1)能提出合理的业务问题;(2)能构思完整的解决思路;(3)能选取正确的业务指标。

数据准备能力:指在项目中,能够针对企业已有的数据进行归类、整理、抽取、清洗,转换为便于分析的数据。对该大类,我们划分了三小类,分别是:(1)能根据业务需求,对数据进行理解;(2)能对数据进行整理、存储;(3)能对数据清洗、规范化处理。

数据分析能力:指在项目中,能够采用正确的分析工具、分析方法来对业务理解提出的需求进行分析,对该大类,我们划分了三小类,分别是:(1)能选择适当的数据分析工具;(2)能从多个维度进行分;(3)能采用正确的分析方法分析数据。

数据可视化能力:指在项目中采用合适的图表、配色、布局,使分析的结果可视化。对该大类,我们划分了两小类,分别是:(1)能应用正确的图表进行数据的展示;(2)图表展现多样化、美观。

结果评估能力:指在项目中,利用正确的图表来展现需求,并能够解释自己的分析,且对企业的决策能够提供支持,对该大类,我们划分了两小类,分别是:(1)能验证分析结果的正确性;(2)能为商业决策提供支持。

数据报告能力:指编写能够逻辑清晰、格式规范、展现优美的报告。对该对该大类,我们划分了三小类,分别是:(1)能够形成逻辑清晰的业务报告;(2)数据报告书写规范;(3)能够完整提交交付物。

3. 测评分析

先整体来看一下三门课程各自的优良、及格、不及格比例,三门课程优良的占比都较少,SPSS论文、商务智能、统计学的占比分别为11.36%、5%、12.24%,大部分学生的总分聚集在60~79分(测试总分为85分,表4−4−5到表4−4−7是对三门课程的优秀率等分析,都将总分换算成了百分制进行统计)。

● 数据分析与预测

表 4−4−5 各课程总分分段

● 商务智能

表 4−4−6 各课程总分分段

● 统计学

表 4−4−7 各课程总分分段

续表

3.1 课程作业与能力分析

先从三门课程的作业进行分析,哪些能力完全不能反映出来。

商务智能:大作业是学生自己搜集数据或者从老师提供的数据集,采用MSTR工具进行分析。

统计学:根据老师提供的题目和数据进行分析,有分析的要求。

数据分析与预测:分析已有的数据挖掘论文。

因为作业的局限性,在分析能力打分的时候,会导致某些能力无法打分,所以无法打分的项使用其他课程同项分数的平均分来替代,当然后续能力的评估和课程的教学作业可以重新策划,如果能力的打分能够在学生作业前定下标准再考核,效果会更好。因为商务智能课程更加符合能力的评测,所以大部分能力进行了评分。

3.2 学生能力排名分析

(1)三门课程学生人数统计

所有学生不是三门课程都有学习的,部分学生只学习了其中的一门或者两门课程,如图4−4−4所示,各课程人数统计,数据分析与预测为44名学生,商务智能总共有40名学生,统计学为49名学生。

图4−4−4 课程人数统计

(2)排名分析

如图 4−4−5所示,展示了学生三门课程的总分排名,每个课程所在的名次是有所区别的。

图4−4−5 各课程学生成绩排名(www.daowen.com)

数据分析与预测最高分为85分,最低分为49分,平均分为67分;统计学最高分为86分,最低分为54分,平均分为71分;商务智能最高分为83分,最低分为34分,平均分为53分。整体分数都偏低,分数较低的原因是按照企业需求的标准给学生打分,学生能力与企业相差较大。

(3)能力分析

① 数据分析与预测各项能力情况,如表4−4−8所示。

表4−4−8 数据分析与预测能力情况

续表

② 商务智能各项能力情况,如表4−4−9所示。

表4−4−9 商务智能各项能力情况

续表

③ 统计学各项能力情况,如表4−4−10所示。

表 4−4−10 统计学能力情况

续表

3.3 课程分析

将最终的成绩得分整理成SPSS数据,如图4−4−6所示。

图4−4−6 分数明细

描述统计分析,如表 4−4−11 及图 4−4−7 所示。

表 4−4−11 描述信息

注:a. 存在多个众数时显示了最小的值。

从表4−4−11及图4−4−7所示结果可知:均值、中位数和众数接近相等,说明成绩没有异常值。由直方图也可以发现:商务智能分数比较离散,成绩明显呈现高、中、低的集群现象,大部分处于及格水平,一小部分还未达标,从企业角度来看,学生掌握的能力与企业要求还有一定差距。

统计学成绩平均分为72.3,处于中等水平,标准偏差比较小,说明统计学成绩比较集中、稳定;这点由正态分布直方图也可以看出。这表明学生对于基础的统计学分析知识有一定的掌握,但运用还不太熟练,无法与商业智能真正结合。

数据分析与预测平均分达到了63.9,刚达到及格水平,成绩呈现左偏分布,低分学生较多,由于该门课程的考试只是让学生自己找相关论文分析,并没有让他们进行实际建模处理,这在一定程度上还不能体现学生的真正水平,所以采用的打分制度是根据其他两门课综合能力来评判,建议以后的考试可以改进测试方式,比如让学生自己处理数据并完成分析论文。

图4−4−7 三门课程直方图

4. 总结

通过分析可以看出学生三门课程在数据可视化能力方面都较弱,三门课程是偏向于技能的教学,学生在页面布局、可视化方面能力不足。学生整体在数据报告能力方面比其他能力稍强,虽然高于其他能力,但是分数并不理想,数据报告是较为基础的能力,可以给出标准论文格式,让学生按照标准编写、提交报告。

此次的评测遇到两个关键性的问题。问题一:评量较为全面,学生没有必要全部掌握。此次的评量能力是从企业的角度出发,列出了数据从事人员所要具备的能力,且能力较全,所列出的能力也是递增的,例如数据整理、数据报告是较为基础的能力,数据分析能力是较高阶的能力,在部分企业中,即使从事了三年

的数据从业者也不能完全满足,但是学生可以了解数据行业的能力要求,并进行对应补充,整体能力也有不完全的地方,还需要针对具体工作进行修改。问题二:要进行评测一般是先制定标准,再根据评测标准出具对应的题目来进行评测,过程中需要追踪记录,或者列出明细项,让学生自己根据自身能力来进行打分,从而查缺补漏。但是此次的评测是交付物已经完成,再从企业的标准来进行评测,会导致部分能力无法反映出来,最终学生的评测成绩也会有出入。

附件4:德昂信息技术(北京)有限公司提供第三方检测报告(第二批)

1. 背景和需求

为提高大数据时代商科学生商务分析与决策能力,北京联合大学商务学院信息管理与信息系统专业,针对开设的三门课:统计学、商务智能、数据分析和预测,进行学生“商务分析与决策能力”的第三方评测。

参加检测的班级为信息管理2016B班,检测对象为上述两个班级提交的统计学、商务智能、数据分析和预测三门课程的课程大作业(有些为分组完成)。根据制定的商科学生“商务分析与决策能力”评量表进行评测,并由此产生一个评量报告,报告内容以图表报告的形式,对于学生各种能力进行综合分析。

2. 能力评量表

能力评量表分为六大能力:业务理解能力、数据准备能力、数据分析能力、数据可视化能力、结果评估能力、数据报告能力。该六大类能力是在企业中从事数据工作的人员所需求的较全面的能力,但从单个课程的作业中还不能完全体现,其中这六大项又划分了17个子项,每个子项总分5分,总计85分,在后面的计算中将总分折换成了百分制进行了分析。

业务理解能力:指在项目中,能够理解项目的业务意义,并能从中抓取痛点提出需求。对该大类,我们划分了三小类,分别是:(1)能提出合理的业务问题;(2)能构思完整的解决思路;(3)能选取正确的业务指标。

数据准备能力:指在项目中,能够针对企业已有的数据进行归类、整理、抽取、清洗、转换为便于分析的数据。对该大类,我们划分了三小类,分别是:(1)能根据业务需求,对数据进行理解;(2)能对数据进行整理、存储;(3)能对数据清洗、规范化处理。

数据分析能力:指在项目中,能够采用正确的分析工具、分析方法来对业务理解提出的需求进行分析,对该大类,我们划分了三小类,分别是:(1)能选择适当的数据分析工具;(2)能从多个维度进行分析;(3)能采用正确的分析方法分析数据。

数据可视化能力:指在项目中采用合适的图表、配色、布局使分析的结果可视化。对该大类,我们划分了两小类,分别是:(1)能应用正确的图表进行数据的展示;(2)图表展现多样化、美观。

结果评估能力:指在项目中,利用正确的图表来展现需求,并能够解释自己的分析结果,且对企业的决策能够提供支持,对该大类,我们划分了两小类,分别是:(1)能验证分析结果的正确性;(2)能为商业决策提供支持。

数据报告能力:指能够编写逻辑清晰、格式规范、展现优美的报告。对该大类,我们划分了三小类,分别是:(1)能够形成逻辑清晰的业务报告;(2)数据报告书写规范;(3)能够完整提交交付物。

评量表明细,如表4−4−12所示。

表 4−4−12 评分量表

3. 测评分析

本次评测的为信息管理专业2016级学生,数据分析与预测22人、商务智能22人、统计学24人,较2015级人数少了近一半,其中数据分析与预测与商务智能的作业为小组作业,小组内成员的评分是一致的。

3.1 排名分布统计

各门课程排名如图4−4−8及如表4−4−13所示。由统计分析结果知:此班3门课程平均成绩均在75分以上,处于中等水平,其中统计学和数据分析与预测分数接近优良水平;由标准差可以发现:商务智能成绩偏差较大,成绩比较离散,高分与低分差距过大,而统计学和数据分析与预测成绩相对集中,这在一定程度上说明同学们对商务智能的掌握还有一定欠缺,存在一小部分同学未达标。

图4−4−8 各科成绩排名

表 4−4−13 2016 级统计分析

续表

注:a. 存在多个众数时显示了最小的值。

3.2 各门课程优秀率统计

(1)数据分析与预测

数据分析与预测成绩分布情况如表4−4−14所示。

表4−4−14 数据分析与预测成绩分布

(2)商务智能

商务智能成绩分布情况如表4−4−15所示。

表 4−4−15 商务智能成绩分布

(3)统计学

统计学成绩分布情况如表4−4−16所示。

表 4−4−16 统计学成绩分布

由表 4−4−14到表 4−4−16所显示的统计分析结果可知:三门课程的优秀率都在40%以上,尤其统计学的优秀率已经达到了54.2%,除了商务智能课程外的其他两门课程都没有不合格的人数,学生的成绩离散也较小,差距不大,学生整体的成绩较优秀。

3.3 能力分布统计分析

学生各项能力均分排名如图4−4−9所示。

由图4−4−9统计分析结果知:三门课程17项能力均分排名,学生在作业交付和数据整理方面的分数较高,在业务理解和形成完整解决思路方面分数较低。学生对于业务的理解不够充分,在分析的时候也缺少思路,学生能够掌握基本的工具使用,有一定的分析设计观念,对基本图形的使用已经很不错了,对业务的理解还需要在实际中加强经验。

图4−4−9 各项能力对比分析

3.4 对比分析

将 2015级和2016级两次检测的结果进行对比,结果如表 4−4−17及表 4−4−18所示。为清晰起见,将上述结果用柱形图亦进行了展示,如图 4−4−10和图4−4−11所示。由统计分析结果知:商务智能2016级的均分高出2015级21分,统计学高出7分,数据分析与预测高出14分,从能力均分对比图中可以看出2016级的14项能力的均分高于2015级的均分。这主要是缘于在教学实践中,商务智能的课程进行了两部分的小改动。第一部分:实操课前将实操资料发给学生,让学生自学操作,并在课上进行提问,老师再进行实操讲解;第二部分:上课和实操两部分均加入了项目实训,并使之与竞赛相结合,比实操学习对于个人的要求更高,取得的成绩也是较为显著的。

表 4−4−17 2016 级统计分析

续表

表 4−4−18 2015 级统计分析

图4−4−10 课程均分对比

图4−4−11 能力均分对比

4. 总结

根据上述分析,明显可以比较出2016级学生的优秀率和均分都高于2015级的学生,2016级学生的整体分数也是较高的。学生在作业交付和数据整理方面的分数较高,在业务理解和形成完整解决思路方面分数偏低。

对于操作型课程可以考虑从以下三个方面入手:第一,进行小班授课,人数偏少的时候,可以关注到每一位学生;第二,将实操步骤做成文档、视频或者有对应的操作步骤的书籍,让学生提前学习,上课考核;第三,实操课程除了理论知识和操作的教学,可以引入项目制,让学生分组完成一个项目,这样更有利于获取知识和掌握软件的使用。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈