测评大数据支持下的学习反馈设计研究

本文由用户“i天秤Blue”分享发布 更新时间:2021-03-26 01:23:35 举报文档

以下为《测评大数据支持下的学习反馈设计研究》的无排版文字预览,完整格式请下载

下载前请仔细阅读文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

测评大数据支持下的学习反馈设计研究

摘 要:测评大数据是基于测评活动获得的学习数据的集合,基于测评大数据分析的学习反馈是发挥大数据优势、提高学习效率的有效途径。本研究从测评大数据的视角探讨了大数据应用于学习反馈环节的机遇与挑战,对当前测评大数据的应用方式及问题进行了分析;从数据优势与教学经验有机结合的思路出发,建构了基于测评大数据分析的学习反馈系统框架,包括:反馈内容设计、反馈环境设计、反馈机制设计三个维度。研究认为:测评大数据为当前学习者状态分析和教学优化提供了更客观的数据支持,基于测评大数据的学习反馈分析与规律总结是教育大数据在基础教育领域的价值所在,把握学习状态是开展下一阶段学习的基础。

关键词:测评大数据; 学习反馈; 反馈设计

一、引 言

学习评价是教与学过程的重要环节,学习反馈是评价与学生发展之间的桥梁,有效反馈对帮助学习者理解评价信息,保证学习效果,提升教师教学水平都有着重要意义。在传统课堂学习环境中,由于受到学生人数多、教学任务重、分析难度大等问题的限制,学习反馈存在时效性差、教师主观性强、反馈参与面窄等弊端[1],对学习常态化反馈内容也以学生的考试成绩、排名为主,学生较难深度了解自身的学习问题,更难以摸索有效提高学习效果的方法。

随着教育的不断信息化,学习环境、学习内容、信息交互方式等都在发生翻天覆地的转变, 学习评价也必然需要随之发展与变革[2],如何在评价基础上开展反馈的问题同样值得深思。有研究者开始尝试将技术手段应用于评价反馈环节中,探索通过使用基于计算机的评价反馈促进学习者有效学习的方法[3-4],打破传统教学以学期为单位的延时反馈弊端,以客观数据与过程性反馈代替总结性结果,针对性解决教与学过程中的问题,提高学习效率。因此,开展基于常态化采集的测评大数据进行学习反馈研究具有重要意义和现实应用价值。

二、教育大数据支持下的基础教育学习反馈变革

传统教学由于受到时间少、学生多、任务重等限制,学习反馈以练习的正误判断与分数为主,系统性的反馈信息以学期为单位,通过成绩单、告家长书等形式向学习者与家长提供。计算机支持下的学习评价反馈系统打破了时间与空间的阻碍,通过收集学习者的数据痕迹,对采集到的学习过程性与结果性数据进行挖掘与分析,再基于系统提供的交互功能即时为学习者提供数据分析的结果信息。这种技术支持下的学习反馈能有效改善传统反馈的时效性问题,打破一师多生的困境,在反馈时机、反馈来源、反馈频率、反馈形式方面都为学习反馈带来了较大的变革。

(一)反馈时机:从延时性到即时性

在传统学习情境中,教师对学生作业的批改是学生获得反馈信息的主要途径,作业的批改与分发时间受制于教师的工作任务量与效率,而系统性的学期成绩单反馈更受到家访计划、家校距离、邮寄进度等时空限制,不能即时为学习者呈现。这对学习者及时了解学习问题,调整学习计划造成一定阻碍。在当前基于计算机的评价反馈系统中,计算机通过收集学习者留下的学习痕迹,如测验成绩、在线时间、资源浏览等,可以根据学习者的需求为其提供即时反馈信息。相比于传统教学,信息化环境下的即时学习反馈在反馈时机上的灵活性更强。

(二)反馈来源:从主观性到客观性

传统教学反馈往往以成绩作为核心信息,对学习者学习表现的评价反馈往往以教师主观判断为主,对教师的教学经验、个人态度等要求较高。同时,评价的数据来源仅有总结性测试数据,数据维度低、数量少,仅包含成绩信息的反馈又难以为学习者调整学习目标与策略提供支持,学习反馈并不能为教与学效率的提高提供支持。而计算机支持下的评价反馈系统为收集学习者多维度数据,开展全面的数据分析提供了可能,基于学习数据分析的评价反馈在一定程度上避免了原有主观评价信效度不高的问题,为学习者和教师提供了客观的分析结果。

(三)反馈频率:从总结性到常态化

传统教学中对常态化作业的批改反馈往往仅有等级或对错的信息,而包含较多学习表现信息的反馈往往在一个阶段的学习活动结束后开展,如单元测试、期中/期末测试,在总结性评价结束后,教师采用“分数”+“评语”的形式为学习者提供反馈信息,指导其下一阶段学习的开展,但这种总结性反馈往往忽视了学习者在学习过程中的表现。而技术支持下的评价反馈系统,通过收集日常作业与测验信息、资源浏览情况、学习时长等数据,在分析的基础上即时反馈学习状态,使学习者对反馈信息的获取真正实现常态化。

(四)反馈形式:从文本型到可视化

分数或描述性报告是传统评价反馈中常用的形式,而在信息化评价反馈系统中,系统通过收集学习数据并分析,不仅可以为学习者呈现数字或文字形式的反馈报告,还能通过可视化图表更直观地表征学习者的学习状态。有研究表明。信息的加工过程是人类认知过程的关键,而可视化表征信息的方式对提高认知效率有重要帮助。在学习反馈中使用可视化图表,能有效帮助学习者理解反馈信息,从而激发内部反馈的形成,促进学习效率的提高。

三、 测评大数据与学习反馈系统应用现状

(一)测评大数据

虽然基于教育大数据分析系统的学习评价与反馈解决了传统教学中反馈晚、信息简、形式少等问题,但已有技术支持下的学习评价与反馈多围绕在线学习展开,学习的过程性数据的捕捉需要以人机交互为基础。在国家信息化战略的推进下,教育技术设备设施的学校覆盖率日益增高,但教师与学生的人均拥有率有限,在基础教育的课堂教学中普及化使用移动设备采集学习数据仍存在现实阻碍。此外,在我国基础教育中,班级授课制与大班教学仍是多数学校的主要特征,以考试等形式收集到的总结性学习数据使用简单的分数反馈仍占据主流地位,这些问题在一定程度上阻碍了教育大数据在学习反馈领域的应用。

在我国基础教育较难做到移动终端普及化的现状下,对教学过程中的所有数据进行采集是存在一定难度的,但中小学的常态化练习与阶段性测验为过程性学习数据的收集提供了可能,以常态化练习为载体的学习数据收集与分析是教育大数据在我国基础教育领域可行的应用方式之一。该类学习数据围绕教师组织的测评活动获得,包括试题与学习者两个维度。其中,试题维度的数据以知识点为核心,包括知识点内容、类型、难度、多知识点关系等,学习者维度的数据又以学习者的作答情况为主,包括得分、选项、解题过程等。本研究将此类基于测评活动获得的学习数据集合定义为测评大数据,在基础教育领域对常态化采集的测评大数据开展分析,有助于教师或学习者对个体或集体在基于试题的测评结果之间开展横向比较(如,平均分、正确率、排名等),更能对学习者在试题背后反映的知识点层面进行纵向挖掘(如,知识结构、认知水平等),为教师的教与学习者的学提供指导与帮助。

(二)测评大数据支持下的学习反馈系统应用现状

在已有研究与教学实践中,研究者们更多关注测评大数据在学习评价领域的应用,探索学习数据的分析方法、采集维度,以及学习者认知水平测量等,而对评价基础上的反馈应用关注较少,如何在技术支持下为学习者提供有效反馈的成功经验也较为缺乏[5]。学习反馈作为评价结果与学习行为调节的中介,其有效性是学习者开展高效学习的关键。而当前测评大数据在基础教育学习反馈环节中的应用表现出系统使用频率不高、内容组织方式单一、信息加工意识不足等局限,深入剖析这一现象背后的原因可以发现,教师认知误区、系统应用局限与学习者获取障碍是造成测评大数据支持下学习反馈有效性较低的症结所在。

1. 教师认知误区:技术支持下的评价反馈仅能提供总结性反馈

在对一线教师的访谈中,笔者发现,不少教师认为测评数据是“只能提供成绩信息”的简单分析工具,过分注重班级之间的横向成绩比较而忽视试卷内部的纵向知识分析,更没有意识到频繁的常态化数据采集能对学习者在一个阶段内的学习过程进行呈现。在一项以Signals学习系统为评价反馈平台的大规模使用情况调查中,研究者也发现了类似的问题。几乎所有的教师都将Signals的反馈定义为总结性反馈,而低估了该类工具在提供形成性反馈上的潜力[3]。基于测评数据的学习分析,不仅能表现出学习者的单次学习结果(成绩与排名),还能对一个学习阶段内学习者的过程性变化进行总结,更能对试卷内更深层的学习者知识结构进行挖掘。

2. 系统应用局限:仅设计量化分析反馈而忽视教师经验与评价

在当前可供一线教师使用的学习评价与反馈系统中,试题数据与学习者答题数据是最主要的分析数据源,通过对这些数据进行描述性统计等数据处理方法,向教师与学习者分别反馈班集体与个体在练习中的得分、排名、知识点正确率等信息。这种自动化评价反馈系统的设计,虽然能让学习者与教师在第一时间了解到每一次练习的具体情况,但在如何界定不同层级学生的分层标准、如何确定知识点之间的关系等方面都受到了一线教师的质疑。有教师表示,“我一般看一道题的班级正确率如果高于80%,我就不会再讲这道题了”“我一般不用系统里的知识点标签,它太笼统了,我都自己标注”“有些知识点非常相似,学生可以用前面的学习经验来学后面的知识”,这些教师在教学过程中积累的经验可以为学习者更好地使用学习反馈信息提供帮助与指导。此外,系统提供的客观量化数据需要教师解读才能赋予其更深层的意义。有教师提出,“我看完数据后,为了让学生知道自己的问题所在,我会为他们留言”。这些来自教师的质性反馈信息能让学习者更好地理解来自系统的数据分析结果,教师的教学经验也能为系统功能的进一步完善提供支持。

3. 学习者获取障碍:接触移动设备难

在面向学习者群体的调查中,笔者发现,教育大数据分析系统在学习者中的应用更是处于几乎缺失的状态。学习者几乎不查看学习分析结果,或是没有途径查看自己的学习反馈,更难以使用反馈信息促进自己的学习。“我们成天待在学校里,没有手机看分析报告”“我爸妈会收到我的成绩,但是很少跟我说”。有教师指出,目前学生收到的学习反馈都是二手反馈,系统向教师呈现后,教师再在课堂教学中传达该类反馈信息,这种反馈方式的效果远远不如直接告诉学习者其学习问题所在,并及时进行改正。这一现状与数字化设备支持下的学习反馈的即时性相矛盾。如何使学习者及时获得有效反馈,帮助他们调整学习进度与目标,是基于我国高中学习者特征的重要问题。

四、测评大数据支持下的学习反馈内容设计

“反馈”一词源于传播学,指一种有声或无声的信息交换[4],教学同样可以被认为是一种知识的传播方式。在教育学领域,反馈是一种对学习行为的“结果”的信息传递[3]。在针对反馈内容的研究中,有学者指出,评价反馈“不仅需要提供学生的表现信息,更需要包含提高学业水平或促进理解的方法”[4]。Voerman等在教育实践中将反馈与学习目标相结合,指出学习目标是反馈内容的核心,并将反馈定义为“由教师提供与学生的学习行为或理解相关的信息,提供反馈是为了反映学习目标并促进学习”[6]。在对教育领域的“反馈”内涵进行整理的过程中不难发现,学习反馈是在学习评价的基础上进行的,它的核心是与学习者相关的信息集合,这些信息主要包括:(1)通过学习评价获得的学习者的阶段性学习成果与理解水平信息;(2)学习者需要达到的学习目标信息;(3)促进学习者达到学习目标的学习策略与方法信息。

基于对学习反馈核心思想的解读,结合技术手段在测评大数据中的分析优势与功能可行性,本研究认为,测评大数据支持下的学习反馈在内容层面上应该包括学习者的当前学习状态、学习者的阶段性学习目标、促进学习者达到目标的学习方法与策略三部分。

(一)学习者的当前学习状态

测评大数据不仅能对学习者的基本成绩信息进行表征,更能对知识点层面、波动变化情况等多维度开展横向与纵向的比较与规律挖掘,主要包括学习者基本成绩信息、知识点信息、学习变化信息、原因信息等四方面。

1. 基本成绩信息

基本成绩信息是传统教学中较为关注的信息,也是学生与家长较希望获得的信息[7],主要包括个体总分、个体排名、班级平均分、班级排名等。这些反馈信息能帮助教师与学习者了解班级与个体的整体练习完成情况,对反映单次练习完成情况的信息进行常态化收集也能为学习变化趋势的分析提供数据支持。

2. 知识点信息

基于测评大数据分析的知识点信息主要包括知识点正确率和知识结构两类。其中,知识点正确率是表征学习者在某个单一知识点上掌握情况的信息,有助于教师与学习者发现自身的知识薄弱点与优势项,针对性地弥补自身不足。知识结构是表征学习者在某一知识体系内掌握情况的信息,能帮助学习者了解单一知识点之间的关系,发现某一知识点的薄弱原因,如:对前知识点掌握不足、相似知识点学习障碍等。

3. 学习变化信息

学习变化信息主要指学习者在多次练习与测验中的总分、排名、知识点正确率等的波动变化情况,通常以折线图的形式呈现。该类信息由单次练习中的测评大数据分析结果组成,虽然测评大数据多用于反映总结性评价结果,但在一个教学阶段内开展常态化测评大数据采集与分析,能对学习者的阶段性学习过程与变化情况进行表征,帮助教师与学习者把握学习进度,调整自己的学习步调。此外,在知识点层面的学习变化信息,能帮助学习者总结不同类型知识点的学习规律,为相似知识点的学习提供经验支持。

4. 原因信息

测评大数据不仅能帮助学习者了解学习现状,还能对学习者在试题层面的错误原因进行挖掘。测评大数据支持下的学习分析系统可以捕捉学习者在每一试题中的具体选项,而每个错误选项背后都反映了学习者的不同错因。有研究者将学习者在物理测验中的错误归纳为概念理解错误、方法运用欠缺、抽象转化障碍三类[8],而不同学科由于思维方式、知识属性等方面存在差异,具体的错误原因也不尽相同,学科教师需要结合自身教学经验与学生的错误习惯,总结错误原因,并对错误选项中的错因进行标注。在此基础上,学习者的错因将能在技术支持下作为测评大数据的一部分得到收集与分析,帮助学习者了解自身的习惯性错误原因,针对性地调整学习习惯。

(二)学习者的阶段性学习目标

测评大数据为当前学习者状态的分析提供了更客观的数据支持,把握学习状态是开展下一阶段学习的基础。已有研究表明,明确且适当的学习目标能增强学习者的学习动机与自我效能感[9],更能帮助学习者制定学习计划,提升学习效率。传统课堂中的学习目标往往以学科课程标准中的教学目标为准,所有学习者共用一个学习目标。但一致的学习目标忽略了不同学习者在个体学习进度、特征与需求等方面的差异,可能制约优等生的发展,或给后进生带来学习压力。

在测评大数据的支持下,教师可以基于已有的课程标准,结合自身的教学经验,根据学习者的学习状态数据为其制定差异化的阶段性学习目标。差异化目标是以教师的主观经验为指导,为不同层级的学习者提供不同的学习目标。实践证明,这是在控制教师工作量基础上,结合大数据优势与教师经验必要性的可行方法。具体的测评大数据支持下的阶段性学习目标制定,需要结合以下三方面信息开展:

1. 课程标准学习目标

学科课程标准规定了该学习内容需要达到的基础学习目标,这一目标往往是较为简单的,是每一位学习者在教学过程结束后需要掌握的知识与技能内容。阶段性学习目标的制定需要以课程标准为基础,在不同学习阶段对课程标准中的学习目标进行实现或发展。

2. 当前知识单元掌握情况

知识单元是指与某一知识点相关的子知识点、父知识点在内的一棵知识树。其中,本知识点正确率、父知识点正确率、前知识点正确率是表征学习者当前学习状态的重要数据。在确定学习者的下一阶段学习目标时,与该目标相关的知识点的知识单元掌握情况数据是为学习者进行分层的关键依据。

3. 相似知识单元掌握情况与变化规律

在学习者分层与差异化学习目标制定过程中,除了学习内容中核心知识点的关键数据外,相似知识单元的特征与规律也能帮助预测当前知识点的学习进度,为学习目标的制定提供支持。如,高中物理教学内容中,磁场相关知识的阶段性学习目标制定就能参考学习者的电场相关知识单元学习规律。

(三)促进学习者达到目标的学习方法与策略

在教学过程中,学习者获得的学习反馈往往以学习状态信息为主,少数学习者对下一阶段的学习目标有所把握,但对于如何达到目标的问题,几乎没有学习方法与策略上的指导信息。学习者的学习状态与阶段性学习目标反馈信息,需要可操作化的学习方法与策略的支持,才能体现其价值。

在测评大数据支持下的学习反馈中,促进学习者达到目标的学习方法与策略具体可以通过教师建议和资源推荐两种方式提供。

1. 教师建议

虽然测评大数据分析能有效表征学习者当前学习状态,但为学习者提供学习方法与策略的过程,仍需要教师的教学经验支持。教师建议的主要目的是帮助学习者认识学习中的问题行为,并为学习者提供可行的学习方法。在系统提供的学习者数据分析报告的基础上,教师结合学习者在课堂中的学习行为特征,可以告知学习者在课堂表现、学习习惯、书写习惯等方面需要改进的具体问题,如,课堂内不专心听讲,作业完成不及时等数据较难获得的过程性信息;引导学习者调整学习习惯,或与学习者分享某一知识点的学习经验,如整理错题帮助较大、记忆公式是基础等。

2. 资源推荐

帮助学习者达到学习目标的另一可行方式,就是为其提供针对性的学习资源。面对海量的信息与资源,学习者容易出现盲目选择的情况,较难辨别资源对自身的价值。现代信息技术手段的数据优势能基于学习者的测评大数据为其推荐可能需要的学习资源,帮助学习者进行信息过滤,使学习更有针对性。推荐的学习资源主要包括三种类型:教学资源、同伴资源和练习资源。教学资源主要有以知识点为单位的教学微视频、重点知识点,帮助学习者重新学习薄弱知识点;同伴资源包括学霸解析、榜样推荐,促进学习者之间的相互交流;练习资源包括错题本和提升训练,在巩固的基础上进一步拓展学习的深度。

五、测评大数据支持下的学习反馈环境设计

为了使教师与学习者及时获得准确有效的学习反馈,如何将测评大数据转化为具有教学价值的反馈信息是关键。测评大数据支持下的反馈系统环境包括:数据采集、数据准备、数据处理、信息表征、组织反馈和资源推荐(如图1所示)。

/

(一)数据采集

数据采集包括试题信息的录入与学习者测评大数据的采集两部分。试题信息可以在系统中循环使用,不同教师在组织试卷时可以使用其他教师上传的高质量试题。学习者测评数据的收集需要技术设备的支持,目前市场已有的技术设备主要有扫描仪、录入笔等,通过对图像的采集或位置的识别,将纸质练习中的答题情况转化为测评数据。此外,可以直接对学习者在线练习的数据进行采集。对试题与测评数据两个维度数据源的采集是开展数据分析的基础。

(二)数据准备

数据准备阶段是系统环境设计中需要学科教师或专家提供支持的环节,也是学习反馈系统客观性与经验性结合的体现。在这一环节中,一线教师需要在反馈系统的教师端页面中,手动选择测验试题考察的知识点,并对本节课的阶段性学习目标进行录入。在此之前,反馈系统开发人员应当在学科专家的支持下建构学科知识体系网络,并对知识点进行多级划分,以便学科教师进行统一的选择与标注。同时,任课教师需要结合班级学习者特征、教学内容难度等因素,综合制定差异化的阶段性学习目标,并在教师端页面中录入,为实现差异化学习目标的半自动化反馈提供基础。

(三)数据处理

数据处理是对测评大数据进行分析挖掘,发掘其教育价值的过程。该环节是反馈系统的后端开发过程,以数据库内的关系表建构与运算程序的设计为核心,需要系统开发人员的专业技术支持。值得注意的是,针对某一学习者的测评大数据分析并非限定于单次测试的数据中,而是对历史数据的迭代运算,从而降低特殊测评情况对学习者分析结果的影响。

(四)信息表征

在数据处理的基础上,如何 内容过长,仅展示头部和尾部部分文字预览,全文请查看图片预览。 功能。教师在获得班级学习者的个性化学情分析报告后,可以帮助学习者打印报告并分发,保证学习者掌握反馈信息。家长或学习者可以将错题集或练习本打印成册,开展复习与巩固,保证反馈系统的迭代运作。

七、研究总结

教育大数据为教与学的过程带来巨大变革,但在基础教育领域,由于受到移动设备普及困境与班级授课教学组织形式的制约,对教育大数据的应用与挖掘仍处于片面、浅层的水平。从我国基础教育常态化练习的特征出发,结合大数据带来的客观性、及时性、迭代性优势,我们可以发现,基于测评大数据的分析与规律总结是教育大数据在基础教育领域的价值所在。本研究着眼于测评大数据在学习反馈环节的应用机遇与挑战,从数据优势与教学经验有机结合的思路出发,建构了基于测评大数据分析的学习反馈系统框架。该框架从内容、环境、机制三方面提出了包含学习状态、学习目标、学习方法与策略三类核心信息在内的学习反馈概念系统,并对具体的环境、实施流程与要求进行案例解读。该反馈框架为实际调研与理论推演中生成的概念框架,在下一步的研究中,笔者将在一线教学中应用该框架,验证框架的科学性与有效性,结合教学过程中的可行性与用户体验建议,进一步修正与完善系统。

[文章尾部最后500字内容到此结束,中间部分内容请查看底下的图片预览]请点击下方选择您需要的文档下载。

  1. 二年级下册数学导学案 1.《数据收集整理》 人教版
  2. 小班个人工作计划
  3. 一年级英语Lesson 1 Hello, Birdie!教学设计2
  4. 学生评语简短50字
  5. 组织生活会对照检查材料
  6. 小学数学教案模板
  7. **_*录模板
  8. 小学语文课文教案模板
  9. 《学习的本质》读书心得
  10. 远程研修心得docx
  11. 维护所上半年党建工作暨全面从严治党情况汇报
  12. 商业模式讲稿
  13. 《慕课学习心得体会》
  14. 国旗下讲话珍惜时间做最美学习者
  15. 信息技术培训总结
  16. 三上语文教学计划
  17. 幼儿教师个人读书计划
  18. 初中研讨会发言稿
  19. 学校管理的50个案例
  20. 寒假学习建议

以上为《测评大数据支持下的学习反馈设计研究》的无排版文字预览,完整格式请下载

下载前请仔细阅读上面文字预览以及下方图片预览。图片预览是什么样的,下载的文档就是什么样的。

图片预览