安瑞范文网

智能技术支持下具身学习的特征、形态及应用

|来源:网友投稿

赵瑞斌 张燕玲 范文翔 杨现民

摘要:作为第二代认知理论,具身认知为人们理解“学习”、促进“学习”提供了一个新的视角,并逐渐孕育出具身学习这一新范式。人们从现象哲学、认知科学、神经科学等视角研究了身体与心智的关系,强调了身体感知运动系统、身体与环境间的互动以及身体经验的积累对认知的重要性。作为一种新范式,具身学习具有要素的耦合性、交互的具身性、主体的体验性、情境的多元性以及过程的动态性等基本特征。新兴智能技术,特别是混合现实、触觉仿真、无线传感、人工智能等技术的日趋成熟为具身学习的落地实施及推广应用提供了良好的支撑。它们丰富了具身学习的环境类型、体验方式、交互模态以及内容映射策略,衍生出基于智能感知、触觉仿真、混合现实的具身学习应用场景。值得注意的是,具身学习是一个多要素耦合且动态演化的过程,其学习效果受多方面因素的综合影响。在教学实践中,不可一味追求新技术的应用和身体的高度参与,而应根据学习主题和技术条件,灵活设计体验方式和交互模态,并聚焦于有效的内容映射策略和有意义的具身体验。

关键词:具身学习;具身认知;基本特征;主要形态;应用场景

中图分类号:G434   文献标识码:A    文章编号:1009-5195(2021)06-0055-10  doi10.3969/j.issn.1009-5195.2021.06.007

基金项目:教育部人文社会科学研究项目“具身认知视角下的混合现实学习环境构建及应用研究”(20YJC880131);安徽省级教学研究项目“在线教学质量提升策略与评测方法研究”(2020jyxm0633)。

作者简介:赵瑞斌,博士,副教授,硕士生导师,江苏师范大学智慧教育学院(江苏徐州 221116);张燕玲,讲师,滁州学院计算机与信息工程学院(安徽滁州 239000);范文翔,博士,讲师,杭州师范大学教育学院(浙江杭州 311121);杨现民(通讯作者),博士,教授,博士生导师,江苏师范大学智慧教育学院(江苏徐州 221116)。

一、引言

认知科学领域的研究进展一直影响着人们对“学习”的理解,也推动着学习范式的转型升级。早期,在行为主义的影响下人们认为“学习是反应的强化”。20世纪中期以来,在认知心理学和计算机科学的影响下,逐渐形成了以“计算隐喻”为典型特征的第一代认知科学,亦称经典认知科学,其将学习过程视作大脑对抽象化表征符号的加工运算。无论行为主义范式还是信息加工范式,都忽视了学习者的主体意向性、体验性以及身体与环境交互的重要性,即具有离身性的倾向(李曼丽等,2018)。随着哲学研究的不断深入以及知觉现象学、认知语言学、神经生物学等领域研究工作的推进,人们越来越强烈地意识到身体及其与环境的交互对人类认知具有重要的作用和意义,进而在20世纪末期逐渐形成了具身认知理论。该理论认为身体是认知的主体,其不仅参与了认知、影响着思维、塑造着心智,而且不同的身体构造和不同的身体参与方式会形成不同的认知结果,即认知是具身的。

具身认知理论为人们理解学习、促进学习提供了一个新的视角,并逐渐孕育出一种新的学习范式,即具身学习。目前,国内外研究者已经就具身学习开展了系列探索研究,并成功应用于语言学习、医学教育、STEAM教育等领域(Duijzer et al.,2019)。其中,混合現实、触觉仿真、体感交互、人工智能等技术的日趋成熟为具身学习的开展提供了良好的支撑。本文在分析具身学习范式的学理及其特征的基础上,从学习环境类型、具身体验方式、感知交互模态、学习内容映射等方面阐述了智能技术影响下具身学习的主要形态,并结合国内外最新研究成果,提出了智能技术支持下具身学习的典型应用场景和实例。

二、具身认知理论发展的学理基础

受笛卡尔“身心二元论”的影响,经典认知科学通常将身体和心智视为两种不同性质与功能的实在。心智属于精神范畴,类似于计算机软件,主要用于“符号化认知表征”的加工运算;身体属于物质范畴,类似于计算机硬件,主要为心智提供一个物理载体。由于认知表征是抽象化的符号,其加工运算过程可独立于承载它的身体,这意味着在经典认知科学中认知是“不具身的”或“离身的”(叶浩生等,2018)。

上世纪末,随着研究工作的推进,传统的离身认知观受到越来越多的质疑和挑战。与此同时,知觉现象学、认知语言学以及认知科学、神经科学等领域的学者从不同的学理背景出发揭示了身体与认知之间的密切关系,并提出了相应的具身认知观。这些认知观尽管在学理背景、阐述方式、侧重点等方面有所差异,但它们之间却有着内在的一致性和共同的诉求。

1.基于知觉现象学的具身认知观

知觉现象学是由法国现象学家梅洛—庞蒂提出的一种哲学思想,其主张身体、知觉和世界是辩证统一的,身体是知觉的主体,知觉是身体的基本技能,人类对世界的认知依靠身体知觉和具身经验(唐佩佩等,2012)。现实生活中,人们通过身体活动与世界中的其他物体产生互动,并利用触觉、动觉、视觉、听觉、嗅觉等器官不断地感知世界。正是在这些交互感知过程中,人们根据身体的位置与状态、肢体的动作与姿势,以及其感知信息不断地提炼身体运动图式,持续地积累各种身体经验。同时,这些身体化的图式和经验赋予人类新的灵活性和可能性,从而让人们能够不断获得新的技能和认知。

可见,在知觉现象学中,梅洛—庞蒂把人类的认知过程与具有能动性的身体器官结合起来,并认为认知过程是人类通过身体与世界的互动而提炼运动图式、积累鲜活体验的(刘胜利,2011)。学习在本质上是由具体情境引发身体回应,身体进一步辨别情境的动力循环过程,即一个具身性、情境性的体验过程(陈醒等,2019)。这与将认知视为人们在大脑中对抽象化表征符号的加工与运算的经典认知科学有很大不同。不难发现,梅洛—庞蒂将经典认知科学中抽象化的符号表征置换为具体的身体体验,并以此来强调身体体验对人类认知过程以及认知结果的重要性。另一位学者巴萨卢于上世纪末提出的知觉符号系统理论也强调认知在本质上是知觉性的,认知过程是对外界刺激形成无意识的神经表征和有意识的知觉经验,并通过整合知觉、运动、情感等多种信息对外界事物形成具有模式性、类似性的认知结果(Barsalou,1999)。

2.基于认知语言学的具身认知观

认知语言学坚持体验哲学观,以身体经验和认知为出发点,以概念结构和意义研究为中心,通过感知体验、意象图式、概念隐喻等理论创造性地解释语言事实后面的认知方式(王寅,2005)。认知语言学中的思想,特别是意象图式和概念隐喻,鲜明地体现了人类认知活动的具身性。

意象图式。意象图式是在人类与外界交互过程中反复出现且赋予人类经验一致性结构的某种构架模式,亦是人类通过具体概念来理解抽象概念的桥梁。例如莱考夫等人(2015)归纳出来的容器图式、上下图式、前后图式、部分整体图式、中心边缘图式、连接图式等。不难发现,这些意象图式与人类的身体结构及运动体验密切相关。

概念隐喻。隐喻本是语言学中的一种修辞手段。然而,在《我们赖以生存的隐喻》一书中,莱考夫等人开创性地认为:隐喻不仅是一种修辞手段,更是人类认知事物的一种重要方式,是具体概念向抽象领域的系统投射(乔治·莱考夫等,2015)。与此同时,隐喻根植于社会生活和身体体验,人们拥有何種隐喻本质上取决于个体的身体体验、个体与事物的交互作用以及个体所处的社会和文化环境。

由此可见,在认知语言学的视角,意象图式和概念隐喻是人类认知抽象概念、形成高级思维的重要方式,而这两种方式是人们在自然、无意识状态中通过身体体验习得的。这意味着认知是无意识的、思维是隐喻的、心智是具身的。

3.基于生成论的具身认知观

受知觉现象学、认知语言学以及知觉生态学的影响,智利著名的神经生物学家瓦雷拉在其创立的生命自创生理论的基础上进一步提出了心智生成论的思想。生成论主张:心智和世界不是表征与被表征的关系,它们是在“感觉—行动”的循环中同时生成的;认知也不再被视为一种抽象符号的加工运算,而是有机体适应环境的一种活动(刘志斌等,2015)。在生成论中,通过“身体与环境的耦合关系”以及“心智与身体的具身关系”将心智、身体与环境融为一个紧密的联合体。

第一,身体与环境的耦合关系。有机体的身体与其生存环境之间存在着相互影响、彼此约束的紧耦合关系。有机体根植于环境,并利用其独特的身体结构与身体行为不断地感知和影响着环境。正是在此过程中,有机体塑造了其丰富的心智内涵,也造就了其独特的生存环境。它们在同一个过程中生成,而且一经生成便成为一个整体,不可分离,并构成未来共同演化的前提。正因为此,人类的认知结果,例如个体所理解的事物属性和意义,既不是环境中客观存在的,也不是人类心智主观赋予的,而是在有机体与环境共同演化过程中形成的产物。

第二,心智与身体的具身关系。瓦雷拉等认为“身体”具有双重意义:“它既包含身体作为一种活生生的、经验的结构,也包含身体作为认知机制的情境与背景。”(F.瓦雷拉等,2010)可见,身体既是一种生物结构,亦是一种经验结构。在此基础上,瓦雷拉使用“具身行动”来说明这种生物视域与经验视域的交织和转换。使用“具身”,意在强调经验来自具有各种感觉运动能力的身体,而这些能力自身内含在一个更广泛的生物、心理和文化的情境中;使用“行动”,意在强调感知与行动在认知过程中的循环约束(德莫特·莫兰,2019)。

不难发现,生成论以一种全新的视角解释了身体与环境的关系以及认知过程。在此视角下,个体不是一种独立的、被动的存在,而是与环境处于共同演化之中且主动地构建一个自己的世界。在演化进程中,个体与环境是紧密耦合的,个体心智在其与环境的耦合过程中生成。

4.基于镜像神经元的具身认知观

自上世纪末,神经生理学家逐渐发现在灵长类动物大脑中存在一类特殊的神经元,即镜像神经元,其能够在个体执行某一动作或观察其他个体执行该动作时被有效激活。例如,当一只猿猴自己捡起食物或观察到有人捡起食物时,位于其大脑腹侧运动前皮层的一些神经元会表现出电生理效应(Rizzolatti et al.,1996)。后续研究证实在人类大脑中也存在类似功能的镜像神经系统,其在认知过程中具有重要意义。镜像神经元能够将动作感知和动作执行进行有效匹配和融合,从而把传统意义上抽象的心理模拟发展成为以镜像机制为基础的具身模拟。

作为神经科学研究领域的里程碑事件,镜像神经元的发现为人们理解身体与心智、动作与认知提供了一个新视角。正如叶浩生教授所说:“由于镜像机制把动作知觉和动作执行进行匹配,观察者仅仅通过对他人行为的知觉,就激活了执行这一动作的神经环路,产生了一种他人动作的具身模拟,进而可以直接把握他人的行为意图。”(叶浩生,2016)可以说,镜像神经元的发现既揭示了传统身心二元论的缺陷,又为具身认知理论提供了坚实的生物学证据。与此同时,镜像神经元所表现出来的双重激活功能,即执行动作和观察动作,进一步丰富和完善了具身认知理论。

综上所述,人们已经从现象哲学、认知科学、神经科学等视角研究了身体与心智的关系,并就“具身认知”给出了各自的理论解释和支撑依据。尽管研究者的领域和视角不同,但不难发现这些认知观有着内在的一致性和共同的诉求,即都强调身体感知运动系统、身体与环境间的互动以及身体经验的积累对认知的重要性。由此可见,身体不再是边缘化的、无关紧要的“物理载体”,而是具有重要意义及影响的认知参与者和心智塑造者。

三、具身学习范式及其基本特征

在具身认知理论的影响下,具身学习已成为教育界近年来研究和实践的一种新兴学习范式。究竟何为具身学习?人们从不同视角出发,给出了不同的解读。例如,郑旭东等人认为:“从具身认知的观点看,学习是基于身体感知的即时性行动和借助技术工具的结构化反思两种认知模式的协调运作”(郑旭东等,2019);叶浩生认为:“作为身体学习的具身视身体为学习发生的部位,把身体视为知识的渊源,通过身体活动获取对各种‘活’的生活体验”(叶浩生,2014)。

作为一种新范式,具身学习在表现形态、实现途径、应用模式等方面都具有多样性和灵活性,难以给出一个明确、统一的定义。这里,笔者根据上文所梳理的不同视角下的具身认知观,在归纳和提炼其核心理念与共同诉求的基础上,构建了如图1所示的具身学习范式描述模型,并以此来把握和反映具身学习范式的基本特征。

第一,要素的耦合性。与其他学习范式一样,具身学习也包含学习者、学习环境、交互活动、学习情境、支持技术等要素。特别之处在于,在具身学习中,这些要素是相互关联、相互影响且紧密耦合的。如图1所示,外部虚线圆盘代表开放式具身学习环境,内部渐变圆环表示学习者与环境间的具身交互。可以看出,学习者置身于学习环境之中,通过具身交互与环境融为一体,且身体的“感觉—运动”系统和环境的情境、技术等要素涉入具身交互之中并影响着具身交互。换言之,在具身学习中,环境似土壤、似源泉,学习者根植其中并通过根系般的具身交互将各要素紧密耦合、融为一体。

第二,交互的具身性。具身性是具身学习范式最鲜明的特征。如图1中渐变圆环所示,具身学习正是通过根系般的“具身交互”将学习各要素紧密耦合起来,实现了学习者与学习环境的交融共生,即学习者形成了鲜活的具身经验,环境也成为适于学习者生存的具体环境。因此,在具身学习范式中,要秉持“身心一体”的理念,鼓励释放学习者的身体,让学习者通过“身体运动”和“具身模拟”与环境进行交互。前者主要是指让学习者通过亲身的运动、动作、姿态、表情等参与交互,后者指通过观察他者的身体运动产生与他者相一致的具身体验。

第三,主体的体验性。在经典认知科学视角下,学习被视为学习者在其大脑中形成对外部客观事物的抽象化符号表征的过程。在这种身心分离的离身学习中,学习者往往处于被动的接受状态,易导致对学习者生命特征以及对人类认知意向性与体验性特征的漠视。相反,具身学习尊重学习者生命,关注学习者个体差异,强调释放学习者的身心,让其融入环境并在具身交互过程中体验式地感知世界、积累经验、促进认知。因此,具身学习要求树立学习不是为了形成对外部世界的抽象表征,而是为了积累身体体验并更好地服务于个体实践的理念。总之,具身学习既体现了“人为性”的认知特点,又秉持“为人性”的学习理念。

第四,情境的多元性。正如瓦雷拉所说:“经验来自具有各种感觉运动能力的身体,而这些能力自身内嵌于一个更广泛的生物、心理和文化的情境中”(F.瓦雷拉等,2010)。可见,情境对具身学习具有重要的意义,其不仅直接影响着具身學习能力,更是学习者进一步获得鲜活具身经验的前提条件。具身学习不能脱离学习情境而独立存在。这种情境既包括学习场景、物质资源、环境状态等外部物理情境,也包含学习气氛、人际关系、心理状态、文化背景等社会文化情境。此外,在具身学习中,这些情境并非固定、预设的,而是随着具身交互而动态更新的。

第五,过程的动态性。在传统的教学设计中,往往会强调预先设定好学习内容、学习情境、教学方法、学习目标甚至学习进度。然而,具身学习更强调学习过程的动态生成性(郑旭东等,2016),即学习是学习者、学习环境、学习资源等要素在交融过程中相互影响、动态创生的过程。在具身学习过程中,学习者及学习同伴不断缘遇着、创造着、体验着、解释着各类学习事件,与此同时环境不断变化、意义不断生成、经验不断积累。可以说,学习就是这一系列的动态生成的学习事件以及由其产生的意义和影响。在图1给出的具身学习范式描述模型中,笔者用一条向上延伸的射线来表示学习活动沿着时间轴的动态演化过程。在此过程中,学习者、学习环境以及各要素均处在不断创生、演化和发展之中。

四、智能技术影响下具身学习的主要形态

如上所述,具身学习强调学习者要根植于情景化的环境之中,并通过具身交互驱动教学要素的交融与具身体验的积累。显然,不同的技术条件会衍生出不同形态的具身学习。这里,笔者重点围绕学习环境类型、具身体验方式、感知交互模态、内容映射策略等方面,阐述新兴智能技术,特别是混合现实、触觉仿真、体感交互、人工智能等技术对具身学习形态的影响。

1.学习环境类型

学习环境是具身学习活动实施的场所,更是影响具身认知发生的重要条件。不同类型的学习环境能够为学习者提供不同的感知信息和交互模态。随着虚拟现实,特别是混合现实技术的发展与应用,构建新型学习环境已经成为可能。依据知识呈现方式与感知交互模态方面的差异,笔者将具身学习环境大致分为三类:真实物理环境、虚拟仿真环境和混合现实环境。

真实物理环境。作为一种传统而又常用的学习环境,其通常包含物理的学习场所、学习资源、学习情境及其事物原初、真实的状态特性,能全面支持触觉、嗅觉、听觉、视觉等感觉器官,且能让学习者在自然状态下通过身体器官及运动系统进行交互体验。不足之处在于,其难以对抽象概念、内部原理、动态过程进行可视化呈现及多模态感知。

虚拟仿真环境。通过虚拟现实技术和系统仿真技术,可以在一定程度上模拟并可视化抽象概念、内部原理和动态过程,从而增强对学习内容的表征能力。然而,由于真实物理存在的缺失以及当前技术水平的限制,这种只见虚不见实的学习环境通常只能提供对虚拟对象的视、听觉体验,缺少触、嗅觉感知。

混合现实环境。目前,借助混合现实技术可以将虚拟的、数字化的对象和信息自然、实时地融入到身边的三维物理空间。这种虚实融合的混合式学习环境,综合了上述两类环境的优点,既增强了学习内容的表征与学习环境的体验能力,又支持多模态感知、具身运动以及自然交互。正因为此,混合现实环境成为具身学习的理想场所。近年来,国际上多项研究成果表明混合现实环境能够有效支持具身学习,并显著促进STEAM相关内容的学习效果(Johnson-Glenberg et al.,2014;Lindgren et al.,2016)。

可见,虽然具身学习可以在多种类型的学习环境中开展,但是从知识表征和交互模态两个维度考量,混合实现环境具有更高的具身度,也更有利于促进具身学习。当然,在设计混合现实学习环境时,为了更好地支持感知与交互体验,应遵循“能实不虚”“以虚补实”以及“虚实融合”的原则。

2.具身体验方式

具身认知强调在身体与环境互动过程中获得与积累身体体验,故身体的参与程度和参与方式对具身学习具有特殊意义。一方面,从参与程度的维度可以将身体运动分成自然、无约束状态下的全身运动和安坐状态下的有限姿态动作。另一方面,具身认知理论以及镜像神经元领域的研究表明,除亲身参与运动之外,学习者还可以通过具身模拟的方式获得具身体验,即通过观察或想象他者在特定环境及情景中的身体运动来获得相应的具身体验。基于此,笔者以参与程度和参与方式为坐标轴,将具身体验分成如图2所示的四种类型。

就具身度而言,学习者亲自参与的全身运动显然具有更高的具身度,其能调动更多的身体参与,获得更丰富的具身体验。在智能时代,通过体感交互设备和技术,例如Kinect传感器,可以采集和识别学习者各肢体的空间位置、姿态动作和运动轨迹,从而更智能、更有效地支持身体参与并获得具身体验。与此同时,需注意的是具身学习是一个多因素影响下的复杂过程。在具体实践中,除了身体参与方式、参与程度之外,实际学习效果还受到具身体验的有效性、认知负荷的程度等因素的影响。因此,具身学习不能一味地追求身体的高度参与,而是要根据学习者、学习内容、学习环境等要素的特点,合理地选择身体的参与方式和参与程度。

3.感知交互模态

感知交互是学习者与环境之间相互影响、交融共生的桥梁,亦是形成具身体验、实现具身学习的根本途径。具身认知理论强调,学习活动开展过程中,学习者应通过身体运动、姿态动作、面部表情等方式直接感触和操控学习对象及其可视化、语义化的表示模型;同时,学习者也应通过其“感觉—运动”系统实时、同步地接受相应的反馈信息。这种交互模态是高具身的,是利于有意义学习的。然而,在实践过程中,由于学习环境、学习资源、活动类型、可用技术等方面存在的差异和限制,交互模态也存在一定的差异,其主要体现在感知通道和交互形式两方面。

第一,感知通道。在与环境交互过程中,学习者主要通过触觉、动觉、视觉、听觉、嗅觉等感知通道接收环境的反馈信息,形成意象图式并积累具身体验。按照具身认知理论,与环境交互涉及的感知通道越多,形成的具身体验就越鲜活、越完整。然而,在一些具身学习中,往往只涉及部分感知通道,例如大多数的虚拟仿真环境通常只支持视、听觉感知。

第二,交互形式。交互形式大致可分为直接交互和间接交互。前者指学习者通过身体器官、动作系统和姿态动作直接感触和操控学习对象,后者指学习者通过鼠标、手柄或其他第三方媒介间接地感触和操控学习对象。具体实施过程中,交互形式往往取决于学习环境类型、内容呈现方式、技术设备供给等因素。

多通道感知、直接操控实时响应的交互模态是具身学习的一种理想状态,其不仅能够提升学习体验、形成鲜活认知,而且有助于延长记忆时间并促进知识的迁移 (Anastopoulou et al.,2011)。近些年来新兴的智能技术,特别是触觉仿真、无线传感、混合现实等技术,有望为实现这类高具身度的交互形式提供良好的支持。

4.内容映射策略

具身学习主要通过获得并积累“感觉—运动”体验来实现。因此,在具身学习活动开展过程中,需要在学习内容与“感觉—运动”体验之间建立有效的映射关系。这种关系的建立及其产生的效果主要取决于知识呈现的媒介形式。具身学习通过融合无线传感、虚拟现实、3D打印等技术,不仅能以三维动画、全息影像、打印制品等媒介形式逼真地呈现教学内容,而且能支持师生通过身体行为驱动知识呈现媒介的动态变化。这为构建学习内容与“感觉—运动”体验之间的映射关系提供了新途径。

第一,身体运动驱动知识表达。对于抽象概念及相关原理,在根据数学模型构建其可视化表示形式的基础上,借助无线传感技术与可视化技术可将学习者的身体位置、动作姿态与知识的呈现形式以及动态变化过程相关联,并通过学习者的身体运动实时地驱动知识的生成、表示及呈现。例如,在学习速度、加速度等概念时,通过实时采集学习者的位置信息,让学习者通过身体运动来驱动并体验运动曲线的绘制过程(Espinoza,2015)。

第二,身体器官模拟学习对象。在智慧教学环境中,通过行为感知设备与智能分析技术,可以让师生更加便捷、有效地利用动作、手势、姿态、表情、声音以及多人协作扮演等方式模仿学习对象的属性及行为特征,从而实现教学内容与身体体验之间的映射。例如,在外语教学中,让学生通过模仿小鸟的飞行动作加深对“Bird”“Fly”等单词的理解与记忆。

第三,身体经验隐喻学习内容。基于意象图式和概念隐喻理论,可以将新的、抽象的概念与熟悉的、具体的概念相关联。此外,通过有效设计概念的呈现方式,将其与身体体验建立“隐喻”,也可以促进概念的理解和推理。例如,将概念呈现在厚重的媒介上可以突出其重要性、呈现在温馨的背景中更能形成积极的判断等。在传统教学环境下,有限的资源和特定的时空限制了这类媒介的制作与应用,混合现实与3D打印技术的结合能够有效突破这种限制,从而更广泛、便捷地创建知识与学习体验之间的有意义映射。

学习内容和“感觉—运动”体验的映射关系对具身学习具有重要意义,能够让学习者在亲身体验或观察这种关系及其动态变化的过程中,以“身体书写”般的方式就学习内容形成深刻、鲜活、持久且有意义的具体体验。目前,一些研究成果已经表明建立有意义的映射关系能够有效促进学习效果(李青等,2016;Skulmowski et al.,2018)。相反,若缺失这种关系或者这种关系是无意义的,则不能形成有意义的具体体验,甚至会对学习过程带来干扰或额外的认知负荷(Johnson-Glenberg,2018)。

五、基于智能技术的具身学习典型应用

具身学习既是一种新的学习范式,亦蕴含着创新教育理念。其形态的多样性赋予了应用领域的广阔性和实现途径的灵活性。换言之,在实践中,只要秉持具身认知的观念,理解具身学习的基本特征、实现形态以及影响要素,便可以灵活、有效地开展具身学习。这里,笔者结合具体的学习环境、学习主题以及技术条件,分析并阐述了智能技术支持下具身学习的几种典型应用场景和实例。

1.基于智能感知技术的具身学习

在传统课堂教学活动中,教师通常会强调学生坐姿端正、少讲话并认真听讲。对教师而言,这种模式有利于维护良好的课堂秩序,有利于知识的讲解和传输。然而,此模式却可能忽视学生鲜活的生命特征以及学习的主体性,从而将学生变成了一种被动的、冷漠的、机器般的信息接收者。从具身学习的视角出发,传统课堂教学应尊重学生的主体性,鼓励学生具身交互,讓学生以自然的身心状态参与到课堂教学活动中,从而实现学生、教师以及教学内容的有机交融以及具体经验的积累。

具体而言,师生可通过身体运动和具身模拟两种途径在传统课堂中实现具身学习。身体运动指激活学生的感知运动系统,让学生通过有意义的身体运动而参与课堂活动,积累身体经验,学习课堂内容。例如,在外语课堂上学习动物单词时,教师一边讲授相关内容,一边鼓励学生通过身体运动或手势动作来模仿动物的行走、跳跃、飞行等行为,并通过发音来模拟动物的叫声或跟读相应的单词。具身模拟是指让学生通过观察或想象教师、同伴的具身表演以及视频、动画等动作行为而产生相应的身体体验。例如,教师在课堂上讲述相关内容时,不仅通过语言的方式进行描述,更通过身体的表演,手势、表情的模拟甚至配合相应的视频、动画,让学生通过观察、模仿进行学习。目前,各种智能感知设备与技术已经广泛应用于智慧教室建设之中,这为师生在教室环境中常态化地开展具身学习提供了重要支持。其中,借助高清摄像头、无线传感器、大屏显示器等设备以及人工智能、大数据等技术,不仅能有效地感知教学过程中师生的身体姿态、动作行为、言语表情等信息,而且能对这些信息进行及时、准确地挖掘与分析。在这种技术环境中,师生不仅可以有效开展具身交互,实现具身教学,同时也能够对具身教学过程及其效果进行精细化分析和评估。近年来,国际上多项研究成果表明在课堂上实现具身教学可以有效提高学生的学习动机、学习投入以及对学习内容的理解和记忆(Mavilidi et al.,2015;Schmidt et al.,2019)。

2.基于触觉仿真的具身学习

在具身理论中,触觉对认知具有特殊的作用及意义。究其原因,触觉是人类与外界物理环境交互所采用的一种最原初、最直接且最重要的感知系统。通过刺激身体动觉系统中的肌肉、肌腱、关节等感受器,人们可以感知、探究并识别物体的材质、硬度、重量、形状、温度等物理属性以及物体的弹力、形变、运动等行为特征,从而形成直接的、鲜活的、丰富的具身体验。与视觉、听觉等“远端”感知系统相比,触觉感官与身体联系更紧密,即具身度更高。因此,在知觉现象学中,触觉被认为是具身性的一个关键特征,其在身体构造和认知过程中具有某种本体论的优先性,即身体在触觉中“成为身体”(德莫特·莫兰,2019)。

近年来触觉仿真技术的兴起为人们设计和开展基于触觉交互的具身学习提供了可能。如图3(a)所示,触觉仿真主要依靠一个支持人机双向交互的特殊机电设备,通过操纵杆、数据手套、鼠标、方向盘、手指膜等将学习者与虚拟物体相连,让学习者在交互式操控过程中感知虚拟物体的物理特性和机械行为。在触觉仿真技术的支持下,可以通过如下途径开展具身学习:

第一,在虚拟仿真学习环境中,实现多模态感知与交互。目前,在大多数的虚拟仿真学习环境,学习者只能通过视觉、听觉进行感知。融入触觉仿真技术之后,学习者可以实现对学习内容和认知对象的多模态感知与交互,从而提高学习环境的沉浸感并促进知识的深度学习和迁移。如图3(b)所示,Tinguy等人通过穿戴式指尖触觉仿真器实现对人体器官的硬度、弹力等属性的感知,并将其成功应用于VR触诊模拟器并支持医生的仿真培训(Tinguy et al.,2018)。

第二,在STEAM课程教学中,促进抽象概念的学习和理解。对于STEAM课程中的一些抽象概念,例如摩擦力、阻尼、电磁场等,通过触觉感知技术将概念以及概念间的因果关系与学习者的触觉感知关联起来,让学习者在交互感知的过程中,形成对抽象概念的具身经验及深度理解。例如,在图3(c)中,让学生通过旋转一个操纵杆来交互式地控制齿轮的转动,并在此过程中通过力的输入与反馈力的感知来体验两个齿轮的联动和学习相关物理知识(Han et al.,2011)。

3.基于混合现实的具身学习

目前,在计算机视觉、空间感知、人工智能以及可视化等技术的支持下,已经可以构建出一种将人、环境和计算机三者融为一体的混合现实环境。在此类环境中,来自物理世界的各类信息和来自虚拟世界的各类信息在时间、空间、视觉、听觉等维度上实现了自然的匹配和有机的融合,能够支持人们进行实时、多模态的交互以及具身、沉浸式的体验。可见,混合现实环境为具身学习提供了良好的支撑条件,不仅能拓展具身学习的应用范围,而且能够提升具身学习的实际效果。目前,面向具身学习的混合现实学习环境构建已经成为国际研究热点,并已取得一些成果。其中,以美国马里兰大学人机交互实验室构建的SharedPhys(Kang et al.,2016)和美国亚利桑那州立大学研发的SMALLab(Kelliher et al.,2009)最具代表性和影响力。

基于此类混合现实学习环境,人们可以开展多种类型的具身学习。在具身学习实施过程中,针对学习内容及其特点,教师需要系统性地考虑知识的呈现方式、内容的映射策略、具身体验途径、交互感知模态等因素。如图4所示,在SharedPhys环境中,针对人体呼吸及血液循环这一学习主题,Kang等人设计了一种高具身的协作式学习活动(Kang et al.,2016)。在此学习活动中,学习者站在大屏幕前自由地移动、跳跃、跑步,并通过相互协作、角色扮演等方式进行体验式的学习;SharedPhys利用便携式传感器实时采集学习者的心率、呼吸频率、心电、体温等生理数据,利用Kinect体感技术识别学习者的身体位置、运动状态以及手势动作等信息。同时大屏幕上以三维模型、语音、文本的形式呈现学习内容、学习任务,并以图形、动画的形式实时、动态地呈现学习者身体运动状态与其呼吸、血液系统之间的关系。在该学习活动中,将学习内容与学习者的身体运动密切地联系起来,让学习者通过控制身体状态来驱动知识的生成与表示,通过观察和体验探究科学知识并积累丰富、鲜活的具体体验。

六、总结

具身认知理论揭示了身体及其与环境的交互对人类认知的重要性,这使得人们认识到身体不仅仅是认知活动的“物理载体”,更是认知的参与者和心智的塑造者。具身学习逐渐成为一种新的学习范式。具身学习鼓励并支持学习者的具身交互和感知体验,目的是实现学习者、学习环境、学习资源等要素的紧密耦合和动态演化。无线传感、虚拟现实、人工智能等新兴智能技术在教育教学环境中的逐步应用,为有效开展具身学习并促进教学创新提供了重要契机。它们丰富了具身学习的环境类型、体验方式、交互模态以及内容映射策略,衍生出基于智能感知、触觉仿真、混合现实的具身学习应用场景。值得注意的是,具身学习是一个多要素耦合且动态演化的过程,其学习效果受多方面因素的综合影响。在教学实践中,不可一味地追求新技术的应用和身體的高度参与,而应根据学习主题和技术条件,灵活设计体验方式和交互模态,并聚焦于有效的内容映射策略和有意义的具身体验。

参考文献:

[1][爱尔兰]德莫特·莫兰(2019).现象学核心概念——具身性与能动性[EB/OL].[2020-05-23].http://ex.cssn.cn/zhx/ zx_lgsf/

201907 /t20190723_4937673_1.shtml.

[2][美]乔治·莱考夫,马克· 约翰逊(2015).我们赖以生存的隐喻[M].何文忠.杭州:浙江大学出版社:3-7.

[3][智]F.瓦雷拉,[加]E.汤普森,[美]E.罗施 (2010).具身心智:认知科学和人类经验[M].李恒威,李恒熙,王球等.杭州:浙江大学出版:139.

[4]陈醒,王国光(2019).国际具身学习的研究历程、理论发展与技術转向[J].现代远程教育研究,31(6):78-88,111.

[5]李曼丽,丁若曦,张羽等(2018).从认知科学到学习科学:过去、现状与未来[J].清华大学教育研究,39(4):29-39.

[6]李青,赵越(2016).具身学习国外研究及实践现状述评——基于2009—2015年的SSCI期刊文献[J].远程教育杂志,34(5):59-67.

[7]刘胜利(2011).身体经验与身体表象——梅洛—庞蒂对传统心理学的身体模型的方法论批判[J].科学技术哲学研究,28(2):51-55.

[8]刘志斌,高申春(2015). 从心智进化到心智生成——瓦雷拉的心智生成观及其对具身认知的启示[J].心理学探新, 35(6):488-492.

[9]唐佩佩,叶浩生(2012).作为主体的身体:从无身认知到具身认知[J].心理研究,5(3):3-8.

[10]王寅(2005).语言的体验性——从体验哲学和认知语言学看语言体验观[J].外语教学与研究,(1):37-43.

[11]叶浩生(2014).“具身”涵义的理论辨析[J].心理学报,46(7):1032-1042.

[12]叶浩生(2016).镜像神经元的意义[J].心理学报,48(4):444-456.

[13]叶浩生,麻彦坤,杨文登(2018).身体与认知表征:见解与分歧[J].心理学报,50(4):462-472.

[14]郑旭东,王美倩(2016).从静态预设到动态生成:具身认知视角下学习环境构建的新系统观[J].电化教育研究,37(1):18-24.

[15]郑旭东,王美倩,饶景阳(2019).论具身学习及其设计:基于具身认知的视角[J].电化教育研究,40(1):25-32.

[16]Anastopoulou, S., Sharples, M., & Baber, C. et al. (2011). An Evaluation of Multimodal Interactions with Technology While Learning Science Concepts[J]. British Journal of Educational Technology, 42(2):266-290.

[17]Barsalou, L. W. (1999). Perceptual Symbol Systems[J]. Behavioral and Brain Sciences, 22(4):577-609.

[18]Duijzer, C., Marja, H. P., & Veldhuis, M. et al. (2019). Embodied Learning Environments for Graphing Motion:
A Systematic Literature Review[J]. Educational Psychology Review, 31:597-629.

[19]Espinoza, F. (2015). Graphical Representations and the Perception of Motion:
Integrating Isomorphism Through Kinesthesia into Physics Instruction[J]. Journal of Computers in Mathematics and Science Teaching, 34(2):133-154.

[20]Han, I., & Black, J. B. (2011). Incorporating Haptic Feedback in Simulation for Learning Physics[J]. Computers & Education, 57(4):2281-2290.

[21]Johnson-Glenberg, M. C. (2018). Immersive VR and Education:
Embodied Design Principles That Include Gesture and Hand Controls[J]. Frontiers in Robotics and AI, (5):1-19.

[22]Johnson-Glenberg, M. C., Birchfield, D., & Tolentino, L. et al. (2014). Collaborative Embodied Learning in Mixed Reality Motion-Capture Environments:
Two Science Studies[J]. Journal of Educational Psychology, 106(1):86-104.

[23]Kang, S., Norooz, L., & Oguamanam, V. et al. (2016). SharedPhys:
Live Physiological Sensing, Whole-Body Interaction, and Large-Screen Visualizations to Support Shared Inquiry Experiences[C]// The 15th International Conference on Interaction Design and Children. ACM:275-287.

[24]Kelliher, A., Birchfield, D., & Campana, E. et al. (2009). SMALLab:
A Mixed-Reality Environment for Embodied and Mediated Learning[C]// ACM International Conference on Multimedia. ACM:1029-1032.

[25]Lindgren, R., Tscholl, M., & Wang, S. et al. (2016). Enhancing Learning and Engagement Through Embodied Interaction Within a Mixed Reality Simulation[J]. Computers in Education, 95:174-187.

[26]Mavilidi, M., Okely, A. D., & Chandler, P. et al. (2015). Effects of Integrated Physical Exercises and Gestures on Preschool Children’s Foreign Language Vocabulary Learning[J]. Educational Psychology Review, 27(3):413-426.

[27]Rizzolatti, G., Fadiga, L., & Gallese, V. et al. (1996). Premotor Cortex and the Recognition of Motor Actions[J]. Cognitive Brain Research, 3(2):131-141.

[28]Schmidt, M., Benzing, V., & Wallman-Jones, A. et al. (2019). Embodied Learning in the Classroom:
Effects on Primary School Children’s Attention and Foreign Language Vocabulary Learning [J]. Psychology of Sport and Exercise, 43:45-54.

[29]Skulmowski, A., & Rey, G. D. (2018). Embodied Learning:
Introducing a Taxonomy Based on Bodily Engagement and Task Integration[J]. Cognitive Research:
Principles and Implications, 3(6):1-10.

[30]Tinguy, X. D., Pacchierotti, C., & Marchal, M. et al. (2018). Enhancing the Stiffness Perception of Tangible Objects in Mixed Reality Using Wearable Haptics[C]// 2018 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). IEEE:81-90.

收稿日期 2021-08-25 責任编辑 汪燕

Embodied Learning Supported by Intelligent Technology:
Characteristics, Forms and Applications

ZHAO Ruibin, ZHANG Yanling, FAN Wenxiang, YANG Xianmin

Abstract:
As the second-generation cognitive theory, embodied cognition provides a new perspective for people to understand and promote learning, and has gradually nurtured a new paradigm of embodied learning. People have studied the relationship between body and mind from the perspectives of phenomenology, cognitive science and neuroscience, and emphasized the importance of human sensorimotor system, interaction between body and environment, and accumulation of body experience to cognition. As a new paradigm, the embodied learning is typically characterized by coupled elements, embodied interaction, subject’s experience, diverse situations, dynamic processes and so on. In recent years, the growing maturity of emerging smart technologies, especially mixed reality, haptic simulation, wireless sensing, and artificial intelligence, provides great support for the implementation and promotion of the embodied learning. These technologies have enriched the type of environment, the way of perceptual experience, interaction modalities, and content mapping strategies, and have derived embodied learning application scenarios on the basis of smart technologies, such as intelligent perception, tactile simulation, and mixed reality. It is worth noting that the embodied learning is a multi-factor coupling and dynamic evolution process, and the learning performance is comprehensively affected by many factors. As a result, teachers should not blindly pursue the application of new technologies and the frequent engagement of the physical body in teaching practice. Instead, they should flexibly design the interaction modalities and the perception methods, and focus on the effective content mapping strategies and the meaningful embodied experiences according to the actual learning topics and technical conditions.

Keyword:
Embodied Learning; Embodied Cognition; Common Characteristics; Main Modalities; Application Scenarios

猜你喜欢应用场景具身认知基本特征区块链技术在“数字政府”中的应用中国经贸导刊(2020年8期)2020-05-28区块联盟链视角下产学研信息平台框架构建研究现代情报(2019年8期)2019-08-23具身理解新闻标题隐喻的认知凸显构建北京科技大学学报(社会科学版)(2019年2期)2019-05-04“扪心”肢体动作抑制大学生考试作弊倾向教育教学论坛(2018年49期)2018-12-11基于应用场景的分层实践教学模式研究与实践科教导刊(2018年28期)2018-01-04基于大数据平台的信息系统深化应用开发设计及实现科技创新导报(2017年6期)2017-06-19中国男女平等政策演变特征研究经济研究导刊(2017年3期)2017-03-23生态理念在环境艺术设计中的体现研究文艺生活·中旬刊(2017年1期)2017-02-24范例教学在当前初中化学教学中的应用探讨读与写·上旬刊(2016年11期)2017-01-19具身认知理论及其对课堂教学的启示中小学心理健康教育(2014年12期)2014-07-05

推荐访问:支持下 形态 特征

热门推荐
  • 中央八项规定内容全文

    中央八项规定内容全文中央八项规定内容全文关于改进工作作风、密切联系群众的八项规定一、要改进调查研究,到基层调研要深入了解真实情况,总结经验、研究问题、解决困难、指导工作,向群众学习、向实践学习,多同群

  • 中国共产党百年四大时

    吴庆军陈红梅张霞[摘要]党的百年庆祝大会上,习近平总书记总结了四个伟大成就,意味着中央已经将党的一百

  • 政治理论学习不够深入

    政治理论学习不够深入整改措施方案三篇政治理论学习不够深入整改措施方案1通过认真回顾自已近年来在工作、生活中的表现,切实感觉到与要求还有一定差距,有必要进行认真查摆自己存在的实际问题和不足,并剖析根源,

  • 全球安全倡议的核心要

    王玏刘军〔提  要〕全球安全倡议是破解人类安全难题、维护世界和平安宁的中国智慧和中国方案,其所包含的

  • 推进全面从严治党工作

    推进全面从严治党工作措施为全面贯彻党的十九大和十九届二中、三中、四中全会精神,深入学习贯彻习近平新时代中国特色社会主义思想和党中央治国理政新理念新思想新战略,认真落实省委X届X次全会和市委X届X次全会

  • 意识形态工作责任制实

    意识形态工作责任制实施细则第一章总则第一条为进一步加强和改进意识形态工作,落实党要管党意识形态原则,明确党组领导班子、领导干部的意识形态工作责任,结合实际,制定本细则。第二条意识形态工作是党的一项极端

  • 中华人民共和国建筑法

    中华人民共和国主席令第四十六号全国人民代表大会常务委员会关于修改《中华人民共和国建筑法》的决定已由中华人民共和国第十一届全国人民代表大会常务委员会第二十次会议于011年4月日通过,现予公布,自011年

  • 2023年度支部委员会会

    支部委员会会议记录1  会议时间:年月日参加人员:基础部全体党员  主持人:xxx记录人:xxx  会议内容:  党支部活动记录  时间:年月日出席人数:缺席人员:  主持人:老师)记录人:  活动