目前，多模态视域下的语言交际研究已成为国际热点，在我国也方兴未艾。语言交际本质上是多模态的，但传统的语言学研究对“人类语言交际的意义由多种模态构建”这一事实缺乏足够重视，这会导致人们对语言交际的本质理解不足。语言交际研究从单模态到多模态分析的转变，体现了崭新的语言观。

　　语言交际的多模态观

　　在不同领域和路径下，学者们对“模态”的定义有所差异，如感官及相应的神经系统、符号资源、信息呈现方式等。但无论如何定义，都基于一个事实：人类语言交际中的意义构建、传递和理解行为需要调用多种符号资源及多种感官系统与相应脑区的多模态协同，如处理文字符号需要调用视觉模态系统、处理气味符号需要调用嗅觉模态系统、处理声音符号需要调用听觉模态系统等。

　　从语言理解与产出的脑机制上看，福德（Jerry A. Fodor）认为人脑处理语言的心智机制是高度模块化的；乔姆斯基（Avram Noam Chomsky）强调语言器官类似于人类的其他生理器官。虽然乔姆斯基的语言器官模型与福德的言语模块模型存在差异，但两者都认为语言器官或言语模块是一种天赋，且是一个自主、自足的系统。然而，以多模态感官为基点的语言研究则对这种天赋论持否定态度，认为个体的语言发展和衰老均与多模态感官密切相关，孩童的语言能力是出生后在多模态感官的支撑下逐步构建、养成的，因此倡导基于多模态视角考察儿童语言习得、成人语言交际、老年人语言蚀失及各类语言障碍等问题。比如，皮亚杰（Jean Piaget）以符号表征为界，将人类行为发展分为前后两个阶段。符号前阶段称为“感觉—运动行为”（约为从出生到1岁半至2岁），婴儿主要通过多模态感官系统直接与外界进行交互，此时的意义传递就必须依靠多种符号模态。又比如，除了认知老化的原因外，老年人因增龄会导致多模态感官衰老、效率下降或者发生障碍，这些都会影响老年人的语言理解和产出，由此产生语误、语蚀、语障等现象。

　　从多模态观出发，审视个体语言交际能力的发展与变化，研究语言交际中的多模态话语，极大拓展了语言交际研究的视野和维度。其中，从语言符号视角研究多模态话语起步最早的是系统功能语言学派，起源于韩礼德（M. A. K. Halliday）的“语言是社会符号”观点。比如，欧图尔（Michael O’Toole）的《展示艺术的语言》于1994年出版、克莱斯（Gunther Kress）和范莱文（Theo van Leeuwen）的《读图：视觉设计语法》于1996年出版。该理论认为，语言之外的其他符号系统也是表意资源，能和语言一样体现三大元功能（概念功能、人际功能和语篇功能），并且据此发展了视觉语法，开拓了多模态话语分析的路径和方法。从这个角度看，多模态话语研究把语言学研究拓展为对人类交际方式的研究。后来，费斯威尔（Charles Forceville）从认知语言学的视角发展了多模态隐喻理论，语言交际的多模态观逐渐被广为接受。

　　研究范式与路径

　　多模态研究是一种新的语言交际研究范式。该研究范式基于对语言交际的发生与发展、人类与外界的交际互动都需要多模态感官系统支撑这一前提，关注传统语言学研究中未受重视的意义表达及传递方式，对人类言语交际进行新的研究。在该范式下，相关研究的总目标既包括探索人类语言交际多模态互动的脑机制、行为规律等基础性研究，也包括基于现代科技与未来发展的多模态应用性研发，具有问题导向和跨学科属性。一个研究范式可以存在多种研究路径，且可运用到多个具体研究领域。目前，与语言交际相关的多模态研究路径大体上包括：符号学属性的多模态分析、多模态语料库方法、多模态现象的神经认知机制研究、多模态人机交互技术研发等。

　　国内外在符号学属性的多模态研究上较为成熟，成果颇丰。相关研究路径包括了以克莱斯和范莱文为代表的社会符号分析派，以欧图尔、博尔德里（Anthony Baldry）、提伯尔特（Paul Thibault）、瓯海乐伦（Kay O’Halloran）为代表的系统功能语法框架下的话语分析派以及以斯高伦（Ron Scollon）、诺里斯（Sigrid Norris）为代表的多模态互动分析派等。还有学者把图像、手势、声音等视为符号资源，进行隐喻机制与认知特征等领域的多模态隐喻研究，拓展了多模态文体学、多模态修辞学和多模态认知诗学等多个研究方向。

　　多模态语料库是指由多种数据类型（如文本、音频与视频等）集成，研究者可以通过多模态方式加工、检索和统计进行相关研究的语料库。国外学者构建了不少规模不等的多模态语料库，以满足各种研究需要，并已在理论依据、语料采集、加工、标注、分析框架以及工具研发等方面形成了诸多成果。该路径的研究通常采用定量统计分析的方法，已应用到了语言能力发展与变化、语用学、外语教学等多个语言研究领域。

　　多模态现象的神经认知机制研究成为热点。语言交际的多模态本质，要求神经科学关注言语活动中多个脑区的协同作用。比如，语言交际过程中来自不同感官模态的信息如何发生捆绑（整合），即“捆绑问题”（binding problem），是认知心理学和神经科学领域中的重要问题。此外，在人工智能浪潮下，多国已将多模态人机交互及人工智能开发视为重要的战略前沿课题。在多模态互动环境下的语言交际特征与认知规律、多模态互动技术在语言教学中的应用与效果、多模态读写能力的发展等，都是受到重点关注的议题。

　　核心议题与未来发展

　　当前，多模态语言研究的内涵和外延不断扩大，今后应继续深化以下四个方面的研究。

　　一是要继续加强多符号模态之间的关系研究，优化阐释性理论与分析框架。比如，多模态话语分析要加强对不同符号模态各自特征和语法关系的深入分析，考察多模态话语建构中的系统、选择与供用特征问题，同时揭示它们如何实现特定的社会意义。相关研究既可以是基础理论研究，在多模态视域下拓展和优化现有语言交际理论和相关分析框架；也可以是应用型研究，在修辞传播、教育教学、医患互动、法律侦查等多个场景领域继续拓展。

　　二是要拓展特殊人群的多模态表达障碍与补偿策略研究。自闭症、失语症、痴呆症等多种语言障碍人群，都在一定程度上存在多模态表达障碍，但同时可通过多种符号模态之间的补偿策略，实现语用交际。如果临床语言学未能秉持多模态视角，仅将语用交际视为单纯的语言现象，则会在一定程度上限制对特殊人群真实语言交际的理解。

　　三是要开展语言交际多模态现象的神经认知研究。在语言发展、退化或发生障碍等过程中，多模态感官系统的运作方式、正常语言交际及障碍情况下涉及多模态互动的脑机制、多模态信息的认知加工过程等，都是具有基础性的研究领域。

　　四是要优化促进个体语言交际的人机互动技术或多模态干预方法的研发。人工智能如何理解与产出多模态信息，并服务于人们各类语言交际需求，是面向未来的技术前沿，多模态语言研究能够促进相关领域的研发。同时，面向具有语言交际障碍的人群，如何研制多模态干预方法对自闭症、失语症、痴呆症等人群实施康复，是具有人文关怀的议题。

　　（作者系同济大学外国语学院教授；同济大学外国语学院副教授）

• 来源：中国社会科学网-中国社会科学报

• 作者：张德禄 黄立鹤