多模态话语分析的研究与应用

王　磊

(淮北师范大学 外国语学院， 安徽 淮北 235000)

摘　　要：多模态话语已成为话语发展的新形式，多模态话语分析也开始应用于各个领域。首先介绍多模态研究的兴起。其次，从理论研究和应用研究两点来对该研究所取得的成果进行解读，并通过社会符号学分析方法、交互社会语言学分析方法、认知科学分析方法，对当前多模态话语分析的流派与发展现状进行探析。进而对多模态话语分析的发展方向进行了展望，同时探求改进策略，以期避免多模态话语分析的弊端。

关键词：多模态话语；分析；研究

中图分类号：Ｈ０１２　　　　　　　　文献标志码：Ａ　　　　　　　　文章编号：１６７４－９４９９（２０１９）０８－０１５０－０２

随着科学技术的迅猛发展，传统的用文字传递信息的方式逐渐转变为多模态的形式，这是一个从单一到复杂的逐渐变化的过程。多模态话语的运用也越来越普遍、广泛。Jscobson 认为,语言学是对语言信息的交际进行研究，而符号学能对任何信息交际进行研究，这个观点对之后的一些研究有很大影响。以前一些图像、音乐等其他符号都被人们看作副语言，真正使用的就是文字的表达，而现在多模态话语分析使得各种信息传递方式和语言符号都融合到了一起，形成资源整合。因此，要对多模态话语有一定的理解，使其起到应有的作用。同时也要对多模态话语的一些内容进行整合，以方便理解与运用。

一、多模态研究的兴起

有人认为多模态话语很新鲜，是个不容易理解的东西，其实仔细观察不难发现，多模态话语就是人类进程的规律和固有特征。在早期人类的发展过程中，尤其是原始生活中，信息交流和传递也是通过很多形式相结合进行表达和传递，每个人的面部表情、手势动作等都是进行语言交流的工具。

早在5000多年前，埃及和米索不达米亚人交流时所使用的就是图形文字。在我国也有这样相同的特征，不管是3500年前的甲骨文，还是各种壁画雕刻等，都体现了这一特征。当时的人们利用很多形式传递自己的信息。 就连中国汉字形成过程中，有许多字体也是根据图画创造出来的。比如，“田”字，就是根据土地的形状得来的，是图形和文字相结合而创造出来的字体。 除了个别字之外， 中国古代的诗歌等也能体现这一特征。好作品就是要诗中有画，画中有诗，从一幅画中可以得到很多信息，除作画者所表现出来的风景、色彩信息之外，还可从中体察出作者内心世界及其想要表达的思想感情。

二、国内多模态话语研究成果

1.理论研究成果

从系统功能语言学理论来看，主要是从社会符号这一角度进行研究，尤其是从三大元功能理论探讨话语多模态协同作用。此外，还有学者介绍并探索多模态话语分析的工具。从多模态话语隐喻意义的构建研究方面来看，把隐喻研究深入到了多模态话语的层面，而多模态话语研究的进入，也从侧面拓宽了隐喻研究的领域。以多模态隐喻为突破口，对多模态话语意义的构建展开研究，这一方面的研究还比较少。国内一些学者对这一方面进行了研究，比如，王立非、文艳，他们介绍了多模态分析软件 ELAN，并且还对其主要功能进行了分析，还有冯德正表明在多模态话语语篇分析中，数字技术起着重要的作用 [1]。

2.应用研究成果

我国十分重视对多模态话语分析的研究，专家李战子分析后得出结论：目前，我国主要进行应用型研究，得出结论为多模态话语已涉及很多方面，如图文关系方面，多媒体语篇方面等[2]。主要有两种：一是视觉诗多模态话语分析。人们都理解视觉和诗的意思，但当二者结合，可能就有所疑惑了。视觉诗是指不仅使用文字，还会给人带来视觉效果的诗体。二是图文关系语篇的多模态意义构建。了解图像和文本如何相互作用，并生成一定意义，是多模态话语分析中的一个难点和关键，解决了这个难点，研究者会有很大的发现与进步。虽然我国已经引进多模态话语分析理论10多年，但研究还在初级阶段，并未有很大发展。目前该研究可分为：一是二维平面图文关系多模态研究。因为图像符号不同于文字，两者之间的社会性也不相同，必须结合具体分析才可以得到比较客观的评价。二是多媒体语篇的话语分析研究。这是一种新奇的语篇形式，可以通过所拍摄的照片及所有视频数据、音频数据等表现方式来接收并递送信息。最后，运用

收稿日期：２０１９－０７－０５

基金项目：淮北师范大学２０１８年校级质量工程教学研究项目“‘双主混合’多模块英语专业独立语法课教学模式构建研究”（ＪＹ１８０２８）作者简介：王磊（１９８０—），女，安徽蚌埠人，讲师，硕士，主要从事语言学、应用语言学研究。

150

2019年第8期（2019年8月）语言文学艺术研究Ｎｏ．８　２０１９多媒体语篇自身的优点，将视频和音频更好地联系在一起，使得多媒体语篇更加深入社会生活中。

三、当前多模态话语分析流派与发展现状1.社会符号学的分析方法在社会符号学的分析和研究中，O'Toole与Kress这两个学派在这一方面所做的研究和对社会符号学的使用最多[3]。并且他们在研究过程中，也受到了其他思想和理论的一些影响，其中尤为重要的就是Halliday社会符号学理论。他们继承了这一理论，并在此基础上进行创新和发展。这个理论中的系统功能语法主要是为了实现英语语言的分析应用，其功能主要分为三点：第一点是对客观世界与内心世界进行概括描述。第二点是在语言交流过程中体现出语言使用者交往参与程度，以及在交流过程中互相的角色关系。第三点，组织成语篇的语篇功能。在当前语言交流阶段，多模态形势下的社会符号学主要分为两个阶段，第一阶段，不同学者对于特定符号代码侧重不同的系统功能分析。第二阶段，专业学者们注重对一套适应社会所有符号方法的构建分析。通过这两个阶段，才能真正对社会符号学进行多模态话语分析。

2.交互社会语言学的分析方法

在交互社会语言学分析中，如何运用不同方式进行语言交流和如何通过话语来构建出自己所表达的情景及在该情景中的身份是两个十分重要的问题。在日常社交中，人们的注意力不仅仅是在单一事情上，更多是几件不同的事情在同时进行。此时，要使用多焦点的视角来进行话语分析，站在不同的角度进行分析，考虑到事物的不同方面。同时不要一直处在固有思维模式中，因为原有思维和理论也不是无懈可击的，都有一定的弊端和不完善的地方，要打破常规，创新思维，找到新的立足点，从新方面去进行考虑和分析。Scollon认为，在话语分析理论中的各项都建立在交互社会语言学基础上，具有一定的社会性。后来Norris对Scollon提出的各项理论进行了继承和发展，并建立了多模态话语分析模式。

3.认知科学的分析方法

Forceville认为，在多模态话语分析中，需要运用理论进行自上而下的概念性指导。需要理解多模态话语的一些基本概念，以这些概念为基础和前提，从而对多模态话语进行认知科学的分析。在发展过程中，各位学者为了掌握认知科学分析方法，通过《爱玛》一书对理论进行了分析和研究。从表面上来看，《爱玛》一书的结局非常完美，但如果进行仔细观察和深入理解，便可看出那些被抑制的意识形态是在通

过激烈思想斗争之后，被迫隐藏了起来[4]。四、未来改进方向

在多模态研究中，还存在很多不足。首先在研究过程中，理论性研究比较多，实证研究方面做得不够，大多数文章都是在介绍相关的理论和引进相关研究方法，或者是在借用相关的理论对各语类进行分析，而对于多模态话语分析理论框架的提出和表述都不够完整。在语类应用与分析中，主观性太强，大都受学者自身因素影响，缺乏相关专业数据支撑，而思维方式和理解能力的不同，导致看待同一事物的结论不同，缺乏相应的说服力，因此，要重视实证研究。其次，现有研究总是以静态文本为主，采用图像、文字、图表等一些静态文本进行论述，较少涉及动态多模态话语，并且缺乏客观数据分析[5]。因此，要重视动态情景中的动态多模态化研究。此外，大多运用语言学理论来研究，很少有跨学科的理论研究。在现今社会中，多模态话语分析方法应用于各个领域，而且与每个学科的研究都有一定联系，因此，在多模态话语研究过程中，要与其他相关学科也联系起来。

五、结语

在世界不断进步和发展过程中，处于一个多模态社会环境，话语作为最基本的交流、交往工具，要对多模态话语有一定认识和解读，以及不懈的深入研究。其研究方法也要不断改进，虽然语言是研究的重要信息资源，但还是要重视动态化与情景及其他一些影响因素的互相结合，要把众多符号资源联系起来。要使得研究结果更具有说服力，更加具有科学性，只有进行各个方面的研究和各个领域的观察，才能更加深入地理解多模态话语。在多模态话语的纵向研究逐渐深入过程中，也要不断拓宽多模态研究的横向视野。参考文献：

[1]秦永丽. 我国近10年多模态话语研究综述[J].榆林学院学报,2012(5).

[2]李战子,陆丹云.多模态符号学:理论基础，研究途径与发展前景[J].外语研究,2012(2).

[3]O’Toole,M. The Language of Displayed Art[M]. London: Leicester University Press. 1994.

[4]魏丽娟,索燕京.从《爱玛》看简·奥斯丁的故事艺术[J].邯郸学院学报,2017(2)．

[5]冯德正.多模态语篇分析的基本问题探讨[J].北京第二外国语学院学报,2017(3).

Ｏｎ　ｔｈｅ　Ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　Ｍｕｌｔｉｍｏｄａｌ　Ｄｉｓｃｏｕｒｓｅ　Ａｎａｌｙｓｉｓ

Abstract: Multimodal discourse analysis has become a new form of discourse development, getting applied in various fields. This paper firstly introduces the rise of multimodal research; then discusses the obtained research results from the theoretical research and applied research, and analyzes the genre and status quo on its development through the analysis methods of social semiotic, interactive sociolinguistic and cognitive science; furthermore, this paper gives a preview on the development direction of multimodal discourse analysis, and explores the improvement strategy to overcome the drawbacks.

Key words: multimodal discourse; analysis; research

［责任编辑：李慧慧］

Wang Lei

(School of Foreign Languages, Huaibei Normal University, Huaibei 235000, China)

151