聋人题材漫画的多模态分析

信息时代，人类交际多模态化特点日益凸显，多种多样的符号共同作用于交际过程。这其中图像符号搭配文字符号使用最为频繁。人类的思维和鉴赏习惯在新的视觉文化冲击下悄然发生了变化，多模态分析能力日渐引入关注。而在众多的图文模态语篇中，漫画就是其中一员。漫画是以图画模态为主，辅以文字符号模态的多模态语篇。本文尝试运用多模态分析的相关理论和框架分析聋人题材漫画，旨在为解读聋人题材漫画提供一个新的视角。

一、多模态语篇分析的理论基础

模态是指交流的所有媒介。除了语言符号以外，其他还包括了手势、音响、图像、颜色、视频、音乐、技术等多种符号系统。具体语篇的意义和读者对语篇的理解，是各种模态排列组合的结果。

话语分析早期以语言研究为主，后米逐渐延伸到其他模态。多模态话语分析以Halliday的系统功能语言学为理论源泉，20世纪90年代Kress&VanLeeuwen与O' Toole提出了视觉语法概念，自此多模态话语分析进入了快速发展时期。多模态话语分析理论倡导任何符号系统都是有意义的，而且认为语言外的其他符号模态也具有系统性和功能性特征。视觉语法以再现意义、互动意义和构建意义为主，分别相当于系统功能语法中的概念功能、互动功能和语篇功能。

二、多模态分析对聋人题材漫画语篇的解读

本文分析的漫画选自韩国漫画大师高英勋（Nasty Cat）所创造的漫画《看不见听不到的爱情》的汉译本。漫画叙述了一个失明的漫画家与一个聋哑女孩的爱情故事。我们尝试从再现意义、互动意义以及构成意义等三个方面来分析漫画场景。

（一）再现意义

Kress&Van Leeuxven针对系统功能语法中的概念意义，提出了视觉语法的再现意义。再现意义分为概念再现和叙事再现。矢量是区分概念再现和叙事再现的关键要素。概念再现相当于系统功能语法中的关系过程和存在过程。叙事再现则区分为行动、反应及言语和心理三个不同类别的过程。

视觉语法中矢量代表过程与方向的力量。一方面，图像叙事的参与者通过矢量相互连接达到叙事的目的，另一方面，观看者则通过矢量关系来判断图像叙事中参与者的互动关系。一般而言，图像叙事中各元素构成的对角线矢量性质最为突出，又因为叙事图像以矢量为标志，发出矢量的参与者即为行动者，因此在叙事再现的行动过程中，非常容易辨别动作者，有利于观看者理解图像语篇意义。

《看不见听不到的爱情》漫画关于两个人起床情节的一幅漫画组合中，共有三幅漫画。第一幅漫画中间是桌子上的笔记本电脑，电脑屏幕正中间是打开的记事本，左侧是男主人公失明的漫画画家，右下角露出一部分闹钟。男主人公与笔记本电脑之间形成一条无形的矢量斜线，表明了男主人公所关注的事务，又因为男主人的盲人特性，因此可以推断出：他是在展示笔记本电脑中的记事本内容。第二幅漫画中间是笔记本的一角，显示的是记事本中间的一段文字“睡得好吗”。第三幅漫画前端三分之二是笔记本电脑的背面，中间是女主人公，占据了三分之一的画面，后端右上角是男主人的身体的十分之一。女主人公和电脑屏幕形成另一个矢量，鉴于女主人公聋哑特征，并结合整个三幅漫画，可以推断出男主人公、笔记本电脑记事本展示的文字、女主人公形成一条无形的立体斜线，即矢量，鉴于交际主体的特殊性（盲聋）导致了该矢量不同于常见的矢量关系，具有自身的特殊性。这个矢量关系构成了叙事再现的言语过程，男主人公是话语的发出者（以笔记本电脑文字为媒介），女主人公是话语的接收者。这个言语过程表明了男主人公与女主人公之间的信息交流，也表明了男女主人公盲聋的特征，以及他们克服困难进行交流的特殊性。

（二）互动意义

Kress&Van Leeuwen视觉语法中的互动意义，对应功能语法的人际意义。互动意义由接触、社会距离、态度和情态四个要素构成，体现了漫画家、漫画表征与观看者的互动关系。

接触是指漫画中的参与者通过其目光的指向与受众之间形成的一种想象中的接触。根据漫画中的参与者与漫画受众之间有无直接的视线接触，可以分为索取和提供两种关系类型。漫画参与者与受众是否存在直接的目光接触，可以判断漫画是提供类还是索取类。

鉴于该漫画主人公盲聋的特征，因此漫画中的参与者男主人公几乎没有与漫画受众有直接的目光接触，因此作品中的大部分图像属于提供类，意在向受众提供欣赏和思考。然而也有一部分图画属于索取类，例如第一卷中的一幅图画，图画的背景是窗户，窗台上蹲坐这小猫，旁边是一盆仙人掌。小猫面向受众，大大的眼睛注视着前方，有跟受众进行充分的目光接触。一方面，可以理解为小猫对盲聋夫妇奇怪行为的好奇，另一方面，似乎是在索取受众对这对盲聋夫妇这些看似古怪又合情合理举动的看法。另外，第一卷中一幅夫妇俩吃饭后并排躺在一起，面向受众，男主人公（失明）眯着眼睛，而女主人公（聋哑）则是眼睛睁的圆圆的，一方面向受众展示了盲聋夫妇生活的幸福快乐（提供信息），另一方面，也是女主人公向受众索取对他们幸福生活的关注和看法。

社会距离是指图像中参与者与受众之间的远近亲属关系。根据取景框架大小可以分为亲近距离、个人近距离、个人远距离、社会远距离、公共距离。不同距离体现了不同的社会关系，漫画中参与者取景距离长短决定了他们与受众之间的远近亲属关系。

《看不见听不到的爱情》漫画中，大部分表达主人公喜怒哀乐的图画都是以脸部或头部特写为主，拉近了主人公和受众之间的距离；而情节发展则以整个人占据整个图片不到一半的图画为主，客观叙述了漫画故事情节的发展。

态度指受众与图像参与者对漫画叙述内容参与程度，以及参与者与受众之间所处的等级关系。态度通过视角体现，通常视角（正视、侧视、仰视、俯视等）不同会给受众带米不同的心理感受，反映了受众对参与者的态度。不同的视角往往对于漫画所要表达的主旨，作者的思想、立场和态度有着深层含意。正视视角给受众带来的是感同身受、融入其中的感觉，或者平等对待的关系；侧视视角表现出作为旁观者的漠然与事不关己；俯视视角代表受众处于强势，仰视视角则代表了受众处于弱势，而平视表示观看者和参与者相对平等的关系。

作品中绝大部分的漫画图片是正视视角，因此给受众带米的是对盲聋夫妇喜怒哀乐感同身受，让读者对他们的生活困难有充分的认识，同时也体现了受众与主人公之间平等的关系。然而有关于男主人公（一名漫画家）因为日以继夜的画漫画而导致失明，而绝望的图画不约而同地采用了俯视视角，表明了此刻的主人公处于弱势地位，引起受众的怜悯之心。

视觉图像与语言一样能真实地再现现实世界，越是真实的情态越能表现图像的现实主义。这部聋人题材漫画，结合写实的手法和夸张的表现方式，真实地再现了一对盲聋夫妇的故事，整个作品处于高中情态。

（三）构图意义

构图意义对应系统功能中的语篇功能，是指语篇成分的空间布局，是再现意义和互动意义的基石，主要由框架、信息值和突出情态三方面构成。

信息值由图像中元素位置所决定。一般而言，图像上方元素为理想化的，而下方的元素真实、客观。左方的为旧信息，右方的为新信息。中心位置是平衡点，这里的元素被视为图像的重心。突出情态通过位置、颜色、尺寸对比等实现。框架是图像取景的结构。

《看不见听不到的爱情》漫画第一卷第一集有一组图画，左边是女主人公侧对着受众在切菜做饭，右边是男主人公坐在一个凳子上等候，中间的煤气炉上正在烧开水。男主人公听到了水烧开的声音，然后起来摸索着米到女主人公背后，拍了一下女主人公的肩头，女主人公吓了一跳，随后男主人公示意她水开了，两个人呵呵的笑了起来。前三幅都是左右结构，左边是专心致志做饭的女主人公（聋哑），背对着煤气灶，是旧信息。右边男主人公（失明）从坐在板凳，到听到水烧开的声音，到起身去提醒女主人公，不断提供给受众新信息。中心位置的煤气炉可以看作三幅图的重心，起到了平衡男女主人公行为的作用，也有效的解释了双方的行为。另外一组漫画，是快递员送快递，快递包裹很重，女主人公签收后，费力地把东西搬进屋里。快递员对男主人公在一帮站着的行为很不满（快递员并不知道男主人公失明了）。之后的三幅漫画都是快递员为背景分别是表达不满的表情并“哼”的转身而去、哐当的大力关门，关闭的门和“这个男的真够混蛋的”的话语。而男主人公则占据了画面的前端，突出了他的被人冤枉而又无从解释的表情。

通过聋人题材漫画《看不见听不到的爱情》进行多模态语篇分析，应用视觉语法理论分析了视觉符号在聋人题材漫画语篇中的作用，为有效理解漫画形象提供了新的途径，读者可以通过提高多模态识读能力，更加充分欣赏漫画作品。