从“语言学”的角度看“多媒体画面语言学”

“多媒体画面语言学”（The Linguistics for Multimedia Design，LMD）是今年出现的一门全新的学科门类[1]，具有时代性和跨领域的明显特征。它的出现，直接原因是当前在国内外广泛开展多媒体教材建设的需要；更深层次的原因，则是信息时代迫切要求认识和规范该时代流行的语言——多媒体画面语言。

本文从一般语言学的角度，揭示多媒体画面语言的本质属性和语言特征；探讨多媒体画面语言学划分为语构、语义和语用三部分的理论依据，旨在考证多媒体画面语言学的合理性，即研究它的思路和结论都可在“一般语言学”中找到依据。

为什么将多媒体画面视为一种语言

1.多媒体画面具有语言的本质属性

一般语言学将语言定义为，人类用于交际和思维的符号系统。“符号”是指人们在交际过程中，用于传达信息的有意义的媒介物。这个定义说明语言具有两个方面的本质属性，即：语言是一套“符号”系统；语言用于交流和思维。

将多媒体画面视为一种语言，是因为它符合语言的定义，即可以将其视为一种符号系统，并且可以用它来传递知识信息或视听觉美感，也可用来进行思维。

（1）多媒体画面语言是一套符号系统。构成（绘画、摄影、动画、影视等）传统艺术中的基本元素，早已分别形成了各艺术门类中的符号系统。多媒体画面的基本元素，是由上述各传统艺术中的基本元素组合而成的，将其分为图、文、声、像4种媒体类型，并且运用多媒体画面艺术规则（即画面语言的语法规则）对这4类媒体的符号间关系进行规范，从而使该符号系统形成了一套严密的画面语言结构。

（2）多媒体画面语言可以用来传递知识信息或视听觉美感。用多媒体画面语言编写的多媒体教材,由于包含了图、文、声像各类媒体，充分利用了学习者的视觉、听觉渠道和表象、概念渠道，因而传递知识和美感的效果更加优于文字语言和传统艺术。

必须指出，采用多媒体画面语言符号进行交流，需要注意它不同于文字符号的两个特点，即“以形表义”和“分时呈现”。

（3）多媒体画面语言也可以用于思维。多媒体画面语言是通过视、听觉的表象渠道和概念渠道将信息内容传入人的大脑的，这些信息内容可以在人的头脑中以表象和概念的形式进行思维加工。因此可以认为，这就是运用多媒体画面语言进行思维的形式。

2.多媒体画面具有一般语言的三个特征

在语言学中，语言一般应具有符号性、系统性和可生成性三个特征[2]。多媒体画面也具有语言学描述语言的这些特征。分别讨论如下。

（1）符号性。语言学认为，语言符号是有层级结构的：由语素、词组成短语；由短语组成句子。多媒体画面语言符号也有类似的层级结构[3]。例如，图形语言符号的层级结构是，由点、线、面组成形态；由色彩、肌理、影调组成属性；由形态、属性、声音、运动等组成运动画面（即电视画面、计算机画面、多媒体画面）。

（2）系统性。语言学认为，语言是一种由语法规则维系的语言符号系统。多媒体画面语言作为一种语言符号系统，它的语言符号是由多媒体画面艺术规则（语法规则）维系的，这种维系需注意两个要点：①内容上，多媒体画面艺术规则规范的是视（听）觉要素符号，即规范基本元素符号在画面上的衍变。强调这一要点，是因为它明确了该语言基础理论（多媒体画面艺术理论）的思路，语法规则是需要按照这一思路运用的。②范围上，多媒体画面艺术规则是从八个方面进行规范的。其中“突出主题（或主体）”、“媒体匹配”和“有序变化”三个方面基本规则用来覆盖“图”的静态呈现和动态呈现；文本和解说两个方面的艺术规则对文字语言的形、声在画面上的呈现进行规范；色彩和背景两个方面的艺术规则对图、文的属性和背景进行规范；运用交互功能方面的艺术规则对导航、互动教学方面的运用进行规范。从而体现了这套语法规则的完备性。强调这一要点，是为了说明这套规则与该语言的基础理论密不可分，即语法规则是从理论中提炼出来的。

（3）生成性。语言学认为，虽然语言符号系统是由有限的语言符号和语法规则构成的，但却能生成无限多种句子。多媒体画面语言便是由有限的语言符号（基本元素、视觉要素）及其语法规则（多媒体画面艺术规则）构成的语言符号系统。正是由于具有这种有限性，才能使多媒体画面语言具有可学习性，并能利用它开发出无限多种多媒体教材出来。

因此，可以将多媒体画面视为和文字一样，二者分别属于两种不同类型的人工语言。

研究多媒体画面语言，为什么要分为基础理论与理论运用两部分

1.语言学中存在“语言”和“言语”的概念

进入20世纪以后，首先在语言学中提出“语言”和“言语”概念的是瑞士语言学家索绪尔（结构主义语言学创始人），他称其为“建立言语活动理论的第一条分岔路”。也就是说，对于语言学，需要把语言和言语区分开来进行研究[4]。索绪尔所说的“语言”，实际上是指由语法规则规范的语言结构，而“言语”则是指运用语法进行表达的过程和结果。如果将“语言”视为一种工具，便可将“言语”看成是工具的运用。1957年，乔姆斯基（美国语言学家）基于认知心理学理论，创建了“转化生成语言学”，其中提出的“语言能力”和“语言运用”概念，与索绪尔的“语言”和“言语”概念是对应的。20世纪70年代后期兴起的功能语言学，其特点是重视语言的功能,认为仅有语法是不够的，需要通过功能和认知来解释句法和其他语言现象。

从上述语言学的发展历程可以看出，尽管语言学的研究在不断深入，但是索绪尔最初提出的区分语言与言语的思路，却一直延续至今。在现有研究成果的基础上，可以将该思路表述如下。

语言是一种形成了共识的、相对稳固的词汇系统和语法系统，对外，可以帮助人们进行交际；对内，可以帮助人们进行思维。言语有两方面含义。其一是指讲话（包括写作），是一种交流的行为动作；其二是指所讲的话（包括所写的文字），需要考虑交流行为所产生的结果。

从社会功能的角度看，语言无非是一种工具。语言和言语的关系，犹如工具和工具运用的关系。