从杰弗瑞的互动音乐作品看数据驱动的模式

【摘 要】创新是有价值的，它的价值体现在经济、文化和音乐等各个方面。创新的形式有很多，比如说“无中生有”。“无中生有”是一个非常美妙的，是叙述性的、神秘性的，是科技提供的。科技是“无中生有”的真实写照，加上创造性和创新的想法，就可以将肤浅的东西变得内容丰富。

【关键词】数据 驱动 交互 KYMA

《彩球的剧场》，是杰弗瑞先生2013年新创作的作品，使用的东西是非常非常简单的，三个彩球，这红绿蓝三个彩球都是塑料彩球，在创作过程中，一个非常重要的过程就是通过彩球位置的变化来控制电脑实时的音乐演奏。对新兴的控制器产生数字，比如游戏柄或者我们的手机，都可以通过电脑的处理产生数字，即前端的数字获取，在经过处理之后来得到相应的音乐效果。

不管前端的控制器是怎样的种类，我们归结到最后都是两种，数字驱动的音乐控制器有两种不同的控制方法，第一种是按钮，第二种是推子。演奏家从很多年的演奏历史总结出的最重要的这两个方面，即开始和结束音乐。在确定的时间内开始和结束音乐，以及在音乐表演的时候对它每时每刻的控制。比如说，按钮类控制器是对音乐事件的开始和结束起作用的，推子类控制器是对音乐事件的延续控制起作用的。常见的按钮类控制器有电脑类键盘、MIDI键盘、midi鼓垫、踏板。当然了也可以是虚拟按钮，比如手机和画板类电脑控制屏。

推子对于延续性的音乐控制是有非常重要的作用的，比如我们可以使用推子来进行坚强减弱的控制，可以对交叉淡入淡出进行控制，我们也可以对滤波器的截止频率进行控制，也就是说你想要的渐渐地变化的这种参数都可以使用推子来控制。某一个推子相对的来说是比较简单的，很多时候我们要控制多个参数时就要控制多个推子，就像按钮一样，有的时候我们可以把推子跟具体的物理实体相连。当然推子的形式是多种多样的，可以是直上直下的推，也可以变成旋钮的状态，比如这个球你可以让它转，也可以以分压计的形式出现。总体上推子是随着时间的变化而变化的，因此所有具有这一类特性的东西都是可以被称之为推子的。比如压力传感器，力气越大，数据就会相应的变化，再比如加速器或者重力器这一类的感应也是可以通过方向的变化而产生不同的数据。推子除了一维的之外还有二维的推子，二维的推子可以有XY两个平面的，在一个平面上不同维度的变化。在空间上移动时，不仅仅是对一个维度进行变化，另一个维度也会进行相应的变化。摄像头时时刻刻进行播报每个彩球所在的位置，然后将这个位置的数据传达到KYMA的声音系统中，然后KYMA来接收并且反应出需要执行的命令。

彩球的剧场舞台的感觉，有点像棋类游戏，每个位置有它自己的功能，有它自己的意图在里面。就像有一种可以建造一个空间的模式，当然它有一些更加复杂的编程用其他方法增加了一些音乐的内容在里面。首先看到这个表演空间是由这个摄像头来实现的。但是有一个问题就是，离摄像头的地方可能窄一点，离得远的地方角度又不对。因此，看到的长方形并不是一个完美的长方形，而是一个梯形。看到的其实是这样一个真实的形状，离摄像头近的外轴线的真实距离是比较短的，离得远的外轴线的真实距离是比较长的。第二是由于选择的摄像头是一个很一般的摄像头。因此在技术方面或者精确度上没有那么高，就算是球放这不动，摄像头本身也在不断的调整焦距什么的。所以虽然把球放在那个地方，也没有办法实现完全的数据不变，这个特性走带本身也会产生一定的数据抖动。由于摄像头不断的进行对焦，所以这个数据不断的有小范围的跳动以及随机变化。在做对于这一类的数据驱动的控制器里面呢，在使用之前一定要完全掌握它的数据特性。比如摄像头，首先了解到这个摄像头在投射的时候它不是平衡的，不是对称的。那还有一个问题是这个摄像头也是会不断的自动对焦。因此，它会产生数据的抖动，比如说这个曲子开始的这个和弦，每次听感觉它不是同时发声的一个和弦，在这个编程的过程当中呢，也是让每一个音之间的时间处理是稍有不同的，听起来是不完全一样的。听起来音色整体的感觉是一样的，但每一次触发的时候都是有它自己的随机性在里头。比如说这个具体的音高，具体的节奏，具体的方位可能也是有变化的。但是，只是给这些数据设定了一个范围，每次出来的都是不一样的结果。可以看到因为有很强烈的光的存在，所以在舞台上就会产生阴影，这个阴影可以增强这个舞台的效果。这些都是想要创作这个新的数据驱动的时候，大家发现的特点。

杰弗瑞先生其他作品使用的数据驱动音乐的方法，主要有以下几种：

一、Computer Keyboard

计算机键盘在其输出数据的时候，可以提供可利用的控制。典型的计算机键盘输出为单一键事件对应单一值。在计算机键盘上的单个键的位置对于ASCII值的输出时非连续的关系。例如：字母Z-X-C-V-B-N-M对应的ASCII值是122 120 99 118 98 110 109。输出连续的数值不是马上符合习惯的。数据的同时发生是可能的，这个设备可以用于触发事件。

二、Mouse

与键盘相比，鼠标不能提供时间数据的控制，但是，它能提供X和Y的空间坐标控制。它的数据流动连续产生了一个实时的在相同空间中的稳定的数据流，对应于一般的光标2D位置。点击鼠标可以接合两个可能状态中的任何一个，但是，点击产生值的同时产生的情况，是不会发生的。在另外一个方面，键盘不容易输出一个间隙5毫秒逐渐改变的数值，有时鼠标可以非常容易地做到。用鼠标控制驱动的音乐与键盘驱动的音乐，是有着明显不同的。我们可以用光标水平位置产生的数值来对应钢琴键盘的音符，而用从光标垂直位置产生的数值，来定义MIDI键盘的力度。

三、Laptop Motion

大多轻便电脑都包含加速器，它能够被当作数据发生离去控制声音，在苹果轻便电脑中有一个三轴的加速器来探测加速。一种外部Max物件已经被写入，它用来接收来自加速器的突变运动传感器里的数据，然后实时输出三轴的数据流。

四、Game Controllers with Joysticks

虽然Joy有许多种变形设备，但是它们都有一个独一无二的特征，那就是它的“Snaps back”装置部分，可以回到开始位置，发出一系列特别的数值。这个“Snap back”的特点，当它被适当地映射到音乐参数时，它能够产生独一无二的音乐特征。

五、Microphone

话筒也可以被当作乐器使用，去产生数据。像Max/Msp这样的软件，能够在一个特定的时间间隙中，获得话筒的振幅的测量数值。那些测量值能被记录，促使达到美的结果的愿望。

六、Blue Air

传感器能够产生多种不同的数据流，我们可以制造多种传感驱动乐器去表演实时的电子音乐。Blue Air就是其中之一。Blue Air传感器能够测量一个人或物体距传感器的距离，然后用MIDI数据从0到127，来报告这个距离。这个数据能被修正，像一系列平和的音符。

七、Community Core Vision

CCV是被“the Natural User Interface”小组开发的一种开放数据源，交叉平台的软件，是专为电脑视觉而设计。这个小组是一个全球研究组织，致力于自然用户界面的开发CCV可以提取一个视频的输入，然后输出看到物体的轨道位置的数据流，还有Blob的尺寸信息。CCV的输出数据像OSC（Open Sound Control）信息，发出一个特别的本地端口（127.0.0.1 port3333），使用CCV去创造一种“do-it-yourself”的多触发的环境是可能的，它可以表演音乐或者控制实时图像。多触发界面的出现，可以产生很迷幻效果的可能，好像直觉，多用户的计算环境。CCV使用TUIO草案（Table-TopUserInterfaces Objects）。

参考文献：

[1]赵晓雨：《声音集合的定义及延伸》，中央音乐学院硕士论文，2012

[2]Jeffery Stolet：《杰弗里·斯托莱特讲座》，北京国际电子音乐节，2013

[3]Jeffery Stolet：《Kyma and the SumOfSines Disco Club》，2011

[4]Carla Scaletti：《Kyma X Revealed》，2004

[5]http：///

作者简介：王春明，男，浙江传媒学院录音系副教授。2011年考入上海音乐学院，攻读应用音乐（音乐数字媒体）专业博士学位，中国电子音乐学会理事。