基于RaspberryPi的Audio―only音频游戏和交互硬件的设计与研究

摘 要：文章针对国内视障人群专用音频游戏较少且体验较差的问题，设计了一款基于Raspberry Pi的Audio-only音频游戏终端，其利用了声源定位技术以及立体声重建技术，在终端实现了三款音频游戏。结果表明，此音频游戏给视障人群带来了更好的游戏体验。

关键词：声源定位；立体声场；音频游戏；树莓派

引言

目前全球视障人群的2.85亿中，中国约有1691万，他们因本身对于图像世界无法真切感受，精神需求显得尤为迫切[1]。近些年视障人群逐渐受到更多重视，但由于视障人群教育事业的不发达和对视障人士生活自理能力培养的不够重视，视障人士的权利并不能得到很好的保障。所以虽然他们也渴望与正常人群沟通；和正常人一样拥有丰富的娱乐方式、体验精彩的游戏世界，但由于生理上的局限，他们的业余生活往往十分单一。

现在市面上的游戏大多是基于图像，也就是视觉游戏，而仅仅基于声音的游戏很少或者还没有推广开来，尤其是针对视障人群开发的音频游戏，多为直接将文字转换为语音输出。在国外文献[2]中，Drewes等人开发了一款拟真的听觉游戏，它采用了携带式计算机和增强现实技术；而国内对于增强现实听觉技术的研究多以计算机专业的扩展研究为主，现有的研究主要有3D音频效果的实现和音频媒介的交互[3]。因此对于视障人群来说，用户体验方面并不够友好。我们希望开发出一种Audio-only的立体声音频游戏终端。Audio-only游戏与传统游戏的区别就是，玩家不再依赖视觉，而是通过听觉感知并操作游戏。而这种纯基于听觉的游戏，不仅在视觉障碍人群中有巨大的市场潜力，也给普通人带来更加丰富和新奇的游戏体验，它不仅是一种娱乐方式，还可以被用来训练听觉感知方面的某些技能，具有一定的教育功用。

1 项目的技术实现

1.1 基于麦克风阵列的声源定位

现有的声源定位方法主要分为三类：基于时延估计的定位方法、基于波束形式的定位方法和基于高分辨率空间谱估计的定位方法[4]。由于本设计目标人群将头戴耳机，在耳机两侧固定麦克风来实现简单的二维立体声定位，所以游戏场景中声源为近场声源。因麦克风为双阵元，而目前最常用的基于TDOA的近场声源定位法无法同时确定双阵元麦克风的声源到麦克风的距离和夹角，所以从实用与简易的角度出发，文章给出一个基于声音幅度大小的二维声源定位法。即拾取两个声道录音的时间片段并对其切片，各自提取出两个声道录音文件中声音的最大幅度及最大声音幅度出现的时间，通过比较两个声道该时间点出现的前后，确定出声源距两个麦克风的距离，从而简单判断出声源位置的左、中、右。

1.2 OpenAL实现立体声场重建

本设计的另一大创新点在于立体声场的重建，该重建是利用OpenAL软件实现的。OpenAL是跨平台音效API，设计给多通道三维位置音效的特效表现[5]，其API结构主要包括三大对象，源

（Source）、缓冲区（Buffer）与听者（Listener）。源指的就是播放的立体声音效，可以想象成一张CD光盘；而缓冲区就是存储着音效数据的对象，可以想象成播放光盘的CD机；最后的听者，顾名思义，指的就是头戴耳机的玩家。通过查阅资料我们发现现阶段对于虚拟声重建技术的研究主要是基于头部相关传输函数HRTF（Head-Related Transfer Function）[6]，该函数描述了声波从声援到人耳的传输过程，是人的生理结构对声波的空间滤波的结果。在实际应用中，利用耳机或扬声器重发用HRTF处理过的信号，可以虚拟出各种不同的空间听觉效果[7]。

1.3 矩阵键盘实现游戏交互

文章的游戏设计除了基于麦克风定位声源，也可以通过矩阵键盘进行游戏交互。为了实现这一功能，我们团队并不是直接将矩阵键盘与树莓派相连，而是将Arduino作为“中转站”，实现矩阵键盘的连接。Arduino的好处在于有键盘库和便于扩展接口。玩家在进行矩阵键盘交互时，只需要在相应的地方按下按键，键盘便会通过Arduino给树莓派传值，继而判断是否成功赢得游戏。

1.4 百度云语音实现指令交互

由于本项目的主要受众人群是残障人士，因此语音指令交互给残障人士提供了良好的用户体验，也体现了本项目的一大特点。通过查阅资料，我们发现国内外的语音交互技术与应用百花齐放，在不同语言交互技术的比较与实验之后，决定使用百度云语音技术实现语音指令交互。百度云语音开放原始API接口供开发者灵活实现各种语音交互应用。其语音指令交互包括两部分，语音识别和语音合成。玩家在使用我们的项目产品时，可以直接以语音的方式控制游戏，而不是世面上大多音频游戏中复杂的按键；另一方面，考虑到音频游戏的性质，百度云语音很好的解决了语音游戏指令的需求，即游戏指令是以语音的方式呈现给玩家，带来更好的用户体验与沉浸感。

2 应用

最终我们实现了一个基于Raspberry Pi的Audio-only音频游戏和交互硬件设计产品，以树莓派作为游戏终端，头戴式立体声耳机作为交互设备，而且通过矩阵键盘实现玩家与游戏的交互，以及麦克风矩阵进行声音收集以及声源定位。在此产品中，我们设计了三款音频游戏，分别是打地鼠、打蚊子以及动物农场。第一款游戏打地鼠，是基于声音强度的立体声音频游戏，通过矩阵键盘进行游戏交互，可用来锻炼玩家的听力以及反应力。第二款游戏打蚊子，是基于声音强度的立体声音频游戏，通过麦克风阵列进行游戏交互，可用来锻炼玩家的听力以及反应力。第三款游戏动物农场，是基于声音音色的音频游戏，通过矩阵键盘进行游戏交互，可用来锻炼玩家的听力以及记忆力。我们设计的产品不仅可以提供给玩家沉浸感十足的游戏体验，也可以达到教育与听力治疗效用。具体硬件如图1。

3 结束语

文章通过声源定位和立体声场重建技术，设计并实现三款音频游戏，并将树莓派作为该游戏的终端，结合头戴式耳机最终实现了基于Raspberry Pi的Audio-only音频游戏和交互硬件设计。该硬件设计可以提供给视障人群良好的游戏沉浸感以及一定的听力与教育效用，同时对于普通人群来说，也是一种新奇的游戏体验。

参考文献

[1]谢 涛，何子江.黑暗之光――北京市西城区视障人群文化生活基础设施现状调研[J].青春岁月，2012：352+351.

[2]孙青.Audio-only教育游戏中虚拟声定位的研究[D].南京师范大学，2011.

[3]易俊.基于立体成像与三维虚拟声音的增强现实系统的研究[D].武汉：华中科技大学，2007：29.

[4]于向丽，吕成国.近场声源定位算法研究[J].智能计算机与应用，2011，5：69-70+76.

[5]http：///wiki/OpenAL .OpenAL_互动百科[EB/OL].

[6]王超.多通道立体声虚拟重建技术研究[D].上海交通大学，2009.

[7]钟小丽，谢菠荪.头相关传输函数的研究进展（一）[J].电声技术，2004，12：44-46+62.