视频会议客户端信息管理系统分析

1视频会议架构

视频会议服务器功能包括中心控制、业务逻辑、媒体管理、SIP(SessionInitiationProtocol)服务器、协议解析等.客户端功能包括登录注册、实时会议、基本信息管理等.用户访问视频会议客户端,进行注册登录,通过向SIP服务器发送请求,SIP服务器对协议解析,然后转发给中心控制,调用业务逻辑的注册认证,并把相应的注册认证结果发送给客户端.开始实时会议时,客户端发送SIP请求,SIP服务器对协议解析,转发给中心控制,它调用业务逻辑、媒体管理及RTP协议解析,创建相应的线程,将SIP解析协商后的结果发送给客户端,如果协商成功就传输媒体流数据.用户对基本信息管理模块操作时,通过HTTP协议发送请求,服务器响应请求,访问数据库对数据进行读取或存储,然后将操作结果发送给客户端.

2系统功能概述

视频会议客户端信息管理系统是与用户直接交互的重要一环.通过需求分析,视频会议客户端信息管理系统分为以下几个功能模块下面分别介绍系统的各个功能模块:

(1)注册登录

新用户需要注册,然后登录到系统.已经注册的用户可以直接登录,登录时对用户的合法性进行验证,通过验证的用户才允许进入系统.

(2)基本信息管理

基本信息管理包括用户管理、会议管理、单位管理以及客服管理.用户管理:用户分为管理员用户和普通用户.管理员用户具有最高权限,管理功能包括查询用户,增加用户,删除用户,修改用户信息,给用户授权,使其具有管理员权限,也可以使普通用户成为会议主持人.同时管理员也可以修改自己的信息.普通用户具有一般权限,可以查询用户,查看用户的信息,修改自己的信息.会议管理:可划分为会议记录管理、会议房间管理、录像点播、会议预约等小模块.①会议记录管理:会议基本信息包括会议开始时间、会议结束时间、会议主题、会议房间、发起人、会议主持人;管理员根据条件查询会议记录,下载会议记录,修改会议记录,删除会议记录;②会议房间管理:房间基本信息包括房间名称、房间类型、房间状态;管理员可以增加房间、查询房间信息、修改房间信息、删除房间;③录像点播:用户可以从系统中下载会议视频,以及点播会议视频;④会议预约:用户可以预约会议,安排会议时间、会议室及邀请其他用户参加;预约成功后,系统会给每个受邀请的用户发送系统消息,告知用户有会议需要参加;用户可以选择接受,也可以拒绝参加,发起人可以查询接受的人员列表,和不能出席会议人员的事由.单位管理:管理员对单位部门管理,可以增加部门、删除部门、查看部门信息、修改部门信息.客服管理:用户在线与客服联系,了解如何使用系统,对系统存在的问题提出建议,根据用户反馈,及时发现和改正系统存在的问题;管理员对客服人员进行管理,可以增加客服、删除客服、查看客服信息、修改客服信息.

(3)实时会议

实时会议包括视频通讯、会议白板和即时聊天.视频通讯:管理员创建会议房间,给用户授权使其成为会议主持人;管理员和主持人都可以创建会议,邀请用户加入会议;用户可以申请进入房间加入会议,也可以自由退出会议;若用户在会议中不遵守规则,管理员和主持人能强制其退出会议.会议白板:系统支持会议白板功能,用户在白板区域可以自由绘制、书写信息,支持多人同时操作;用户可方便灵活的使用不同类型笔形等增强工具,支持对屏幕中的任意矩形区域进行截图,并将所抓的静态图片显示在一个新建的白板页上.即时聊天:用户可在线聊天,在公共板块进行群聊,可以发送文字、图片和文件;会议主持人可以授权,发起决议,使与会者可以举手表决,进行会议投票,也可以使用户在线讨论,当不需要讨论时,主持人可以收回权限,取消讨论.

3关键技术

上文分析了视频会议架构和客户端信息管理系统的功能,系统设计的关键点在实时会议,下文主要介绍视频通讯的会议控制机制、会议白板设计的原理,以及系统的多画面显示方法.

3.1多点控制单元

多点控制单元MCU(MultipointControlUnit)是整个视频会议系统的中枢,控制着会议的过程,包括允许或拒绝用户加入会议,用户的发言方式,参与用户身份验证以及权限控制等.本系统多点控制单元的设计是基于SIP协议,但是它在设计上就为分布式的呼叫模型,这使得SIP协议缺乏集中式的多方会议控制能力,为了提高系统的传输控制性能,根据系统的需求以及RFC4353提案规范的SIP协议会议框架,设计了该多点控制单元.会议策略是一个逻辑功能,能存储和处理会议的策略,用户访问控制.会议通知能通过消息定时向会议用户通知会议事件和会议状态,也可由Focus提供会议通知功能,接收预定到的会议状态,并通知用户状态的改变.Focus是会议的控制中心,通过SIP连接到客户端,也使用SIP操作媒体会话,以保证每个参与者获得所有媒体会议,这一点是通过协调Mixer来完成的.Focus主要包括会议管理和信令控制两个模块,提供会议通知功能,向会议用户通知相应的会议事件和会议状态.用户加入会议后向会议控制中心发送Subscribe请求,订阅会议事件和会议状态通知服务.Mixer主要负责媒体流的混合和分发,由媒体流队列、调度模块和RTP传输控制模块组成,Focus根据会议策略对Mixer进行直接或间接的控制,处理过程会根据媒体类型的不同而不同.客户端是参与会议用户,与Focus交互SIP协议传输控制信令,与Mixer交互RTP协议的音视频数据,由用户实现.

3.2计算机支持协同工作

实时通信是指用户把共同的工作对象的操作结果,同步到其他协同用户的屏幕上进行显示.这里“实时”与“同步”是从逻辑层面来讲的,因受网络带宽的限制,要做到传输延迟能忽略不计的实时与同步是不现实的.并发控制与传统数据库系统的并发控制不同,因为操作媒体对象的多样性及用户修改操作的非透明性,使得并发控制必须考虑伴随的感知问题,对不同的媒体对象,根据其特点采用不同的并发控制方法.对用户操作过程的感知,例如对用户细微动作的感知,要持续跟踪并不断转换成消息传输出去,这需要很大的网络开销,所以权衡考虑,选择一种近似的感知方法.会议白板是CSCW的一个有效工具,一个群体协作的环境.当会议管理员给用户授予权限,使其成为会议的主持人,在会议召开过程中具有最高权限,在交互式讨论协作环境中,主持人可以给用户授权,使其能操作会议白板.建立这样的群体协作环境,关键在于有协作控制机制,它是促进群体正常有效运作的基础,在协作过程中要遵守协作规则.传输层采用TCP传输协议,面向连接型通信协议,保证收发数据的可靠性,因此可以专注应用层协议.传输的数据类型大体分为三类:(1)用户信息;(2)小数据量信息,如文本、坐标等;(3)大数据量信息,如图像.设计的数据包结构如图4所示,用户IP是用户的主机IP地址;操作类型包括文本输出、鼠标的动作;用户信息包括用户名、身份标识等;坐标指绘画区中画笔的移动坐标,输出文本信息的位置坐标等;文本指文本输出的内容信息;画笔信息包括画笔的颜色、线条等;结束符标志数据包结束.大数据量信息则另开一对TCP连接,一般采用流机制,先发送一个数据包表示图像开始传输,然后用流传输图像,在流的末尾附带传送一个结束符.传统的CSCW并发控制有四种方法,加锁法、集中控制法、可逆行操作、操作转换,这几种方法都各有局限,不能简单的使用其中的一种.本文采用集中控制法和加锁法,利用多线程将集中控制转化为客户端分布式处理,服务器对客户连接线程进行调度,使来自客户的信息不必再向其转发,客户端也采用多线程技术,指派一个线程接收小数据量信息,另一个线程接收大数据量信息,它们和用户的本地主线程同时工作.对绘图区使用加锁法,当线程访问绘图区时加锁,挂起其他线程对它的访问,操作结束解锁,唤醒其他线程,保证任何时刻只有一个线程在绘图区工作,实现多线程安全.为了协调多用户操作,还需要让用户感知到当前是哪个用户在操作以及操作类型,如果用户间缺乏相互感知,用户的操作就可能被破坏,对于已经完成的部分也进行标记.协作感知行为采用光标标识法来确定,会议白板根据上面的数据包格式传输处理参数和用户信息,其他用户接收到数据包之后,马上对数据包进行分析,利用用户信息来感知对应的用户.

3.3多画面显示

本文主要利用用户终端与数据流之间存在的唯一对应原理来实现,这些视频图像就能通过分屏的方式在同一个用户页面显示.所有参加会议的用户都设置一个唯一的序列号UID,参加会议的客户端在传输音视频时会自动将用户序列号UID加上,同时也为能够接收到数据的客户端增加一个网络接收过滤器,并把设置的过滤器和服务器转发的网络接收过滤器进行配对,客户端接收到服务器转发的数据包,会马上对数据包中UID进行分析,选择合适的网络接收过滤器进行接收,这个步骤实施完成后,客户端就能把远程客户端发送的视频进行分屏显示.

4结语

本文分析视频会议系统架构,描述服务器与客户端的交互关系,然后分析视频会议客户端信息管理系统的功能需求,对系统中的关键技术如多点控制单元、计算机支持协同工作、会议白板的设计、多画面显示方法等进行阐述,为设计本系统提供技术支持.

作者:程 瀚 廉东本 单位:中国科学院大学