MPEG4 是一个庞大的有关交互多媒休编码 与通信的标准, 目前已出台的委员会草案CD, 多达上千页。我们重点概述了AV 对象的编码技术。

　　1 多媒体传送集成框架DMIF

　　DMIF 主要解决交互网络中、广播环境下以及磁盘中多媒体 应用的操作问题, 通过传输多路合成比特信息, 建立客户端和服 务器端的握手和传输。与过去不同的是, 由于MPEG4 码流中, 包 括许多的AV 对象, 一般而言, 这些AV 对象都有各自的缓冲器, 而不仅仅是视频缓充器和音频缓充器。

　　2 语法描述

　　MPEG4 定义了一个句法描述语言来描述AV 对象比特流表 示和场景描述信息。这个句法描述语言是对C++的扩展, 不仅易 于表达其AV 对象特性, 而且也易于软件仿真实现与模型验证。与 MPEG4 相比, MPEG1 和MPEG2 则采用一种类C 语言的描述, MPEG4 描述语言反映了面向对象技术来描述对象。

　　3 音频对象的编码

　　视频音频的压缩编码自然仍是MPEG4 的核心所在。不过, 与 以前的MPEG1、MPEG2 不同的是:MPEG4 不仅支持自然的声音 ( 如语音和音乐) , 而且支持基于描述语言的合成声音( 如MIDI 之类) 。而且, 支持音频的对象特征。即一个场景中, 同时有人声和背景音乐, 它们也许是独立编码的音频对象。

　　1.1 自然声音编码

　　MPEG4 研究比较了现有的各种音频编码算法, 支持2～64K的自然声音编码。如8KHz 采样频率的2～4Kbps 的语音编码, 以及8KHz 或16KHz 采样频率4～16Kbps 的音频编码, 一般采用参数编码; 6～24Kbps 的语音编码, 一般采用码激励线性预测CELP (Code Excited Linear Predicitive) 编码技术; 16Kbps 以上码率的编 码, 则可采用时频(T/F)变换编码技术。这些技术实质上借鉴了已 有的音频编码标准如G723、G728 以及MPEG1 和MPEG2 等。图1 是MPEG4 的可伸缩自然音频编码器示意图, 包括三种编码技术。

　　图1 通用MPEG4 音频编码方框图

　　1.2 合成声音

　　在合成声音编码当中, MPEG4 引入了两个极有吸引力的编码技术: 文本到语音(Text- to- Speech)编码和乐谱驱动合成编码技术。这为网络上低比特率下交互的带有语音的游戏铺平了道路。事实上, 合成声音编码技术即是一种基于知识库的参数编码。

　　4 视觉对象的编码

　　同样, MPEG4 也支持对自然和合成的视觉对象编码。合成的视觉对象如2D、3D 动画, 人的面部表情动画等, 这些合成图像单独编码, 不仅可有效压缩, 而且还便于操作。对自然视觉对象的编码, 也是MPEG4 的重点。比对于静止图像, MPEG4 采用零树小波算法(Zerotree WAV eletalgorithm)以提供高压缩比, 同时还提供多达11 级的空间分辨率和质量的可伸缩性。对于运动视频对象的编码, MPEG4 采用了如图2 所示的编码框图, 以支持图象的编码。

　　图2 MPEG4 视频编码方块图

　　可见, MPEG4 为了支持基于对象的编码, 引入了形状编码模块。为了支持高效压缩, MPEG4 仍然采用了MPEG1、MPEG2 中的变换、预测混合编码框架。对于一般的任意形状的视频对象,

　　MPEG4 编码后的码流结构见图3。

　　图3 通用MPEG4 视频编码

　　对于实时的极低比特率的应用, 如可视电话, MPEG4 视频编码采用VLBV(极低比特率视频)核进行编码, 类似于ITU 的H 263 直接对矩形视频编码, 而不采用形状编码模块。因而, 编码后的码流结构见图4:

　　可见, MPEG4 采取了向前兼容H263, 同时, 也提供了一些高 层特性, 如基于内容的编码。其扩充的方式, 如图5。与此同时, MPEG4 还支持有误码信道传输下的健壮性, 提供了更好的同步和 误码恢复机制。

　　图5 MPEG4 的视频功能扩充

　　5 场景描述及其它 场景措述主要用于描述以上单个的AV 对象如何在一具体 AV 场景座标下的组织与同步等问题。同时还有AV 对象和AV 场 景的知识产权保护等问题。, 就是我们如何欣赏MPEG4 为我 们提供的丰富多彩的AV 场景了。

　　制定中的MPEG4 将提供一系列技术以满足视听内容的提供 者、网络服务和最终用户的要求。对于网络服务商, MPEG4 将使多 媒体信息在不同网络中提供透明的传输, 便于保护知识产权。 MPEG4 的多媒体信息将独立于网络特性并能针对不同网络特性 进行优化传输。对于最终用户, MPEG4 将支持更多的功能, 尤其是 支持对AV 对象的交互作用。

　　为了达到这些目标, MPEG4 采用如下方法:

　　(1)采用“AV 对象”AVOs(audio/VisualObjects)来表示听觉、视 觉或者视听组合内容。在MPEG4 中, 可交互的“AV 对象”一改过 去图像帧或音频帧的结构, 加入了更大的灵活性和交互性。这是 MPEG4 的主要特征—基于内容的编码。

　　(2)允许组合已有的AV 对象以生成复合AV 对象, 并由此生 成视听场景(AV)场景)。在MPEG4 中, 一个场景已不再是一帧帧的 视频、音频序列组成的, 而是由许多“AV 对象”按照一定的坐标和 层次组织起来的。MPEG4 采用一种叫做合成—自然混合编码 SNHC(Syn thetic- naturalhybridCoding)的方法来组织这些“AV 对 象”, SNHC 的许多观念实际上来源于虚拟现实建模语言VRML。

　　(3)允许对“AV 对象”的数据灵活地多路合成与同步, 以便选 择合适的网络来传输这些“AV 对象”数据。在MPEG4 中, 一个AV 对象用一个或多个基本流来表达。这些流还带有一些有关传输服 务质量QoS 的参数(如码流率、比特误码率等等)和一些其它 参数, 如流类型信息和流同步信息。一般而言, 我们将这些多路合 成和同步的AV 对象数据流分成四层: 基本流层(Elementary Stream Layer)、访问单元层(Access Unit Layer)、灵活多路合成层 (Flexible Multiplexing Layer)和传输层(Transport Multiplexing Layer) 。

　　(4)允许用户在接收端生成的AV 场景中与AV 对象进行交互 操作。在接收端, MPEG4 允许用户进行如下的操作, 如改变场景的 视角来欣赏AV 场景, 将AV 场景中的AV 对象拖到不同的地方, 通过点击(click)一个具体的AV 对象来触发一系列事件, 选择不同 的语种等等。当然, 这些场景的交互性取决于AV 场景设计者, 而 MPEG4 为这种设计提供了可能。

　　(5)支持AV 对象的知识产权的标识与保护。由于MPEG4 的 语法, 支持广泛的AV 对象和AV 对象的编辑组合, 因此, 区分不 同AV 对象、AV 场景的知识产权应当在MPEG4 的语法中得到体 现。

　　MPEG4 的应用面非常的广泛, 既可以用于高质量的数字电视, 又可以应用于极低码率的移动多媒体通信系统, 还可以以交互的方式工作。框架就是针对特定的应用确定要采用的编码工具, 它是MPEG4 提供的工具集的一个子集。不同框架的码流句法结构各不相同, 而且各视频、音频和图形框架中支持的对象类型各不相同。每个框架又有一个或多个级别来限制计算的复杂度。 　　MPEG4 针对不同的媒体内容和场景描述定义了4 类框架:视频框架、音频框架、图形框架、场景描述框架。在选用不同的框架时各部分是相互独立的。 　　由于其丰富的工具集, 而且通过下载, MPEG4 标准还将支持使用不在标准中出现的工具、算法和轮廓, 所以MPEG4 能满足多种多样的应用需求, 如: 　　(1)实时通信(realtime communications); 　　(2)远程监控(surveillance); 　　(3)移动多媒体(mobile multimedia); 　　(4) 基于内容的存储与检索(content based storage and retrieval); 　　(5)网上视频流(streaming video on the Internet); 　　(6)数字调幅广播(digital AMbroadcasting); 　　(7)广播(broadcast); 　　(8)电影电视后期制作(studio and television post production); 　　(9)DVD; 　　(10)虚拟会议(virtual meeting)。 　　目前MPEG4 的产品已在市场上出现了, 网上也有许多视频文件是以MPEG4 的格式压缩的。

　　MPEG-4 这个标准支持新的方法进行通信, 存取和处理影音 数据。影音通信正出现许多新的要求, 现有标准并不能符合这些 要求。新标准的一个特点就是用户能根据内容存取和处理视频信 号。 MPEG4 的应用将是广泛而深远的。

　　这一新的工业标准将至少 可以应用于以下场合：

　　(1)实时多媒体监控：

　　(2)极低比特率下的移动 多媒体通信：

　　(3)基于内容存储和检索多媒体系统：

　　(4) Internet/Intranet 上的视频流与可视游戏：

　　(5)基于面部表情模拟的虚拟会议：

　　(6)DVD 上的交互多媒体应用：

　　(7)基于计算机网络的可视化合作实 验室场景应用：

　　(8)演播室和电视的节目制作。