自 VVC、LCEVC 和 EVC 引领的 MPEG 编解码器热潮以来，已过去了三年多的时间。在此，我不打算对每一个微乎其微的质量提升或设计成果大肆吹嘘，而是将快速为你梳理当前最常用视频编解码器在质量、播放性能及使用情况方面的最新进展，随后探讨与编解码器相关的商业和技术新进展。

　　对于非专业读者的提醒：2023 年与编解码器相关最重要的事件可能是你需要付费使用它们的可能性增大。此处所指并非硬件或软件解码环节的专利费，而是针对内容本身的版权费用。如果你对此感到忧虑，或许可以跳过本文。

　　其性能表现如何？

　　我们采用新的编解码器，是因为它们让我们得以进入诸如 HEVC 和 HDR 这样的新兴市场，同时还能节省带宽成本。2023 年 5 月，我在“流媒体媒体东部大会-Streaming Media East”上发表了一场题为《2023 年如何选择编解码器》的演讲，其中包含如图 1 所示的数据图表。我主要讨论了 x264、x265、libaom 等开源编解码器，以及 LCEVC 和 Fraunhofer 版本的 VVC。这些编解码器的不同版本会带来不同的效果，这一点我会稍后详细说明。所有编解码器均以 x265 为基准进行评级，后者被标准化设定为 100%，这一实用的展示技巧借鉴自莫斯科国立大学（MSU）。

图 1. 编解码器相对性能

　　市面上存在众多编解码器对比研究，且各自呈现出不同的结果。然而，从宏观角度看，大多数研究显示，只要舍弃 H.264 而改用其他任何编解码器，都能在保持视频画质相同或更优的前提下，显著降低视频比特率。关于 HEVC 与 VP9，Bitmovin 在 2020 年的一项研究中发现两者旗鼓相当，特别是在整个比特率阶梯上的表现。我的测试结果基本与之相符。

　　如图 1 所示，AV1 相较于 HEVC 或 VP9 能够实现可观的比特率节省，而 VVC 则比 AV1 更为高效。LCEVC 的性能取决于其基础层；若以 HEVC 作为基础层，其画质相比 x265 可提升约 22%。

　　编解码器的舞台何在？

　　尽管我们热衷于比较编解码器的质量，但最重要的采用相关考量因素在于该编解码器能在哪些设备上播放。显然，只有在能够实际解码并播放使用该编解码器编码的视频的设备上，才能实现带宽节省。

　　通常，在分析可播放性时，我们会关注三大市场：浏览器、移动设备和客厅设备。它们的兼容性估计情况如图 2 所示。其中一些数据来源于权威来源，比如“Can I Use”，它列出了与其他技术兼容的技术，以及 ScientiaMobile，它至少针对 AV1 和 HEVC 追踪了手机硬件的支持情况。

图 2. 设备对硬件支持情况的估计

　　对于未涵盖的数据点，我非常客气地请 Bard 提供了各编解码器及其对应市场支持率的估计值。如果你正在阅读 Streaming Media 中的这篇文章，我的编辑们一致认为这些信息具有实用价值，当然也带有所有显而易见的限定条件，希望你也能认同。

　　2023 年关于编解码器采用的最大新闻可能就是苹果在其 iPhone 15 Pro 和 iPhone 15 Pro Max 中增加了对 AV1 的解码支持。尽管这无疑是一大积极举措，但要使硬件 AV1 支持的安装基数达到大多数发布者觉得有吸引力的水平，还需 1 至 2 年时间。

　　2023 年 AV1 格式支持状态：Apple 添加了 iPhone AV1 硬件解码支持

　　如前所述，关于移动设备，图 2 中的表格涵盖了硬件播放。那么，软件播放又如何呢？这是一个合理的问题，尤其是考虑到软件播放可能影响播放帧率和电池寿命。例如，Meta 在其 Reels 中部署了 AV1，但这耗费了大量开发精力。YouTube 多年来一直在分发 AV1 编码的视频，但在没有硬件支持的情况下似乎并未向手机推送 AV1 流。

　　一家位于印度的供应商 MX Player（MX Player 作为一家印度的流媒体服务提供商，以其同名的视频播放器应用而闻名，该应用支持多种视频编解码技术）已经开始在移动设备上部署通过软件解码的 VVC，而其他几家供应商发布的研究报告显示，在 iOS 和 Android 设备上 VVC 能实现非常高的播放帧率（需要报告的可以关注留言）。尽管如此，大多数主流发布者仍倾向于在硬件播放功能在足够大的安装基数中普及之前，避免在移动设备上部署新型编解码器。这里的重大例外是 LCEVC（LCEVC 设计的核心理念是通过软件方式增强现有编解码器如 H.264、HEVC 甚至 VP9 等的性能，而无需依赖特定的硬件支持），作为一种增强编解码器，它无需硬件支持就能在大多数平台上高效播放。

　　谁在使用什么？

　　了解各编解码器当前的使用情况以及发布者未来有何使用计划总是饶有趣味。2023 年，Telestream 重新发布了 Encoding.com 的“全球媒体格式”报告，该报告详述了 Encoding.com 在 2022 年为客户制作的编解码器。这些数字加起来为 100%，代表了该公司 2022 年全部生产量的 100%（图3）。

　　图 3. 2022 年 Telestream/Encoding.com 编码使用的编解码器分布

　　请注意，WebM 包含了 VP8 和 VP9，但主要是 VP9。不出所料，AVC（H.264）占据主导地位，紧随其后的是 HEVC，鉴于 TNT、Fox、Tubi、BBC、CNN、NBC、Peacock 和 NBCUniversal 等优质内容客户的存在，这一结果并不令人惊讶。另外需要注意的是，Encoding.com 现已更名为 Vantage Gateway。

　　图 4 展示了来自《第七届 Bitmovin 视频开发者报告》的 VOD 编解码器使用情况估计。这份报告呈现的是行业调查结果，而非像“全球媒体格式”报告那样详述实际生产统计数据。

　　图 4. “第七届 Bitmovin 视频开发者报告”中的当前（蓝色）及计划编解码器使用情况

　　此处数字总和超过 100%，因为受访者使用了不止一种编解码器。蓝色数字表示目前处于生产的编解码器，红色数字表示计划在未来 24 个月内实施的编解码器。同样，H.264 和 H.265 的相关结果并不让人意外。

　　AV1 的使用情况是个谜团。在《第六届 Bitmovin 视频开发者报告》中，14% 的受访者表示他们在使用 AV1，另有 42% 的人计划在未来 12 至 24 个月内实施。而在本报告中，这两个数字分别降至 8% 和 32%。如果调查受访者的构成没有发生戏剧性的变化，这些数字很难得到解释。

　　话虽如此，AV1 并非唯一使用率下降的编解码器：VVC 从当前使用率为 15%、计划使用率为 29%，降至当前使用率为 7%、计划使用率为 12%。这可能表明流媒体行业对于新型编解码器部署的热情正在减退。

　　成本如何？

　　在考虑完质量和兼容性之后，大多数制作人会关注成本问题。而在这方面，事情变得有趣起来。多年以来，现状一直是这样：

　　所有基于标准的编解码器，包括 H.264、HEVC、VVC 和 LCEVC，都需支付专利费，拥有一个或多个专利池，并有明确的费率结构。然而，绝大部分专利费应用于硬件和软件播放设备，而非内容本身。

　　谷歌一直坚称 VP9 是开源且免专利费的，而开放媒体联盟也为 AV1 做出了同样的声明。然而，2020 年 3 月，专利池管理机构 Sisvel 宣布了针对 VP9 和 AV1 的两个专利池。不过，根据许可条款，Sisvel 仅对播放设备收取专利费，而不针对内容。

　　2023 年 10 月 18 日，Avanci 推出了 Avanci Video 平台，目标是对视频发布者收取与内容相关的专利费。以下是 FAQ中 我们了解到的信息：

　　谁应从 Avanci Video 获取许可？

　　使用上述五种标准（H.265 [HEVC]、H.266 [VVC]、VP9、AV1 和 MPEG-DASH）向用户提供互联网视频流服务的互联网视频流公司可以选择从 Avanci Video 获得许可。我们的许可项目面向所有互联网视频流公司，包括基于订阅的娱乐服务、基于广告的视频分享网站、社交媒体和视频消息平台，以及视频会议提供商。

　　你可以看到专利池中涵盖的编解码器，其中不包括 H.264，很可能是因为与之相关的许多专利的 20 年专利保护期即将届满。该平台共有 26 家专利持有者，各自拥有清单中各项技术的多项专利，其中多家来自 Sisvel 专利池。Avanci 并未提供专利费率。

　　甚至在 Avanci 公告发布之前，就已经有迹象表明编解码器相关专利持有者正试图开始向内容所有者收取编解码器使用费。（参阅《What Your Codec Will Cost You: Robert J.L. Moore Talks Avanci Video Codec Patent Pool Launch》一文，其中包含了与律师罗伯特·J·L·摩尔关于 Avanci 专利池以及此前针对内容专利费的尝试的讨论。）归根结底，在 2023 年之前，出版商可以相对安全地假设他们可以使用高级编解码器，而无需过于担心可能产生的编解码器专利费。遗憾的是，现在情况已经不再如此。

　　AI 已经到来！

　　过去 12 至 14 个月，人工智能对我们日常生活的影响，尤其是在工作方面，可以说是翻天覆地。那么，AI 何时会对编解码器领域产生影响呢？

　　看来，这种影响已经出现。图 5 展示了 2023 年 11 月发布的《MSU 视频编解码器比较 2022》中的主观结果。与图 1 一样，x265 作为参考编解码器，其效率设定为 100%，其他编解码器则显示出更高或更低的效率。如你所注意到的，数值越小越好，其中最小值属于腾讯 TVC，其效率比腾讯的 VVC 编解码器（VVC 也是 H.266）高出约 10%。

　　图 5. 在最近一项莫斯科国立大学的研究中，性能最高的编解码器 Tencent TVC 包含 AI 成分。

　　TVC 是什么？以下是我们从腾讯新闻稿中了解到的内容：“TVC 持续克服由长期标准迭代导致的压缩瓶颈，优化新AI编码工具引入的高编码/解码复杂度，并通过彻底优化编码工具、快速算法、工程和比特率控制，满足定制化编码/解码需求。”关于实际涉及AI的程度，很难从噪音中辨别出真实信号，但这并不是 AI 与编解码器相关联的唯一实例。

　　Deep Render 是一家专注于开发先进视频压缩技术的AI初创公司。由两名伦敦帝国理工学院学生于 2018 年创立，Deep Render 利用 AI 智能分析和重建视觉数据，以在高压缩率下最大限度减少失真。据称，其编解码器已经实现视频文件大小缩小 5倍，目标改进幅度高达50倍。Deep Render于2022年公开其技术，并在2023年筹集了 900 万美元的A轮融资。此外，该公司还荣获 2023 年英特尔创业创新奖。你可以观看关于该公司的视频。

　　同样值得关注的是“通过人工智能实现动态图像、音频和数据编码”（Moving Picture, Audio and Data Coding by Artificial Intelligence, MPAI）倡议，由 Leonardo Chiariglione 创立，他同时也是 MPEG 的创始人。MPAI 致力于通过 AI 提升视频编码技术，尤其是针对 EVC 编解码器。

　　MPAI 令人印象深刻之处并不在于其旨在改进的具体技术细节，如内插预测、超分辨率和环内滤波。真正引人注目的是其研究的大局观，包括健康应用领域的 AI、联网自动驾驶车辆的 AI，以及元宇宙和人机通信的 AI（图6）。

　　图 6. MPAI 标准之一涉及联网自动驾驶车辆。

　　如果你是一名广播或媒体专业人士，你完全有理由对这些基于 AI 的开发努力会立即影响到你的工作的想法嗤之以鼻，因为编解码器需要经过多年繁琐的标准采纳和操作系统、浏览器、设备（更不用说编码器和转码器）部署过程。然而，在诸如会议、自动驾驶车辆，甚至是医疗设备等封闭应用中，单一供应商可以控制方程式的编码和解码两端，这些编解码器可能（正如镜子所说）比看上去离我们更近。

责任编辑：李楠