文章更新于 2023 年 10 月
让我们和我们的压缩技术专家Antonin Descampe谈谈吧!
Antonin Descampe是intoPIX 的共同创始人,自2005年起担任JPEG 委员会成员。他将 他将解释JPEG XS技术与其他编解码器的不同之处以及 XS的优势。 JPEG XS 与其他现有编解码器相比有哪些优势。
什么是JPEG XS,它与JPEG 2000、MotionJPEG 和各种MPEG标准有何不同?
JPEG XS与来自JPEG 、MPEG或其他标准化委员会的现有编解码器之间的主要区别是,压缩效率不是主要目标。其他编解码器主要关注其压缩效率,而忽略了延迟或复杂性。 或复杂性,JPEG XS解决了以下问题。"我们如何能最终取代未压缩的视频?"。
JPEG XS 因此,目标是允许提高分辨率、帧率和流的数量,同时保障未压缩流的所有优势,即互操作性、视觉上的无损质量、多代稳健性、低功耗、编码和解码的低延迟、易于实施、芯片上的小尺寸(无需额外的DDR存储芯片),以及在通用CPU 和GPU 。
没有其他编解码器 满足同时满足这一系列强大的要求。因此,它可以在各方面与非压缩的 "竞争",并且
显著减少带宽/视频数据。
我们如何才能最终取代未压缩的视频?
使用JPEG XS,什么样的压缩方式才是合理的,使用JPEG XS的高清、4K或8K视频的压缩方式有哪些?
总而言之,我们可以说,使用JPEG XS的视觉无损质量的典型操作点约为10:1。
然而,在确定最大压缩比时,必须考虑到分辨率和内容类型。例如,对于给定的质量水平,自然内容通常会达到较高的压缩比。
此外,"视觉无损质量 "也可以意味着不同的质量等级。在开发过程中,XS已经通过了最严格的质量评估程序(ISO/IEC 29170-2,"视觉无损编码的评估程序"),寻求保证原始图像和压缩后的图像之间 "无法区分的闪烁 "的阈值---这通常被称为 "视觉透明度"。
基于我们的测试,包括不同类型的内容(屏幕内容、计算机生成图像(CGI)和自然图像),我们定义了以下表格。表中较低的压缩比特率定义了玩自然内容的用例,而较高的范围是定义了更复杂的内容或需要完全视觉透明的用例。
格式 | XS比特率(低至1bpp | IP 网络 + SDI 映射 |
高清720p60 高清1080i60/p30 | 70 - 195 Mbps | 5到14条溪流超过1GbE 50到140条溪流超过10条GbE |
HD 1080p60 | 150 - 390 Mbps | 2至6条流经1GbE 25至66条流经10条以上GbE |
4K 2160p30 | 250 Mbps - 750 Mbps | 1至4个流超过1GbE 3至10个流超过2.5GbE 13至40个流超过10GbE |
4K 2160p60 | 500 Mbps - 1.4 Gbps | 1至2个流超过1GbE 1至5个流超过2.5GbE 7至20个流超过10GbE 单个3G-SDI/单个HD-SDI |
8K 4320p60 | 2 Gbps - 5,6 Gbps | 1个流经2.5GbE 1至5个流经10GbE 单个3G-SDI/单个6G-SDI/单个12G-SDI |
8K 4320p120 | 4 Gbps - 12,8 Gbps | 1到2个数据流超过10GbE 单个6G-SDI/单个12G-SDI |
JPEG XS是专门针对高端视频应用的,如具有广播、直播贡献、虚拟现实应用等。为什么选择XS JPEGXS而不是H.264或H.265?
视频应用,如广播、广播贡献、虚拟现实应用......需要MPEG-4 AVC / H.264或HEVC / H.265所不具备的功能。
JPEG XS有一个更 复杂程度远低于 比任何像MPEG那样的帧间编解码器复杂得多。它的实现成本更低,FPGA ,而且不需要在额外的DDR内存芯片中存储帧。它在编码器和解码器之间的复杂性也更加平衡,使它更适合于有相同数量的编码器和解码器的环境。MPEG-4 AVC / H.264编码器要比解码器复杂得多。
就延迟 而言,在一个live ,有多个编码和解码步骤的生产工作流程中,使用MPEG-4 AVC / H.264和HEVC / H.265将导致许多秒的编译延迟。JPEG XS有一个 微秒级延迟因此可以在整个live 生产工作流程中运行,甚至不会引起单个MPEG-4 AVC / H.264编码-解码步骤的延迟。即使我们需要H.265来完成最后一英里的分发,我们也尽量避免在分发前的生产工作流程中出现任何额外的延迟。除了广播,JPEG XS的目标应用也需要实时传输,如自动驾驶系统、KVM扩展、VR/AR设备......超过100毫秒的延迟会使这些应用无法使用(如果是自动驾驶汽车甚至会导致崩溃)。JPEG XS的编码和解码速度远远低于这个标准,不到1毫秒。
事实上,JPEG XS不仅针对高端视频应用,而且适用于目前使用非压缩视频的任何地方,需要保持高质量水平,同时又想获得效率的地方--谁不希望这样呢?因此,在移动设备、汽车、电视和其他屏幕等消费类电子产品上,JEPG XS也备受关注。
JPEG XS标准化进程的状况如何? *
关于标准化进程本身的状况,JPEG XS由5个部分组成,都已出版了第一版。
第一部分(核心编码系统)与实际的压缩算法有关,第二部分(配置文件和缓冲区模型)定义了几个配置文件,可以被视为适合特定应用或内容类型的操作点。在第三部分(传输和容器格式)和其他标准化活动中,规定了各种文件格式和传输格式,允许存储或流转一个或多个JPEG XS代码流(见下表)。第4部分(一致性测试)和第5部分(参考软件)处理与一致性测试和参考软件有关的一切,以支持和指导实施者开发符合要求的JPEG XS产品。
自从JPEG XS标准的第一版发布以来,JPEG 委员会的重点是进一步加强和改进XS,以支持新的功能和用例。最值得注意的是开发了新的编码工具,专门用于压缩彩色滤波阵列(CFA)数据,主要是Bayer模式。 这些新工具将使JPEG XS更适用于涉及图像传感器数据压缩的使用案例,如汽车行业或专业相机中的使用案例。 此外,还提供了新的配置文件以支持4:2:0色度采样和数学无损压缩。最初,这些新的发展计划作为第一部分和第二部分的修正案,但这一决定被改变,以支持完整的第二版JPEG XS(所有五个部分)。
除了这个过程,标准机构和工业组织之间还有一些正在进行的联络,如AIMS、VSF、SMPTE 。 TICO Alliance, IETF等。在上次 IP Showcase 在NAB ,有一个关于ST2110-22中的JPEG XS的演讲。一些广播供应商已经发布了他们的实施方案或正在努力在他们即将推出的产品中实施。
项目 | 描述 | 目前的状况 | 笔记 |
---|---|---|---|
ISO/IEC 21122-1 | 第一部分:核心编码系统 | 第 2版,2022 年出版 | 第 3版计划于 2024 年第 2 季度推出 |
ISO/IEC 21122-2 | 第二部分 :剖面图和缓冲模型 | 第 2版,2022 年出版 | 第 3版计划于 2024 年第 3 季度推出 |
ISO/IEC 21122-3 | 第三部分:运输和集装箱格式 | 第 2版,2022 年出版 | 第 3版计划于 2024 年第 3 季度推出 |
ISO/IEC 21122-4 | 第四部分:一致性测试 | 第 2版,2022 年出版 | 第 3版计划于 2024 年第 3 季度推出 |
ISO/IEC 21122-5 | 第五部分:参考软件 | 第 2版,2022 年出版 | 第 3版计划于 2024 年第 3 季度推出 |
IETF RFC9134 | JPEG XS RTP有效载荷 | 由IETF有效载荷工作组批准 | 发布的信息 |
SMPTE ST 2110-22 | ST 2110中的压缩精华 | 发布的信息 | 发布的信息 |
ISO/IEC 13818-1:2019/AMD1 | 用于JPEG XS的MPEG-2传输流(TS)封装器 | 发布的信息 | 发布的信息 |
SMPTEST 2124 | 用于JPEG XS的MXF包装盒 | 发布的信息 | 发布的信息 |
VSF TR-07 | 视频服务表格关于JPEG XS over MPEG-2 TS的技术建议 (SMPTE 2022-2) | 发布的信息 | 发布的信息 |
VSF TR-08 | 视频服务表对JPEG XS比SMPTE 2110的技术建议 | 发布的信息 | 发布的信息 |
AMWA BCP-006-01 | AMWA NMOS与JPEG XS | 已出版 (2023) |
* D2021年7月更新的数据和时间表
我们希望这能让你更好地了解JPEG XS技术和它与其他编解码器相比的优势。 如果你想了解更多关于JPEG XS技术的信息,请随时与我们联系,我们将很乐意与你讨论 !