自动驾驶汽车的挑战
对于自动驾驶,多个传感器被组合起来,它们的数据被传输到所谓的ECU(电子中央单元),在ECU中,来自传感器的数据被共同分析并计算相关的行动。来自这些传感器的数据需要以最大的响应速度进行处理,因此意味着在整个数据流中要有很低的延时。
在实施方面,考虑到传感器的数量,需要尽可能限制功耗。车内的布线也至关重要。高分辨率摄像头和有限的接口带宽要求在低延迟传输和/或在一个端口/电缆上汇聚多个传感器流时进行智能压缩以减少带宽。我们的解决方案适用于任何协议,如 MIPI 或汽车以太网,并可在FPGA,ASIC,CPU 或GPU 上运行。
车载传输系统(或称信息娱乐系统)是车载硬件和软件的集合,可提供音频或视频娱乐功能,如汽车导航系统、视频播放器、USB 和蓝牙连接、车载电脑、车载互联网和 WiFi。intoPIX 可通过JPEG XS(参见 TicoXS)等新技术实现无损质量和微秒级延迟的视频传输。
汽车总是需要更多的摄像头,这些摄像头会产生难以置信的数据量,因此需要更重的带宽。
我们使用新的RAW CFA压缩技术(见TicoRAW)的目的是为了避免繁重的电缆,这意味着额外的成本、额外的空间要求和额外的电力消耗。 此外,在这种极其敏感的使用中,我们不能忽视延迟;最轻微的延迟可能会产生灾难性的后果。
intoPIX 汽车解决方案概述
TicoRAW 用于汽车传感器数据
我们的TicoRAW 解决方案能够在捕获、传输、存储和机器学习期间以光速优化RAW Bayer(及其他CFA数据)。在相机中的低功率,它能够捕获、存储和流式RAW (CFA,Bayer),包括在10倍的尺寸和带宽下的HDR。我们的FPGA &ASIC 核心(编码器/解码器)系列支持高分辨率(从200万像素到64万像素或更高),以30、60、120 fps(或更高),处理RGGB、RYYCy、RCCC和其他8至16bit的CFA模式。
无损(数学上)压缩能力也是一个固有的特点。我们的编码/解码软件库针对x86-64CPU , ARM64CPU & Nvidia GPU,具有令人难以置信的性能!该软件能力也是用于开发目的的车辆数据采集的一个关键优势。
用于汽车视频连接的TicoXS (JPEG XS)
intoPIX 有大量的JPEG XS实现,从IP-cores forFPGA &ASIC 到软件库。新的轻量级低延迟ISO标准旨在取代未压缩的视频,保持微秒级的延迟,以最小的编码/解码复杂度实现无损质量,完美地满足汽车行业的需求。
intoPIX 汽车解决方案的最终好处
TicoRAW | TicoXS | |
---|---|---|
极低的延迟 | ||
原始质量 无损的人类或机器视觉 | ||
较低的带宽 | ||
降低了设备的成本和功耗 | ||
支持高分辨率 | ||
符合MIPI接口或汽车以太网的要求 | ||
更少的接口,更少的电缆,更少的存储 |
TicoRAW 带宽减少实例
,用于通过MIPI或自动以太网的传感器数据接口
以TicoRAW 传感器压缩率为4:1为例(如下表),它将使用(至少)4倍的带宽,或在相同的带宽上支持(至少)4倍的分辨率,相同数量的MIPI通道,或在同一电线上传输4倍的传感器。
请注意,TicoRAW ,对于下面提到的许多格式,可以压缩到10:1,并低于1 Gbps。
< 2.5 Gbps |
< 5 Gbps |
< 10 Gbps |
常规RAW (单位:Gbit/sec)
格式 | 帧数 | 8位 | 十位元 | 12位 | 14位 | 16位 |
---|---|---|---|---|---|---|
1MP/720p | 30 | 0.22 | 0.28 | 0.33 | 0.39 | 0.44 |
1MP/720p | 60 | 0.44 | 0.55 | 0.66 | 0.77 | 0.88 |
2MP/1080p | 30 | 0.50 | 0.62 | 0.75 | 0.87 | 1.00 |
2MP/1080p | 60 | 1.00 | 1.24 | 1.49 | 1.74 | 1.99 |
4MP | 30 | 0.91 | 1.13 | 1.36 | 1.59 | 1.81 |
4MP | 60 | 1.81 | 2.27 | 2.72 | 3.1 | 3.63 |
4K超高清 | 30 | 1.99 | 2.49 | 2.99 | 3.48 | 3.98 |
4K超高清 | 60 | 3.98 | 4.98 | 5.97 | 6.97 | 7.96 |
1000万像素 | 30 | 2.26 | 2.83 | 3.40 | 3.96 | 4.53 |
1000万像素 | 60 | 4.53 | 5.66 | 6.79 | 7.93 | 9. 06 |
TicoRAW (单位:Gbit/sec)
格式 | 帧数 | 8位 | 十位元 | 12位 | 14位 | 16位 |
---|---|---|---|---|---|---|
1MP/720p | 30 | 0.06 | 0.07 | 0.08 | 0.10 | 0.11 |
1MP/720p | 60 | 0.11 | 0.14 | 0.17 | 0.19 | 0.22 |
2MP/1080p | 30 | 0.12 | 0.16 | 0.19 | 0.22 | 0.25 |
2MP/1080p | 60 | 0.25 | 0.31 | 0.37 | 0.44 | 0.50 |
4MP | 30 | 0.23 | 0.28 | 0.34 | 0.40 | 0.45 |
4MP | 60 | 0.45 | 0.57 | 0.68 | 0.78 | 0.91 |
4K超高清 | 30 | 0.25 | 0.62 | 0.75 | 0.87 | 1.00 |
4K超高清 | 60 | 1.00 | 1.25 | 1.49 | 1.74 | 1.99 |
1000万像素 | 30 | 0.57 | 0.71 | 0.85 | 0.99 | 1.13 |
1000万像素 | 60 | 1.13 | 1.41 | 1.70 | 1.98 | 2.27 |