专业音视频顶级机器学习让画质“秒变” 专业音频品牌
“机器学习作为一种快速发展的技术,正在激发 Pro AV 与广播领域的全新使用模式。,专业音视频顶级机器学习让画质“秒变” 专业音频品牌
导 读
“机器进修作为一种快速进步的技术,正在激发 Pro AV 和广播领域的最新运用玩法。”
——赛灵思 Pro AV 和广播业务总监 Ramesh Iyer
根据研究机构数据,2024年8K面板出货量将从去年的24万片激增至110万,增幅高达358%。随着8K技术瓶颈突破以及产业链趋于成熟,8K产品市场有望迎来快速增长。事实也印证了这一点:2024 年庚子年央视新春联欢晚会第一次采用 5G + 8K 技术实现拍摄和制作,拉斯维加斯 CES 展上8K 技术和产品也几乎无处不在。
然而,巧妇难为无米之炊。如果只有 8K 产品而缺乏 8K 画质的内容,8K 依然无法真正实现。
赛灵思作为自适应和智能计算的全球领先企业,去年率先引入HDMI 2.1 IP子体系,使各种搭载赛灵思器件的专业音视频(Pro AV)设备能够发送、接收和处理高达 8K(7680 x 4320 像素)的超高清(UHD)视频。现在欧洲集成体系展(ISE)上,赛灵思再次面给Pro AV和广播市场的相关器件推出一系列最新顶级机器进修(ML)功能,并示范了业界首个基于7nm Versal™ 器件的可编程 HDMI 2.1 实现方法。
这些颇具针对性的高度自适应化解方法,将有效帮助客户降低成本、适应未来,同时适应最新的运用玩法以及不断进步演进的产业标准。
机器进修作为一种快速进步的技术,正在激发 Pro AV 和广播领域的最新运用玩法。在赛灵思自适应平台中添加 ML 功能,实现了高度集成的 AV 处理器,为 8K 视频、IP 音视频和压缩功能提供了业经验证的支持。现在通过增添多种顶级功能,有助于开展商业化解析、进步职业流效率和增强可用性。最终,这些集成ML 功能将帮助企业加速创造、实现自身差异化,并加快产品上市进程。
—— 赛灵思 Pro AV 和广播业务总监 Ramesh Iyer
面给 AI 边缘处理的顶级ML功能
面给赛灵思 Pro AV 和广播平台最新推出的 ML 功能包括感兴趣区域编码(region-of-interest encoding)、智能数字标牌(intelligent digital signage)、自动对象跟踪(automatic object tracking)和窗口剪切(window cropping)以及语音识别(speech recognition)。现在,客户能够充分运用赛灵思器件上的这些 ML 功能,包括已经高度集成的 Zynq® UltraScale+™ MPSoC 平台,用于实现 AI 边缘处理。将实时音视频处理、AV 连接接口、编解码器、IP 联网、CPU 和 GPU 集成在可扩展的自适应单芯片化解方法中,能为用户显著节省空间、功耗和成本。
Pro AV 市场客户能够将这些最新的 ML 功能用于多种应用和职业负载。主要包括:
感兴趣区域编码 —— 借助 ML 和 Zynq UltraScale+ MPSoC 集成型 H.264/H.265 编解码器,保持这些区域的高质量视频画质、加大背景压缩幅度,从而更好地检测人脸和特征。这种方式能降低总比特率,大幅节省实时视频流的成本。
智能数字标牌 —— 运用 ML 模型检测性别、年龄和手势,在数字标牌上提供针对性的交互广告。这种方式能为广告商带来更高的投资回报率以及可获利的行为指标。
自动对象跟踪和窗口裁剪 —— 运用 ML 功能,从单个 4K 摄像头输出多个高清窗口。这项功能尤其适用于在实况播报和控制室中提供画面切换内容。
语音识别 —— 根据语音自动输出文本,理想适用于会议记录内容自动转录以及会议和协作中的语言翻译。
首款在 7nm 器件上实现的的 HDMI 2.1 方法
在 ISE 2024 上,赛灵思示范了业界首款基于赛灵思 7nm Versal™ 器件的可编程 HDMI 2.1 实现方法。该方法基于赛灵思首款自适应计算加速平台( ACAP )构建。ACAP是一款具有变革意义的最新异构计算器件,其功能远超常规的 CPU、GPU 和 FPGA。
HDMI 2.1 数据速率高达 48Gbps,支持 8K60 和 4K120 等一系列更高的视频分辨率和帧率,从而帮助 LED 画面墙、大幅面显示屏、数字标牌以及运动赛事实况转播等需要高速视频功能的应用提供更加身临其境的尝试。基于Versal ACAP 的 HDMI 2.1 实现方法专门支持这项标准,可以帮助客户发送、接收和处理高达 8K(7680 x 4320 像素)的超高分辨率( UHD )视频。
7nm Versal ACAP 在软件可编程芯片架构下提供了可扩展的自适应智能化引擎,将嵌入式软件、多通道 AV 处理流水线和 AI 推断紧密结合。除了这些之后,还将实时视频处理、AV 连接接口、编解码器、IP 联网、CPU、GPU和其他功能集成在单芯片化解方法中,也能为客户节省空间、功耗和成本。
Versal AI Core 系列 VCK190 评估套件
VCK190 是首款 Versal™ AI Core 系列评估套件,可帮助设计者运用 AI 和 DSP 引擎开发化解方法,和当前服务器级 CPU 相比,这些化解方法可实现 100 倍以上的计算性能。
VCK190 套件包含 VC1902 Versal AI Core 系列 ACAP,凭借广泛的连接选项和标准化开发流程,可为云、网络及边缘应用提供产品组合中最佳的 AI 推断及信号处理吞吐量。
主要性能和优势
可支持高吞吐量人工智能推断及信号处理的多市场平台
5G 无线电和波束成形
电缆接入(头端)
无线测试和测量
汽车/ADAS 原型设计
广泛的连接选项,可实现快速应用开发
DDR4 和 LPDDR4 内存接口
SFP28 及 QSFP28 光学接口和适用于网络的 RJ-45 以太网端口
面给高计算性能市场的 PCIe® Gen 接口
面给视频处理应用的 HDMI
FMC 扩展连接器,支持多种可选的插件卡,包括相机传感器和显示器
(转载)