NVIDIA在IBC大会为广播、体育和全球流媒体带来实时AI

NVIDIA在IBC大会为广播、体育和全球流媒体带来实时AI

💡 原文英文,约2200词,阅读约需8分钟。
📝

内容提要

NVIDIA在IBC 2026大会推出AI for Media扩展,涵盖视频检测、3D姿态估计、帧生成、超分辨率及实时翻译配音等技术,并发布Sports Intelligence Playbooks和Holoscan for Media,助力广播、体育及流媒体实现实时AI应用与多语言本地化。

🔎

延伸解读

AI检测与合规:新闻编辑的新防线

NVIDIA的SVD检测器在文本转视频内容上准确率达99.3%,图像转视频为97.7%,并被Dalet、TwelveLabs和Wowza集成到验证与合规工作流中。这为新闻机构提供了在现有界面中审查素材真实性的工具,有助于应对深度伪造风险。媒体团队可将AI检测作为编辑流程的常规环节,但需注意检测并非绝对可靠,应结合其他验证手段。

体育AI:从通用模型到专属智能

NVIDIA Sports Intelligence Playbooks指导体育机构利用专有视频和数据进行模型微调,早期测试显示多项选择准确率从约53%提升至94%,开放问答从5.7%提升至66%。这表明基于自有数据训练的专属模型能显著提升对特定体育项目的理解能力。体育组织应重视数据资产的价值,但需评估微调成本与基础设施投入。

实时本地化:降低多语言直播门槛

NVIDIA将内容本地化技术集成到Holoscan for Media,支持字幕、翻译音频、配音和图形同步。NDI等合作伙伴利用LipSync实现实时翻译和唇形同步配音,减少传统多语言分发所需的带宽和基础设施。这为广播商覆盖全球受众提供了更高效的方式,但实际效果取决于语言对和面部遮挡等场景,需在质量与成本间权衡。

Q&A

NVIDIA在IBC 2026大会上发布了哪些AI for Media的新技术?

NVIDIA在IBC 2026大会上扩展了AI for Media,新增了Synthetic Video Detector (SVD) NIM微服务、3D Body Pose、Video Frame Generation (VFG)、Video Super Resolution (VSR)、TrueHDR、LipSync和Active Speaker Detection等NIM微服务,以及Studio Voice的Microphone Profiles。

NVIDIA Synthetic Video Detector (SVD)的准确率是多少?它如何帮助媒体行业?

SVD的准确率在文本转视频内容上达到99.3%,在图像转视频内容上达到97.7%。它帮助编辑、内容认证、数字取证和媒体完整性团队评估视频是真实还是AI生成的概率,从而增强内容验证流程。

NVIDIA的3D Body Pose技术有哪些应用场景?

3D Body Pose技术可以从单摄像头视频中估计2D和3D人体关节位置和角度,无需标记捕捉系统。它可用于体育组织进行运动员运动跟踪、生物力学和表现分析、回放增强、裁判辅助、球员安全应用以及虚拟互动和沉浸式体验。此外,它还可用于内容创作,如动画制作、数字替身和虚拟制作。

NVIDIA的Video Frame Generation (VFG)技术如何提升视频体验?

VFG使用生成式AI在原始帧之间创建新帧,使视频运动更流畅,可将帧率提高2倍或4倍,同时保持视觉质量和时间一致性。它支持更流畅的体育、慢动作回放、直播和其他高动态视频体验,并支持帧率转换和生成式AI视频工作流的帧增强。

NVIDIA的Video Super Resolution (VSR)和TrueHDR技术有哪些新特性?

VSR使用AI进行视频超分辨率,减少噪声、模糊和压缩伪影,新增了流媒体模式,允许开发者在实时性能和高图像质量之间选择,并增加了10位视频支持。TrueHDR可将标准动态范围视频实时转换为高动态范围输出,亮度可达约2000尼特,同时保持局部对比度并适应内容亮度。

NVIDIA的LipSync和Active Speaker Detection技术如何帮助内容本地化?

LipSync将输入视频中的嘴部运动与目标音频轨道匹配,同时保持自然的头部姿势、眨眼和身体运动,新版本改进了面部遮挡处理并更好地保留牙齿、嘴唇和面部纹理。Active Speaker Detection无需多音轨的说话人分离,增加了语音活动检测,并扩展了部署支持。这些技术帮助开发者构建多语言本地化系统,如实时翻译和配音。

NVIDIA Holoscan for Media与Media Exchange Layer (MXL)的集成有什么意义?

集成MXL为软件定义的媒体功能提供了开放交换层,使它们能够跨分布式环境交换实时视频、音频和数据。这有助于媒体应用共享加速基础设施、动态连接和独立演进,提高基础设施效率,更快引入新功能,减少定制集成,并为AI在直播媒体中的应用奠定基础。

NVIDIA Sports Intelligence Playbooks是什么?它如何帮助体育组织?

Sports Intelligence Playbooks是结构化框架,帮助体育联盟、媒体公司和技术提供商在自有体育视频和注释上微调NVIDIA开放模型,创建理解特定运动规则、球员、得分、策略和上下文的多模态AI。它覆盖AI生命周期,包括数据准备、微调、推理、评估、优化和部署,并整合了Nemotron、NeMo AutoModel等NVIDIA技术。早期测试显示,微调后模型在多项选择准确率从约53%提升到94%,开放式评估从约5.7%提升到66%。

NVIDIA如何将内容本地化技术集成到Holoscan for Media中?

NVIDIA将内容本地化技术(如改进的LipSync和Active Speaker Detection)集成到Holoscan for Media开发者工具包中,提供了一个参考工作流,使字幕、翻译音频、配音、同步视频和本地化图形能够在软件定义的广播应用中协同工作。开发者可以根据每个节目、市场或分发渠道选择所需功能,而无需为每个本地化版本部署单独基础设施。

🏷️

标签

➡️

继续阅读