噪音消除：NVIDIA强效助力直播和远程工作Broadcast

NVIDIA Broadcast 技术中的所有 AI 赋能技术也能以软件开发套件的形式提供给应用开发者。视听技术公司 Elgato 在其 Wave Link 软件中添加了 Maxine 的 AI 音频噪声移除技术,而 VTube Studio (一款热门应用,用于将 3D 模型连接到网络摄像头,以便使用动画角色进行直播) 则提供了可以免费下载的经 RTX 加速的模型追踪器插件。独立开发者 Xaymar 在其 VoiceFX 插件中使用了 NVIDIA Maxine。

Piltch 表示:“我让我八岁的孩子在我身后假装发脾气,当我启用噪声移除功能后,每一声‘我不去睡觉’的抱怨都消失了(至少在录制内容中是这样)。为了增加挑战性,我们让他一边发脾气,一边拿着一辆嗡嗡作响的机器人汽车走来走去。这一次,NVIDIA Broadcast 依然移除了所有多余的声音。”

NVIDIA Broadcast 提供各类 AI 赋能功能,可提升各种用例中的音频和视频质量。它易于使用,适用于任何其他应用,而且设置起来非常简单。

https://images.nvidia.cn/cn/youtube-replicates/viWuC4MMXWc.mp4

助力实现“直播梦”

这款应用包含:

●  虚拟背景:通过背景去除、替换和模糊处理等功能,用户无需使用价格不菲的设备或复杂的照明布置即可自定义背景。

###

在使用 Adobe Premiere Pro 等视频编辑套件或 Ableton Live 及 Adobe Audition 等数字音频工作站进行后期处理时,内容创作者可以使用 VoiceFX 插件或 Elgato 的虚拟工作室技术 (VST) 过滤器消除录制内容中的噪声和回声。

探索 NVIDIA Broadcast

Maxine 的 AI 赋能效果最初在 RTX Voice 测试版中向 RTX 用户开放,随后又在名为 NVIDIA Broadcast 的独立应用中提供。

https://images.nvidia.cn/cn/youtube-replicates/bEurXLfzXfw.mp4

请订阅《解码 AI》时事通讯,我们每周都会将新鲜资讯直接投递到您的收件箱。

●  自动聚焦:实时动态追踪对象的移动,无论移动对象位于何处,均可自动裁剪和缩放画面,以跟拍对象。

●  目光接触:AI 可让主播看起来像是在直视摄像头,即使他们正在看向别处或记笔记。

NVIDIA Broadcast 技术的工作原理是在 Windows 中创建虚拟摄像头、麦克风或扬声器,这样用户只需设置一次设备即可在任何直播、视频会议或语音聊天应用(包括 Discord、Google Meet、Microsoft Teams、OBS Studio、Slack、Webex 和 Zoom)中使用这些设备。

编者注:本文属于《解码 AI》系列栏目,该系列的目的是让技术更加简单易懂,从而解密 AI,同时向 NVIDIA RTX PC 和工作站用户展示全新硬件、软件、工具和加速特性。

NVIDIA Broadcast 应用程序就是一个例子,它可使用本地 RTX GPU 上的 Tensor Core 不间断地提升音频和视频质量。通过将这款应用与 GeForce RTX 和 NVIDIA RTX GPU 内置的 NVIDIA 编码器 (NVENC) 搭配使用,您可轻松上手直播,或在视频会议通话中尽展专业风范。

●  视频降噪:消除弱光环境下的视频噪点,使画面更清晰。

Twitch 知名主播 Mr_Vudoo 表示:“我最常使用的是视频降噪和背景替换功能。目光接触功能非常有趣,老实说,这项功能的效果让我感到惊喜。”

NVIDIA Broadcast 的 AI 赋能背景去除功能也可以在日常情境中发挥作用,例如与医疗专业人员进行视频通话。

NVENC 可应对上述问题。它是 NVIDIA GPU 上的专用硬件编码器,负责处理音视频编码,以便释放系统的其余部分来专注于游戏和内容的性能。Open Broadcaster Software (OBS) 等行业领先的直播应用正在添加对 NVENC 的支持,为 Twitch 和 YouTube 等热门平台上的新一代主播铺平道路。

NVIDIA GeForce RTX、TITAN RTX、NVIDIA RTX 或 Quadro RTX GPU 用户可使用其 GPU 专用的 Tensor Core 协助 NVIDIA Broadcast 的 AI 网络实时运行。

同时,NVIDIA Maxine 还可帮助解决设备昂贵的问题。它包含免费的 AI 赋能功能,例如虚拟绿幕和基于网络摄像头的增强现实追踪。有了这些功能,用户便无需使用物理绿幕或动作捕捉套件等特殊设备。主播们在 2019 年的 TwitchCon 大会上首次体验到了上述绿幕技术,他们使用 GeForce RTX 2080 GPU 上的 AI 加速绿幕,在展厅中现场测试了该绿幕在 OBS 上的效果。

欢迎在任何搭载 RTX 的台式电脑或笔记本电脑上免费下载 NVIDIA Broadcast。

YouTube 频道 PiXimperfect 的主持人 Unmesh Dinda 在极端情境下演示了 NVIDIA Broadcast 的噪声消除和回声移除 AI 功能。他将一台呼呼作响的电风扇正对麦克风,还戴上头盔并让人持续敲击头盔。即便背景中充斥着很大的噪声,在打开 NVIDIA Broadcast 应用的噪音消除功能后,Dinda 的声音依然清晰可闻。这段视频的观看次数已超过 1200 万次。

耳听 (未必) 为实

一直以来,要实现高质量的直播,就离不开昂贵硬件的支持。许多主播常用 x264 软件库的软件 CPU 编码,而这通常会影响游戏质量。这便导致许多主播使用双 PC 设置:一台 PC 专注于游戏和内容,另一台负责串流编码。这种设置组装起来很复杂,还很难进行故障排除,而且其价格对于新人主播来说通常过于高昂。

对于日益增多的远程工作人员来说,NVIDIA Broadcast 应用也是一款实用的工具。Tom’s Hardware 网站的总编 Avram Piltch 在一篇文章中详细介绍了他对这款应用的降噪功能的测试,测试对象包括呼呼作响的空调、修剪草坪的邻居,乃至一个发脾气挥舞着机器人的孩子。NVIDIA Broadcast 的 AI 音频效果每次都能大显神通:

●  噪音和回声移除:只需点击一个按钮,即可让 AI 消除麦克风和输入音频中多余的背景噪声。

AI 为计算领域带来了深远的改变。虽然最近的焦点是生成式 AI,但多年来,由 NVIDIA RTX 提供支持的 AI 加速工具也在改善游戏、内容创作和工作效率方面起到了关键作用。

自 NVIDIA Broadcast 发布以来,已有数百万人使用了这款应用。

●  虚光效果:AI 可对摄像头图像的角落应用暗化效果,以提供鲜明的视觉对比,从而将观众的注意力吸引到视频中央,同时增添风格特色。

https://images.nvidia.cn/cn/youtube-replicates/_kHFTeL1RVU.mp4