今日,NVIDIA宣布推出一款名为NVIDIA Maxine的视频会议平台,据称该平台将允许开发者利用NVIDIA的云端AI处理能力,提供诸如超分辨率、噪声消除、面部优化、实时翻译等AI功能,并且所需带宽极低。
在官方的视频演示中,NVIDIA介绍了该视频会议平台的多项功能,除了我们常见的背景替换、环境噪音消除、虚拟面部追踪等功能外,还有多项创新功能出现。比如面部对齐、照明调整、目光对准和实时翻译,它们都基于基于AI云端建模,为视频中的人物实现了常规条件下不可能的处理。
不仅提高了分辨率 还消除了噪点 优化了面部光照并进行了目光对准
面部调整可以通过AI建模使人物在视频中调整头部角度 始终正对镜头
此外,利用AI的视频压缩技术,NVIDIA的视频会议平台运行所需的带宽也大幅减少。就30Fps的H.264视频而言,常规来说其所需带为2918KB/s,但在NVIDIA的平台下,所需带宽将被缩小至十分之一,也就是所292KB/s即可正常视频。
NVIDIA表示,该压缩功能基于AI在云端重建了视频者的面孔,类似我们常见的DeepFake所使用的技术。软件不再传输整个屏幕的像素,而是只需传输面部关键点即可在视频端生成整个面部。、
此次NVIDIA大举进军视频会议平台,一方面是结合现实来看视频通话确有市场,另一方面则是要继续扩大自身在云计算领域的影响力。该技术并非消费者可以直接使用,而是面向开发者提供的平台。目前仅有通信公司Avaya宣布合作,NVIDIA此举能否成功还要看后续与其它公司合作的进展。