英伟达Omniverse平台在元宇宙技术上的积累锋芒尽显

　　今年4月，英伟达(Nvidia)首席执行官黄仁勋(jin - hsun Huang)用数字人类化身举行了一场新闻发布会，这场发布会非常逼真，愚弄了观众，并将该公司的超时空技术带到了表面。事实上，从图形可视化到人工智能深度学习，再到物理模拟引擎，再到更高层次的计算能力，英伟达的Omniverse平台也是行业中探索跨界之路的重要力量。在12月18日举行的2021网易未来大会上，英伟达中国区Omniverse负责人何战以“打开超界之门的钥匙”为主题，介绍了英伟达在超界领域的研究成果以及对超界发展的思考。感谢网易邀请我参加今年的Future Conference。我是来自英伟达中国的何展。今年我负责我们的全宇宙平台。今天的话题是关于技术和Omniverse如何给你带来新的体验。

　　在我开始之前，我想和你们分享我前几天看到的一个项目。10月12日，瑞士苏黎世联邦理工学院宣布了一个项目，利用我们已有的天体物理数据(约4500颗已知的系外行星、数千万个星系、数亿个太空物体)做一个实验，让你一窥宇宙的样子。这里还有一句话让我非常感动。王建院士表示:“尽管我们20多年前就开始研究天体物理学，但我们今天看到的天体与20年前的天体有很大的不同，这意味着我们今天看到的现实并不是真正的现实。”带着这一点，今天我想和你们分享三个部分:从技术开始，转移到应用，然后看看未来呈现给你们的新世界。让我们从图形可视化开始。我们应该体验过网易游戏，其实游戏展示是与一项技术密切相关的，就是专业的图形可视化。图形可视化研究历史上，有很多计算法学家，这个过程已经持续了几十年。从1968年APPEL的正向光线追踪，到1986年KAJIYA的渲染方程(路径追踪算法)，再到2018年Nvidia SIGGRAPH的黄仁勋的实时光线追踪，其实大家都在朝着这个方向努力。

　　让我和大家分享一下我们的路线图。我们认为我们还有10的6次方的计算能力来实现我们想要的实时沉浸式渲染。所以根据我们的路线图，我们现在在19-23年的范围内，可能要到2035年我们才能真正拥有经验路径跟踪算法的力量。看看专业图形可视化的历史，我们来看看人工智能的深度学习，它已经吸引了很多关注。过去几年，随着数据、算法和计算能力的提高，我们看到了人工智能应用的爆炸式增长。人工智能的经典理论模型是训练和推理。它走了多远?正如你所看到的，这些栅格化的图形是由人工智能、语音驱动的人类模型生成的，甚至数字人也可以自己学会走路。此外，可以从视频中实时提取3d模型，更逼真的服装材料渲染，以及使用深度学习算法进行降噪。有了图形可视化和人工智能，我们能真正创造出什么新产品?这是我们在1919年制作的一个视频。我的同事利用人工智能的POSE算法系统捕捉演员的动作，并将其投射到纪录片的场景中。另外，我们用iPad设备将他的运动轨迹实时传输到拍摄现场。你可以看到美国国旗是黑色的，但我们可以在电脑上实时调整它的灯光渲染。这是一种实时渲染技术，我们可以在未来的虚拟世界中使用它。

　　下一个例子是在体育赛事期间实时捕获的可视化图形和AI数据，如汽车跑道和滑雪者的路径。这个案子要输了插入一些文本，你会得到一个真实世界生成的图像，所有的都是计算机生成的。这也是深度学习算法与图形可视化紧密结合的未来，让我们看到无限的可能性。你甚至可以输入一些天气相关的单词来驱动它做更多的事情。这是我们的创始人黄仁勋在今年4月的演讲中使用的数字二重身。好莱坞的制作公司可能需要数百人几个月的时间来制作这样一个超现实的人物，这需要花费很多钱。在引入了很多创新的算法后，我们将时间缩短到几周，成本也大大降低。

　　两年前，网易福喜实验室基于Audio2Face算法制作了一款音乐到舞蹈的产品。换句话说，当数字偶像输入一段音乐时，他们可以自己跳舞。这些伟大的工具(算法)是免费使用的。一个月前，我们的数字人技术达到了一个新的水平。我想和你们分享我们做的这个“玩具老黄”。我们邀请了三位来自不同领域的专家，一位哲学家问了很多哲学问题，一位气候学家问了很多气候相关的问题，还有一位天体物理学家，他问了很多难以回答的天体物理学问题。你会注意到这个数字停顿了半秒钟，这实际上是理解这些科学家的问题的能力，也是掌握很多非常困难的专业知识的能力。这就是许多人工智能培训可以为未来的数字人和数字化身所做的。然后我们设计了一个机器人在现实生活中订餐。你可以看到机器人有两只小眼睛，它可以读懂点餐的顾客的面部表情和语言，然后机器人可以推荐一些符合他们喜好和卡路里要求的食物组合。这也是未来人工智能将赋予机器人的一种新的应用能力。

　　基于此，我们推出了虚拟数字Omniverse Avatars这意味着在不久的将来，我们将拥有语音合成、对话AI、感知、推荐、渲染动画等更多的功能。该平台将显著降低技术壁垒和成本，允许您快速创建特定应用的数字字符或矢量。我今天要分享的第三项技术是物理模拟。我想和大家分享一下我们最近做的一个项目。这是一个加利福尼亚火灾蔓延的模拟，使用图形，人工智能(训练大量当地气候数据)，和真实的物理燃烧轨迹。第四种是数字双地球电源。我们在一个月前发布了量子计算机的SDK，我们做的第一件事就是孪生数字地球，代号为地球二。这是我们的创始人真正想做的事情。你可能不知道未来的地球气候会是什么样子，比如2060年，所以我们使用大量的数据来预测气温上升是否会带来飓风、龙卷风和其他灾难。我们使用了来自底层平台的技术，如Rapids的大数据能力、模量的数字孪生能力和Omniverse的模拟能力。然后我们制作了一个视频，在视频中我们提到，该模型可以预测飓风的趋势高达32公里，用于灾害预防和救灾工作。你把这四件事加在一起是什么?这是我们的全宇宙和未来，我们可以为新的人类体验和巨大的技术革命服务。