深度学习与传统方法

请自我介绍一下。你做什么工作？你在哪些公司工作过？您是如何进入 CG 和机器学习领域的？

Slava：当时我在 2000 年代初期用 Cinema4D 做一些数字艺术和动画。后来，我转而为 BBDO 和 DDB（世界上最好的广告公司）管理数字开发。这几十个全球品牌的项目教会了我很多关于与创意人员合作的知识。将想法变为现实是我作为数字制作主管所能获得的最佳体验。然而，看到全球品牌扼杀最雄心勃勃的想法是非常痛苦的。所以我转向了更基础的东西——机器学习、学习数学和 Python 编程语言。这把我带到了最伟大的游戏玩家 AI 公司（GOSU.ai) 我在那里领导 B2B 研发 2 年。今年，我开始致力于用于各种创意的机器学习。所以我们聚集了一个世界一流的机器学习研究人员团队，我们正在为 CG 解决方案提出一堆机器学习。我们开始对动画进行深度学习。

Gleb：我的名字是 Gleb，我负责我们团队的技术方面的工作。我的职业生涯始于科学领域，当时我正在攻读博士学位。用于物理研究。后来，我转向了行业方面，并从商业角度进行了机器学习。我有机会利用数据科学为美国的拼车服务（优步竞争对手），为欧洲最大的数字银行做机器学习，并最终领导了全球 TOP-5 科技公司的研发深度学习团队. 尽管公司名称并非来自创意产业，但我一直在努力为人类的创意方面充分利用技术。

好的，让我们讨论当前的动画解决方案。请告诉我们可用的方法。

Slava：我不想听起来太明显，但一般来说，有 3 种方法可以让动画变得生动：

• 手动设置关键帧（耗时、依赖技能、无法缩放）

• 尝试使用程序/程序方法（难以编辑和维护）

• 使用 mocap 解决方案（灵活、可扩展，有些在规模上具有成本效益）

对于动作捕捉解决方案，有：

• 动作捕捉工作室（昂贵，不灵活）

• 西装（必须在行动前购买，处理金属环境问题，处理西装尺寸，对某些人来说仍然很贵）

• 无标记解决方案（门槛低，比其他人便宜，从小项目到大项目的规模都可以优雅地扩展）

Gleb：从技术上讲，无标记运动捕捉解决了通过查看人体像素来重建 3D 人体姿势的任务。归根结底，归根结底取决于数据集的质量和算法的质量，它们大多基于各种深度学习模型，后者需要极其稀少的人才和技能。这就是我们收集大量数据并花费大量时间研究、完善我们的算法并将其引入行业的原因。

让我们谈谈机器学习。它是什么以及它如何与动画融合？你能举一些例子吗？

Gleb：机器学习本质上是一类算法，可以构建将某物映射到某物的数学模型。该机器学习模型查看数据并学习将 A 作为输入并输出 B（预测）。因此，对于 CG，有多个任务可以通过机器学习方法解决。例如，在动画中，它是从当前帧 (A)（运动匹配）预测下一帧 (B)、预测重定向、从 2D 视频预测 3D 关键点等等的任务。

Slava：是的，用简单的英语，我们将机器学习视为人类运动数据的集中知识。例如，来自 2D 视频和预测的 3D 关键点的信息。从本质上讲，这是从视频中重建 3D 人体姿势的任务。因此，我们有无标记的动作捕捉解决方案。

Slava：有趣的是，我们的技术降低了最终用户的技术门槛。游戏工作室团队或个人创意人员不需要花费数千美元来尝试。他们只需将普通相机放在演员所在的任何地方，就能看到数千公里外的动作捕捉数据。同样重要的是，我们最伟大的团队可以实现软件实时工作。这意味着我们的用户可以立即看到他们的动作捕捉数据。

Gleb：要从视频中获得好的 3D 关键点，仅靠机器学习是不够的，但结合其他先进的编程技术，它会产生令人印象深刻的结果。

Slava：现在是把它带到行业，学习行业需求，并根据要求完善它。这就是为什么我们邀请各种创意人士免费加入我们的创意合作。因此，如果您有一个项目，我们的软件可以使您的工作受益，请在此处联系我们。

您如何看待机器学习优化生产？如果能分享一些数字就太好了。我们都听说它非常有效，但我们通常不会听说时间和金钱。

斯拉瓦： 机器学习的主要目的之一是质量的民主化并加快中间团队和独立团队的流程。我将分享我们的一个试点项目中的一个例子。该团队正在制作一款包含大约数十个独特角色和一些过场动画的恐怖游戏。他们的选择是要么使用他们对可扩展性表示怀疑的关键帧，要么尝试找到可以让他们获得大量动画数据并随时随地进行实验的东西。对于角色动画，他们必须获得角色的基本状态（空闲、攻击、行走等）。他们用他们的普通相机拍摄那些人的视频，把它放到我们的软件中，并立即获得动作捕捉数据（就像在几分钟内一样）。所以说到数字，它们有 17 个字符，每个字符有 14 个状态。对于关键帧，他们将在每个州花费大约 4-5 个小时。一个角色的状态为 70 小时。所有 17 个角色的状态为 1200 小时。关键帧的成本为 20 美元/小时，这将花费他们大约 24,000 美元和所有角色的半年时间。使用我们的解决方案，成本降低了数倍，获得它所花费的时间大约为一个月。

Gleb：更不用说过场动画了。基本上，我们的技术使团队能够以最雄心勃勃的目标实现他们的愿景。这就是让我们对自己所做的事情感到最高兴的原因。在初步测试之后，我们问他们 – 你们会更喜欢它在引擎方面的表现吗？他们的反应让我们大吃一惊。所以我们现在将它带到 UE4。

Slava：一般来说，我们的软件为他们工作的方式如下：他们有实时动作捕捉，稍后，他们进行一些改进，最终与其他方式相比，更快地为场景启动和运行。这为他们节省了大量资金来投资于游戏玩法和营销，并最终让他们更快地迭代以获得更好的产品。我们面临的问题是请求的数量超出了我们手动处理它们的能力。所以现在我们正在把软件变成一项服务，任何人都可以插入他们的相机并在引擎中实时获取他们的动作捕捉数据。

感人的。如果我想开始机器学习怎么办？我需要什么技能？

Gleb：机器学习是计算机科学和数学的交叉领域。所以你应该让自己熟悉两者。你想了解python，一些算法和数据结构以及线性代数、微积分和优化。之后，您需要更深入地研究机器学习和/或神经网络算法。机器学习的某些领域更加“用户友好”，例如处理表格数据、基本分类任务，但其他领域，例如生成模型、处理 3D、视频、文本和音频合成仍处于活跃的研究阶段。因此，需要努力与机器学习领域的当前技术水平保持一致。

Slava：如果你问我是否想去再次学习机器学习，我会说地狱，不。在我的生活中，感觉愚蠢带来的痛苦从来没有这么严重，我花了好几年才适应这个领域。除非你一直梦想着构建人工智能系统，否则我的建议是不要急于花费数年的时间试图弄清楚另一个花哨的词。我们都最好完善我们的基本领域技能，我深信这是在职业和生活中取得成功的一种方式。

假设我拥有一个预算有限的小型或中型工作室。我需要为很多角色制作动画，其中一些应该是一流的。在这种情况下，您会提出哪些解决方案？

Slava：如果你有 1-2 个字符，你可以选择关键帧状态。如果您有 3 个以上的角色并想节省一些钱来完善游戏机制，我会选择像我们这样的无标记解决方案。当您对运动捕捉数据的引擎内预览感到满意时，再加上一些关键帧工作来完善它，我想您就可以开始了。应该记住，游戏的开发和动画是迭代过程，完美没有限制，像我们这样的工具旨在帮助您解决这个问题。

那么拥有巨额预算的公司呢？有哪些最先进的解决方案？

Slava：我们必须记住，公司不是为其他工作室提供民主化的解决方案。他们正在借助机器学习来优化自己的成本。如果你看看育碧的案例，很明显，他们有能力在早期阶段以几乎无限的数量拍摄动作捕捉。他们拥有的游戏短片（状态）的平均数量是 15K。然而，当涉及到开发的后期阶段时，调整这 15k 状态会变得混乱。因此，它们在重新拍摄动作捕捉和迭代方面都会出现效率低下的情况。所以他们试图通过机器学习重新定义他们的动作捕捉方法来优化它。

Gleb：是的，所以他们没有使用基于图形的硬编码状态，而是使用灵活的标签系统。通过结合 2 个动画状态的机器学习，它本质上允许它们在后期迭代阶段流畅地混合内容。所以，想象一下，导演进来说让我们瞄准更多，让所有角色走路都取决于造成的伤害量。您可以想象这是团队添加和检查另一个 5K 状态的噩梦。他们的机器学习来了。当他们需要调整具有破坏性行为的步行时，他们不必再拍摄 5K 动画。他们拍摄一对并通过机器学习与现有的 15K 混合。有点运动匹配的生产版本。

Slava：这是有希望的，它给了他们一些灵活性，在他们的规模上节省了时间和金钱，但这种方法不是圣杯。它具有取决于动作捕捉的局限性，需要多年的研究并且存在创造性的控制问题。一般来说，这是一些高级机器学习的例子，只有大公司才能满足他们自己的优化需求。公司历史上擅长的另一件事是手部动画，但我们很快就会看到。与 80lv 保持联系以了解更多信息。