城市
80.lv:我们聊聊电影之城的制作吧?你是怎么做的?你的主要灵感来源是什么?你是如何规划这座城市的?
大卫·坎宁安:电影制作人选择波士顿市作为虚构的自由城市的基础,因此这成为我们的灵感和我们 1:1 的参考。我们使用了参考照片、平铺图像以及我们出色的集成团队在现场收集的所有常用数据。我们还有一些 LiDAR 扫描,我们用来建立我们的模型。然后我们的建模和布局团队一起工作,将这些不同的建筑物和道路整合到一个环境中,以覆盖我们拍摄所需的区域。我们还可以使用无人机和航拍镜头,这有助于我们绘制开场镜头中角色“BadAss”的路径等内容。
我们必须考虑的更有趣的挑战之一是波士顿天气的影响,冬天可能会非常恶劣。我们的纹理和外观开发团队忙得不可开交,确保我们达到我们想要的建筑物的确切外观,匹配墙壁、人行道和道路上积聚的特定老化和污垢。我们做对这些很重要,因为我们的很多工作都需要从制版无缝过渡到 CG。
在整个项目中,我们在自由城建设中尽可能地忠于波士顿。然而,在必要时采取了一些自由来满足电影制作人的创意简报,这使我们能够打破现实以拍摄更有趣的镜头。
工具
80.lv:你在开发过程中使用了哪些工具?您能否向我们的读者介绍当今帮助电影制作人的顶级解决方案?
David Cunningham: 我们的管道中有几种可用的工具,我们会选择最适合该特定项目的工具。对于 Free Guy,Maya 是我们建模、绑定和动画的标准,我们将它与 V-Ray 一起用于我们的大部分照明。我们还使用了 Redshift 和 Mantra——Redshift 是一个非常快的 GPU 渲染器,可以更快地处理许多镜头,而 Mantra 非常适合渲染由我们的 FX 部门处理并直接交给合成的体积。我们还开始集成 Solaris/USD 照明管道,我们很高兴看到创建的新选项。我们的模拟团队将 Houdini 用于 FX 和角色 FX,以及 Houdini 中的 Vellum 和 Carbon 插件。
我们的新郎部门使用了 Digital Domain 专有的“Samson”软件,该软件使我们能够将头发渲染为渲染时程序,使角色场景更轻松、更易于管理。对于一些 Free City 游戏镜头,我们能够利用 SideFX Labs 的 Open Street Map 导入器来帮助我们的 postviz 团队获得波士顿市中心的准确基本布局。
Nuke 最初由 Digital Domain 开发,是我们所有合成和 2D 相关工作的标准包,包括深度合成,它在 Free Guy 上得到了大量使用。
创建数字双打
80.lv:你必须为这部电影制作一些数字替身,对吧?这里的过程是什么?你是如何创造盖伊本人的数字版本的?
大卫·坎宁安:我们为所有主要角色制作了英雄数字替身,包括盖伊、米莉、坏蛋、花花公子、凯斯、老鼠(穿着兔子服装)和巴迪。我们还为无关的背景演员创建了一些额外的数字双人游戏,并为游戏玩法创建了多达 46 个独特的角色。
对于 Guy,Ryan Reynolds 在 Digital Domain 的设施中度过了一段时间,我们首先对他的脸部进行了 ICT 扫描。这为我们提供了偏振和交叉偏振参考图像,每条光从多个角度独特地发射。这也为我们提供了无光照的漫反射、镜面反射、置换和法线贴图,我们将其用作起点。我们的纹理团队由 Nick Cosmi 领导,在内部处理这些贴图,并从 Ryan 扫描模型的不同 LOD 中提取其他高分辨率细节。
我们的纹理和建模团队经常合作,以确保将我们从 Ryan 面部扫描记录的细节应用到 Digital Domain 的“Genman”人体拓扑结构中。提供的位移用作更精细的凹凸通道,并提取最高扫描网格和我们内部高分辨率造型之间的高度差,用作主要位移贴图。所有这些贴图都让我们能够准确地调整我们的模型如何与 Ryan 的皮肤相匹配,直到他独有的细微皮肤毛孔和表面细节。在构建我们的着色器时,灯光阶段参考图像还允许我们微调皮肤的表面属性以匹配高保真参考。这些包括诸如次表面散射的深度和人体皮肤上光泽的镜面反射值等值——很难做到正确的事情,
除了面部扫描,我们还使用头戴式摄像头捕捉 Ryan 台词的标记镜头,并为最常见的人类音素检查一系列面部姿势和嘴形。使用我们专有的重定向软件“Bullseye”,然后我们能够将他记录的形状姿势转移到我们干净的拓扑结构上。然后手工雕刻了 Ryan 独有的其他几种面部姿势,并将其添加到我们的面部装备中。
庸医
80.lv:你能谈谈Digital Domain的专有换脸工具Charlatan吗?它是如何工作的?它是用来做什么的?
David Cunningham: Charlatan 是一种专有工具,由 Digital Domain 内部创建,它使我们能够利用机器学习神经网络来帮助用另一个表演者替换一个表演者的脸。它分析源镜头——原始表演者和替代表演者的参考镜头——并创建数百万次推理计算,以尝试解决由一张脸替换为另一张脸引起的不一致。
为了实现这一目标,我们需要大量数据,包括两位表演者提供相同台词的镜头、相似的照明场景、匹配的相机镜头和焦距、由一个(或两个)表演者提供的培训对话来帮助分析嘴巴形状等等。我们拥有的数据越多,两个来源越接近越好。为了获得绝对最好的结果,极高保真度的数字双倍还可以为 Charlatan 算法提供准确的训练数据。
在《自由人》中,查宁·塔图姆扮演的坏蛋角色需要在游戏世界中发挥关键作用。完成工作后,电影制片人决定需要对对话进行重大更改。不幸的是,塔图姆返回重新拍摄一条新台词是不切实际的或在逻辑上是不可能的,所以电影制片人问我们可以做什么。
我们首先尝试使用传统动画技术来改变角色,但结果与其他镜头不同步。我们需要更多的真实感,同时仍将场景固定在游戏玩法中。Charlatan 当时还很新,但我们决定试一试。我们渲染了动画 Channing digidouble 和 BadAss 的游戏版本以提供新的对话,然后将其输入到 Charlatan 中,以及塔图姆背诵原始台词的片段。我们还包括了大量塔图姆(以及其他各种数据)的静态和真人参考资料,而 Charlatan 创造了一个可以接受的结果。从那里开始,我们才华横溢的组合团队小心翼翼地将新的 Charlatan 面孔与渲染的游戏 BadAss 结合起来。塔图姆后来录制了新的对话,结果是无缝替换。
合作
80.lv:我一直想知道VFX工作室在制作电影时如何与导演合作。Shawn Levy 如何帮助您确定正确的方向?您如何收集所需的反馈?
大卫·坎宁安:在视觉效果方面,我们与电影制作人进行了电影同步会议,其中通常包括导演。有点像 Zoom,这些会议允许我们同时审查工作、获得反馈并准确解释他们的创意愿景。书面反馈很棒,但没有什么比同时查看相同的图像更好的了。Free Guy 的客户端 VFX 主管(和 DD 校友)Swen Gillberg 是 Digital Domain 的主要联系人,他与 Shawn 保持定期沟通。在 Swen 和 Shawn 会面并审查我们的工作后,Swen 将传达这些创意笔记。
对 Shawn 来说,确定游戏玩法的风格非常重要,因此他经常发送视觉参考。有时肖恩会发送视频;其他时候,他会整理受到启发的很酷的图像。然后我们将实施这些更改并尝试一些新事物,同时与他进行公开的来回沟通,直到我们找到合适的外观。
挑战
80.lv:您在制作过程中遇到的主要挑战是什么?是否有一个特定的顺序让你的团队思考了好几天?
大卫·坎宁安:电影的开场镜头(“坏蛋”)和成功地为游戏玩法提供最佳外观是我们所做的两件最重要的事情,也是一些最复杂的事情。Oneer 实际上是将十个镜头拼接成一个无缝的、巨大的、2,600 帧的野兽。在此过程中,添加了 BadAss 角色的一个小剖面图,从而分割了镜头。为了将它们融合在一起,我们的 CG 主管 Attila Szalma、Comp主管 Viv Jim 和副 DFX 主管 Eric Kasanowski 在处理 CG、平板、投影、全景图、瓷砖、效果等方面做得非常出色,然后将其拼接成一个镜头. 特别值得一提的是Khari Anthony和Chun Ping Chao,他们将整个镜头组合在一起。
游戏玩法的挑战在于让数字化身看起来非常像我们认识的演员,但又不会太接近以至于当电影从真人跳到游戏玩法并返回时我们击中了恐怖谷。在到达您在电影中看到的游戏玩法之前,我们与 Shawn Levy 和他的团队一起经历了许多不同的形式和风格化的版本。我们参考了《Apex 英雄》、《侠盗猎车手》、《堡垒之夜》和《守望先锋》等游戏,每个游戏都会对我们的最终结果产生一些影响。反复出现的主题是 GTA,无论是外观还是角色所在的游戏世界的整体氛围。最后,我们通过使用我们的数码双镜头并回拨模型、纹理和外观开发中的细节来实现外观。我们平滑了特征并稍微调整了比例,
施工现场的顺序也很有挑战性。那里有很多事情要做。有许多活动的部分,无论是形象的还是字面上的,当他们跳上台阶并在楼层之间跳跃时,为角色建立了一致且可接受的运动,而景观不断移动需要很多关注。最终,我们需要将视频游戏物理与照片写实相结合,这是一条细线。那个世界中折射元素的绝对数量也很大,而且场景几乎完全用间接光照亮,缩短渲染时间是一个挑战。
鲍勃怀特监督了这个序列,并完成了一项令人难以置信的工作,将它们整合在一起,灯光主管约瑟夫海登利用 V-Ray 和 Nuke 中的去噪技术帮助将渲染时间提升到一个更易于管理的领域。我们的 Lookdev 主管 Brent Elliott 也在确保我们的资产尽可能优化方面发挥了重要作用。
大流行
80.lv:疫情对生产有什么影响?
大卫·坎宁安:当隔离发生时,由于许多事情进展顺利,中断并没有我们最初预期的那么长。Digital Domain 的管理和系统团队完成了将其全体员工转变为在家工作的艰巨任务——不仅是大部分艺术家所在的美国和加拿大的办公室,还有世界各地的所有九个办公室。
对于 Free Guy,在封锁开始时我们已经深入工作,所以我们已经在内部和与电影制片人建立了牢固的关系——每个人都已经相互认识并建立了融洽的关系。我们的日程安排大致相同;我们只是远程沟通。对于锁定后开始的项目来说,这是一个有点不同的过程,因为人们需要完全远程会面和互动,但每个人都很快适应了,工作质量一如既往地强大。
请登录之后再进行评论