AIGC为转描动画聚气托底

进入2023年以后，AIGC相关应用发展迅速，行业巨头也都加紧布局各类AI大模型。AIGC作为强大的数字化内容生产工具，可以帮助数字内容产业向制作效率更高、品质更高、成本更低的方向发展。在AIGC迅速发展的背景下，转描动画也呈现出新的发展变化。在过去，转描动画的制作流程一般是先进行真人实拍，随后人类画师利用转描机或计算机辅助工具进行图像的逐帧重绘，最终再进行合成。而现在，逐帧重绘的主体开始从人类画师向AI转变，出现了AI转描动画这一新的形态。这一变化极大地节省了人力、时间成本，为转描动画带来了新的可能。

转描动画的概念与发展

转描技术（Rotoscoping）是美国动画大师、发明家马克思·弗雷歇尔（Max Fleischer）在1914年发明的一项技术。这项技术可以利用一套特制的摄影装置，把胶片投影到动画师的桌面上，之后动画师就可以根据拍摄的真人画面，一帧一帧描绘下来，最终将描绘下来的图片拍摄、合成为动画片。转描技术的优势是能够帮助缺乏经验的新人动画师画出流畅准确的动作，它基于真实人物的动作表演，能够将现实中人物的动作完全复制到二维动画人物身上，在保证质量的同时也节约了成本。而转描动画就是以转描技术为基础创作出来的动画片。

动画史上第一部使用转描技术的动画片是马克思·弗雷歇尔与其兄弟戴夫于1914—1916年制作的《小丑可可（Out of the Inkwell）》动画系列短片，该短片一经推出就大受欢迎，随后他们还制作了《大力水手》《贝蒂娃娃》等作品。1934年，马克思·弗雷歇尔转描技术的专利到期，自此，越来越多的动画电影开始运用转描技术。1937年，迪士尼采用转描技术制作了史上第一部长篇动画电影《白雪公主和七个小矮人》，影片上映后取得了巨大成功，对全球的少年甚至成年人都有着深远的影响。1941年，万氏兄弟创作了我国历史上第一部动画电影《铁扇公主》。进入数字时代以后，虽然由于三维动画的兴起以及运动捕捉技术和绿幕技术的发展，动画转描技术逐渐被替代，但转描技术在无纸化动画制作中的应用依然占有一定比例，比如，动画电影中有《至爱梵高·星空之谜》，电视动画中有《乒乓》《轻羽飞扬》，最近两年上映的原创奇幻动画电视剧《抹去重来》亦全程使用了真人拍摄，并通过电脑后期软件进行转描制作。

从AIGC技术到AI转描动画

AIGC的概念

AIGC是AI-Generated Content的缩写，意思是用人工智能技术来创造内容。它是继PGC（专业生产内容）和UGC（用户生成内容）之后的一种新兴的内容生产方式。它利用深度学习和生成式算法模型，可以自主地产生新的文本、图像、视频、音频等多种形式的内容和数据，是人工智能技术的一种高级应用。

AIGC由不断创新的生成算法、预训练模型、多模态等人工智能技术积累融合而成。目前市面上的各种AIGC工具、软件基本上都建立在不同的预训练模型上，较为常见的是多模态预训练模型，即融合了文字、图片、视频、音频等多种内容形式的模型，如Stable Diffusion、DALL-E 2、MidJourney等可以生成图片的AIGC模型。人们只要在相关工具或程序中输入一段文本，这些AIGC模型就可以根据文字描述自动生成符合文字描述的图像，AI绘画就是由此而来。2022年8月底，由MidJourney生成的绘画作品《太空歌剧院》拿下了美国科罗拉多州博览会艺术比赛的一等奖。2023年3月，AI生成的写实图像作品《虚妄记忆：电工》获得了2023年索尼世界摄影奖的创意类奖项。AI绘画技术正在逐渐走向成熟，而其令人惊叹的画面表现与生成效率也点燃了人们的热情，AI绘画的盛行标志着人工智能已经向艺术领域渗透。

AI转描动画的产生

视频是连续的图像序列，动画则是除真实动作或方法外，使用各种技术所创造出的活动影像，两者都基于“视觉残留”以及“感官经验”的原理。自AI能够生成高质量图像后，人们也逐渐开始了针对AI视频、AI动画的探索。早期AI绘画技术的一个明显特点是每次图像生成的随机性很大，输入同样的文本提示词，得到的结果却每次都不同，生成角色的手部、脚部等复杂部位还容易出现错位、弯折等现象。

随着人们在AI技术方面的不断探索，ControlNet、Lora等插件、技术的出现基本上解决了上述问题。目前已经可以通过AIGC工具针对实拍或动画视频进行画面内容的转绘，而且依据重绘幅度可以分为低重绘幅度和高重绘幅度两种。低重绘幅度对原片细节的保留程度相对较高，看起来像是开了一个绘画风格的高级滤镜。高重绘幅度的特点是风格化强，对原视频的改变较大；依托不同的AI模型，可以展现素描、色块、平涂甚至赛博朋克等极具特点的独特风格。这种通过AI转绘的方式制作出来的动画也基于真实人物或动画角色的动作表演，其视觉效果与传统的转描动画高度一致，只不过转描的主体由人类画师变成了AI工具，这种利用AIGC技术将实拍影像或CG动画逐帧转换成手绘风格的动画产出方式，就是“AI转描动画”。

AI转描动画实例分析

早期的AI转描动画

AI转描动画出现的时间较早，早在2021年12月，网络上就出现了一部AI转描的实验动画短片The Crow。在动画中，真人舞者被AI转描成了乌鸦的形象，乌鸦在后世界末日的贫瘠景观中短暂地舞蹈，直至其不可避免地消亡。整部影片的氛围荒诞、神秘，加上恰到好处的配乐，总体而言是一部令人难以忘怀且引人入胜的作品，短片还获得了2022戛纳短片电影节的最佳短片奖。这个短片虽然利用AIGC工具对真实视频进行了转描，但其对画面的控制能力不够，并没有解决AI转描噪点的闪烁问题。片中AI生成的一些较为抽象的画面还营造出了一种特别的视觉效果，从实验短片的角度来说效果还不错，但这种模式若想应用到商业动画中去，还有很长的路要走。

AI转描动画《石头剪刀布》

2023年3月，一部名为《石头剪刀布》的动画短片在网上引起了广泛关注。这部短片讲述了一对王子为了争夺王位而进行“石头剪刀布”大战。短片中充满了无厘头的幽默和“沙雕”的演出，惹得观众捧腹大笑。从画面效果来看，短片中的人物动作、表情以及镜头的运用与真人影片非常接近，而角色与场景的上色、情节设计、画面风格上却又明显是动画的表达方式，具有明显的转描动画特征（如下图）。

《石头剪刀布》原始画面与最终画面对比图

（图片来源于网络）

短片的制作方是Corridor Digital团队，其专门从事影视特效制作，在发布短片的同时，他们也分享了《石头剪刀布》的制作幕后。短片采用蓝绿背实拍加合成的方式制作，角色动画部分则利用了Stable Diffusion这个深度学习文本生图模型，将实拍的图像数据逐帧转换为动画风格。为了制作这个短片，该团队还探索出了一套新的AI动画制作流程。而较于以往的转描动画，这套制作流程最为特别且重要的地方就是针对AI模型的训练以及降噪去闪烁。

AI模型的训练分为训练人物模型和训练风格模型。AI生成人物角色的随机性大，为了让AI能够稳定生成同一个角色，制作者就需要在纯净背景下对所需角色的各个角度进行拍照，并通过AI工具DreamBooth进行AI模型的训练，经过反复尝试，训练好人物模型之后，在Stable Diffusion输入相应的文字描述，就能够稳定生成所需的人物角色。在风格模型的训练中，Corridor Digital团队参考了一部经典动画片的画面，对动画中各个景别的场景、人物表情、手部动作、道具等进行了大量截图，并将这些截图通过DreamBooth进行训练，直到AI能够稳定生成该风格的画面。

在降噪去闪烁部分，该团队的解决思路是通过蓝绿背实拍，在得到背景纯净的真人画面之后，再进行AI转描，随后使用影视后期制作中的去闪烁插件，外加模拟二维动画中1拍2方式缩减动画帧数等方式，最大程度地优化画面效果。

这部短片的制作流程中并没有涉及更加高深的AI技术，更多的是对现有技术的整合和运用。现在的AI转描动画更像是一种新的艺术形式，它有着自己独特的视觉风格和表现手法，但是它还不能完全替代具有复杂性和多样性的人类创作，也不能处理一些复杂的镜头和场景，还需要人类创作者进行把控和调整。该短片发布以后，国内也有团队借助这套方法，以经典动画作品《灌篮高手》的风格为基础进行了AI转描动画短片的制作，取得了不错的效果，这说明这套制作流程是具备可推广性的。

需要注意的是，这种制作流程也引发了行业内对AI转描动画是不是动画的讨论。有些人认为这种制作流程是对真人电影的AI转描，并没有人类画师去“画”这一步骤，而是在这之上加了“滤镜”制作出动画效果，只是一种视觉效果，并不是动画。然而，定格动画也没有绘画的步骤，20世纪90年代CG动画出现时也不被传统手绘动画师所认可。新技术出现以后，总有人会把它视作一种威胁，但只有接纳新的事物才能了解它们的好处。或许在未来，人们能够看到更多真人影视与AI动画相结合的作品，它们会给人们带来更多惊喜。

AI转描动画的优势与劣势

从上面的案例可以看出，AI转描动画有很多优点。首先，AI转描动画可以极大地降低动画创作的门槛，减少动画师的工作量，提高动画的制作效率和质量。例如，Corridor Digital团队本身并没有任何动画方面的专业人员，但是依托自身在真人电影制作方面的经验，再结合AIGC工具，在整个团队只有十几个人的情况下，只花两个月时间就制作出了《石头剪刀布》这一品质较高的动画作品。其次，AI转描动画可以增强视频画面的表现力和创新性。例如，可以通过Stable Diffusion、Runway Gen1等AIGC工具，让用户输入所需效果关键词，或提供参考图来生成符合要求的画面效果；其也可以帮助动画师寻找灵感，为动画师提供参考，还可以通过这种方式增强画面的表现力和创新性。此外，AI转描动画可以利用AI生成中的噪点因素所带来的闪烁、抖动效果，创造出一种独特的视觉效果。例如，上文所述的AI实验动画短片The Crow就利用这种特点构造了一个奇特的神秘世界，给观众带来了一种新奇且不可预测的感受，其也可以在一定程度上突出动画的主题和气氛。

AI转描动画也有一些劣势。首先，最明显的一点就是版权问题。例如，《石头剪刀布》为了实现所需风格所训练的AI模型大量使用了一部经典动画作品的截图，由于《石头剪刀布》本身并不是商业动画，其制作团队更多地是探索新的创作方式，还积极分享了其创作方法，具有一定的公益性，但如果这种制作方式想要商业化，必然会引起与版权有关的争端。其次，AI转描动画需要高性能的硬件设备。例如，显卡的显存直接决定了能生成多大尺寸的作品，而显卡的算力则决定了多久可以生成。同时，如果没有合适的AI模型，那就需要训练特定的AI模型，这也会耗费大量的时间和硬件资源。

综上所述，AI转描动画是一种有利有弊的技术，它可以降低动画创作的门槛，可以作为动画创作的辅助，也可以作为一种独特的表现形式存在，但也需要注意版权、硬件设备等方面的问题。

转描动画自发明以来已经经过了百年的发展，作为一种在真人影像基础上进行动画创作的动画形式，时至今日，其仍未退出历史舞台。以往的转描动画大多是有着明显手绘感的二维动画，即使进入数字化时代，可以利用计算机软件进行制作，但由人类画师绘制仍是必不可少的环节。现如今，AIGC时代来临，其彻底改变了转描动画，转描的主体由人类画师变成了AI工具，产生了AI转描动画这种新的形态。此刻，笔者并不想讨论它所带来的争论，单就AI转描动画可以极大地降低动画创作门槛，让不会做动画的非专业人士也可以实现自己的动画梦想这一点，就足以证明AI转描动画的存在有其意义。在这个快速变化的世界中，AI已经成为我们无法避免的存在，与其对它嗤之以鼻，还不如和它合作，借助它的优势，解决我们所面临的问题。

责任编辑：史偌霖

原文地址：http://whcy.cnhouji.com/html/2023/0816/1577.shtml