(3)后期制作环节:创作背景音乐与角色对话、自动生成视频
前文所提到的Sun Spring中,除了剧本由人工智能所创作外,电影里的背景音乐也是由Benjamin在学习了拥有300万首流行音乐的音乐库后创作出来的,影片角色撰写对话也是由人工智能所创作的。继Sun Spring引发病毒式传播热潮之后,RivetAI发布的短片ProgressBar中“LEXI”的所有对话也都是由人工智能为其撰写的。
2018年,在实现自动创作剧本的基础上,人工智能技术在影视创作上实现了重大突破,一种可以通过文本描述直接生成视频的AI模型问世。该模型结合变分自编码器(VAE)和生成式对抗网络的混合框架(GAN),通过训练一个判别生成模型提取文本中静态和动态的信息,便可以为一小段文本生成相应的短视频。这一成果第一次从文本中创建图像,并使它按照文本的描述进行运动,使用写好的剧本(文字)自动生成电影成为现实。
人工智能自动影视剪辑亦成为现实。一个来自斯坦福大学和Adobe公司的AI能够自行同步相同场景的录像,把它们对上演员正在念的台词。然后,独特的面部情感捕捉技术将会自动识别和分析演员所体现出的人物形象;随后,根据导演对风格的要求,AI会依据数据库里较为成熟的剪辑风格和镜头语言对录像进行自动选择和组装[86]。例如,针对一个传统风格的对话,AI会使用一个常规的“建立场景”镜头,并接下来在双方面部不断切换特写镜头,其中夹杂着一些广角镜头。如果导演追求其他风格的分镜,只要告诉AI自己的要求,如“多用跳剪”“广角开始”或者“聚焦保持不变”,AI就会重组一个场景出来。在文献中,研究人员表示这个AI用了3秒钟就剪出来一个71秒的视频,而一般经验丰富的剪辑师可能需要几个小时才能完成这项工作。此AI的出现给导演们开启了尝试更多拍摄方法的可能,因为剪辑一个场景、不满意从头再来的时间成本从原来的几天变成了几个小时。如今的动画影视和电视剧常常用电脑来模拟光线的自然变化,但是模拟足够的光线需要用到大量的人力资源和时间。为了节省成本,制作人员倾向做更少的模拟,不过这样做容易在最终出品的图像上造成明显的瑕疵。而迪斯尼和皮克斯共同研发的AI,通过研究《海底总动员2》中的大量处理瑕疵的案例,AI学会自动将因光线过少引起的瑕疵纠正成光线饱满而自然的样子。这样,制作过程中耗时费劲要去抹掉的瑕疵就可以交给计算机来处理,这款人工智能的技术已经被成功用在了《汽车总动员3》的制作中。此AI的出现标志着光线处理除增加光线、人工降噪之外的另一解决方案。迪士尼的研发总监表示,在影视拍摄的硬件设备变得越来越复杂、相对质量提升越来越慢的情况下,这一款AI算是向新方向发展的一大重要进步。
然而,相比人工智能技术在影视创作中的其他应用来说,能够生成自然视频无疑是一个更大的挑战。2019年,DeepMind的研究人员成功研发出DVD-GAN人工智能模型,该模型基于BigGAN的模型结构,构建了DVD-GAN系统,并引入一系列用于视频生成的调整,使DVD-GAN通过学习一系列的YouTube视频数据集,自动生成高度逼真且连贯的256×256像素的视频,最长可达48帧,这些视频内容包含物体的组成和运动,以及各种复杂的纹理。标志着人工智能在视频剪辑生成领域,或者说利用人工智能生成自然视频领域也取得了突破。
人工智能能够独立制作“小影视”。人工智能在目前也具备了独立创作的能力。有一项叫作IBM的认知技术,让AI可以识别任意一段视频中的台词和场景的意义,包括角色的心情、情况的复杂程度以及跟影片前后段的联系。当和剧本本身进行比对之后,这个技术可以被用作快速生成一段影片的梗概。这个方法被期望能够给导演更多的灵感,而这个算法也可以被用于快速提取每一集电视剧的宣传片,便于制作组进行项目宣传。另外,剧组可以自行选择给AI提供的视频资料丰富程度,进而对剧情发展的不同阶段进行人为分类,产生涵盖内容更丰富或者更详细的短片段,投放到新媒体市场中。有两位来自斯坦福大学的精英发布一种通过AI深度学习自动决定视频内容的应用。该公司目前可以处理视频并分析视频内容,不仅可以提供宽泛的信息(包括这段视频发生了什么,例如,这是一条繁忙的街道),还可以提供具体的信息(例如,有一个男人在走路)。所有的信息都是基于一种算法。另外,麦肯集团日本公司任命的人工智能创意总监与流行女子乐队在没有乐曲的前提下创作出MV。这大概是世界上第一次尝试先拍摄MV,后创作歌曲的方式。
2015年,BBC研发一款新的视频播放系统,这个系统可以与用户产生非常精细的互动,整体上就是把视频制作的要素进一步分离。我们知道互动叙事(以游戏为代表)的视频系统由选择剧情的方式来自定义不同故事,而BBC这个系统不仅故事可以选择,而且背景音乐、色调、情景、剪辑点都可以根据观众需要来重新选择。另外,Video++是AI新文娱科技创新的标杆企业,以VideoAI(又称“灵眸智能分析平台”,视频AI的数据和运营系统)和VideoOS(视频内小程序应用操作系统)两大产品组成。Video++产品通过API/SDK接入到视频平台中,广告和电商作为VideoOS的组件,与VideoAI扫描输出的视频内容结构化数据结合投放到平台的视频中并创建视频中的应用场景。用户在观看视频过程中可以直接与场景互动,获取信息、收藏商品、参与游戏并最终完成广告和电商购物的转化,实现商业价值[87]。